De bons sites Web pour tester webcrawler sur

Question

Je suis en train de tester un nouveau webcrawler et je recherche de bons sites qui pourraient trébucher (redirections, cadres, n'importe quoi). Est-ce que quelqu'un connaît des sites vraiment compliqués, ou qui pourraient trébucher? Thx

Answer 1

Si vous le tester sur le top 1000 Alexa, vous obtiendrez un échantillon assez représentatif de ce qui se passe dans les sites Web. Vous n'aurez peut-être pas l'occasion de tester certains protocoles hérités (par exemple, les jeux de cadres, etc.), mais vous obtiendrez une bonne idée des performances, en particulier là où cela compte.