Site Web rampant avec pages dynamiques

J'ai besoin d'explorer des sites Web et d'extraire des informations de pages créées dynamiquement après la soumission d'un formulaire.Site Web rampant avec pages dynamiques

Les informations dont j'ai besoin pour explorer proviendraient principalement des bases de données sur ces sites.

Ajouté:

Crawlers travaillent habituellement en sautant d'un hyper-lien vers un autre. Donc, ce sont principalement des pages statiques. Qu'en est-il des pages d'exploration qui ne sont pas statiquement présentes mais créées à la volée.

Source

2010-12-08 AJ.

C'est bien, pouvez-vous fournir plus d'informations? – leppie

J'ai aussi le même problème. Comment pouvez-vous obtenir un site Web dynamique. http://stackoverflow.com/questions/28085211/any-possiable-to-crawl-open-web-browser-data-using-aperture – BasK

Du point de vue de crawler, il n'y a pas de grande différence. Vous obtenez toujours du HTML générique.

La seule chose dont vous devez faire attention est de créer des liens menant à un nombre infini de pages, par ex. calendrier généré dynamiquement et contenant des liens vers le mois/l'année suivant/précédent.

Source

2011-01-11 16:23:24 Kornel

Répondre

Questions connexes