2010-11-15 41 views
0

je cherche à utiliser PyQt pour gratter des sites Web avec le support du javascript, après barboter avec toutes les alternatives html statiques (beautifulsoup, mécaniser etc.)Y at-il une classe/bibliothèque simple qui utilise pyQT/webkit pour gratter les sites Web avec le support javascript?

clairement PyQt est un outil beaucoup plus générique et ne soit donc pas optimisé pour mes besoins.

Y at-il des classes/bibliothèques qui me donnent des fonctions simples pour utiliser pyQT pour des tâches de raclage relativement simples? J'ai trouvé quelques classes/scripts en cherchant google, mais j'espère que quelque chose de mieux adapté à mes besoins!

J'ai besoin de soumettre des formulaires, de maintenir des sessions et de retourner le code HTML pour le traitement avec lxml.

merci :)

+0

Cela ne répond pas à votre question, mais j'utilise le watir de ruby ​​(l'automatisation du navigateur qui fonctionne sur plusieurs navigateurs et systèmes d'exploitation) pour mes besoins de grattage Web. Pour presque tout le reste, j'utilise python. –

Répondre

1

Vous pouvez jeter un oeil à spynner --il est un module de navigateur programmatique basé sur QtWebKit. Cela pourrait répondre à vos besoins.