web-crawler

1La chaleur

1Répondre

Problème avec le concepteur de générateur de code Web

Je souhaite écrire un générateur de code basé sur le Web pour un moteur de balayage Python. Son but est de générer automatiquement du code pour qu'un développeur n'ait pas besoin de l'écrire, mais j'a

2La chaleur

1Répondre

anémone frotter une certaine profondeur de page

Je ne comprends pas comment utiliser la partie tentaculaire de l'anémone. Si je l'interprète correctement, je pense que je pourrais l'utiliser pour effacer une certaine profondeur de la page loin de l

-1La chaleur

3Répondre

WYSIWYG web grattage/crawling configuration en utilisant Javascript/html5?

Mon but est de permettre aux personnes moins expérimentées de configurer les paramètres requis pour extraire des informations d'un site Web. L'idée est qu'un utilisateur entre une URL, après laquelle

13La chaleur

4Répondre

Scrapy - comment identifier les URLs déjà éraflées

Im utilisant scrapy pour explorer un site Web de nouvelles sur une base quotidienne. Comment puis-je restreindre scrapy de gratter les URL déjà grattées. Il existe également une documentation claire o

0La chaleur

1Répondre

Pourquoi google indexer cela?

Possible en double: Why google index this ? Dans cette page: http://www.alvolante.it/news/pompe_benzina_%E2%80%9Ctruccate%E2%80%9D_autostrada-308391044 il y a cette image: http://immagini.alvolante.it

3La chaleur

1Répondre

Snapshot HTML pour crawler - Comprendre comment cela fonctionne

Je lis ce article aujourd'hui. Pour être honnête, je suis vraiment intéressé par "2. Une grande partie de votre contenu est créé par une technologie côté serveur comme PHP ou ASP.NET" point. Je veux c

1La chaleur

4Répondre

Existe-t-il un moteur dom côté serveur adapté à l'exploration?

J'ai trouvé un projet, jaxer qui embarque le moteur JavaScript de Firefox du coté serveur, donc il peut très bien analyser le serveur HTML. Mais, ce projet semble mort. Il est vraiment utile pour l'an

0La chaleur

3Répondre

Comment je ferais un simple extracteur d'URL en Python?

Comment commencer sur une seule page Web, disons à la racine de DMOZ.org et indexer chaque URL attachée à elle. Puis stocker ces liens dans un fichier texte. Je ne veux pas le contenu, juste les liens

7La chaleur

2Répondre

Puis-je utiliser WGET pour générer un sitemap d'un site Web avec son URL?

J'ai besoin d'un script qui peut spider un site Web et retourner la liste de toutes les pages crawlées au format texte brut ou similaire; que je soumettrai aux moteurs de recherche comme sitemap. Puis

2La chaleur

2Répondre

Problèmes dans un script de grattage à l'écran de ruby

J'ai un petit script de balayage/balayage d'écran qui fonctionnait il y a un demi-an, mais maintenant, ça ne marche plus. J'ai vérifié les valeurs html et css pour l'expression reg dans la source de l