web-crawler

0La chaleur

1Répondre

Bonjour, est-ce que quelqu'un sait comment créer un araignée qui fonctionne comme si javascript était activé? Code PHP: file_get_contents("http://www.google.co.uk/search?hl=en&q=".$keyword."&start=".(

1La chaleur

1Répondre

Comment puis-je analyser les fichiers PDF qui sont servis sur Internet en utilisant Nutch-1.0 en utilisant le protocole http

Je veux savoir Comment puis-je analyser les fichiers PDF qui sont servis sur Internet en utilisant Nutch-1.0 en utilisant le protocole http Je suis en mesure de le faire sur les systèmes de fichiers l

1La chaleur

2Répondre

Comment obtenir les coordonnées d'un élément HTML en utilisant C#?

Je prévois de développer un robot d'indexation Web, qui extrairait les coordonnées des éléments html des pages Web. J'ai découvert qu'il est possible d'obtenir des coordonnées d'éléments html en utili

0La chaleur

3Répondre

algorithme de l'analyseur/robot d'exploration question

En cours de conception de haut niveau pour un analyseur/analyseur ciblé. L'application sera utilisée pour extraire des données de sites Web spécifiques. De plus, l'application est conçue pour fonction

2La chaleur

1Répondre

Comment lire les fichiers .ARC du robot d'indexation Heritrix en utilisant Python?

J'ai regardé le site Web de documentation de Heritrix, et ils ont énuméré un lecteur de dossier de Python. Cependant, il est 404 introuvable lorsque j'ai cliqué dessus. http://crawler.archive.org/arti

0La chaleur

3Répondre

SEO: Ajout à Google autre que la soumission directe pour le robot d'exploration de Google - http://www.enshaeyah.webs.com

Quels sont les autres moyens de rendre votre site Web consultable par Google, autre que de soumettre le lien directement à Google. Envoi des liens vers Yahoo est un jeu d'enfant, obtient rampé pour un

0La chaleur

2Répondre

Meilleur site araignée?

Je déplace un tas de sites vers un nouveau serveur, et pour m'assurer que je ne manque rien, je veux pouvoir donner à un programme une liste de sites et télécharger chaque page/image là-bas. Y a-t-il

0La chaleur

1Répondre

PHP cURL obtenir des données encodées

J'ai téléchargé l'en-tête de page et le corps comprimé dans une chaîne en utilisant cURL, le problème est que je ne sais pas comment les séparer les uns des autres et comment décompresser le corps? Me

1La chaleur

3Répondre

Existe-t-il un wrapper .Net pour Firefox ou Chrome pour explorer les pages Web?

Existe-t-il un simple wrapper .Net pour Firefox ou Chrome afin de pouvoir implémenter un robot d'indexation Web et d'autres éléments Web? J'ai peut-être besoin de fonctionnalités post-form aussi.

9La chaleur

5Répondre

Comment autoriser les robots d'indexation à index.php uniquement, en utilisant robots.txt?

Si je veux autoriser uniquement les robots d'indexation à accéder à index.php, cela fonctionnera-t-il? User-agent: * Disallow:/ Allow: /index.php