web-crawler

3La chaleur

1Répondre

Construction de robot d'indexation vertical à l'aide de Bixo

Je suis tombé sur un robot d'exploration Open Source Bixo. Est-ce que quelqu'un a essayé? Pourriez-vous s'il vous plaît partager l'apprentissage? Pouvons-nous construire un crawler orienté avec assez

1La chaleur

2Répondre

Préférences de style de code en utilisant Sicstus et Eclipse (Spider)

J'utilise actuellement Sicstus Prolog VC9 4.1.1 dans Eclipse Galileo (Spider). J'ai une question très novice: comment contrôler automatiquement l'indentation et en général les préférences de style de

1La chaleur

1Répondre

Autoriser et interdire dans le fichier robots.txt

Je souhaite interdire l'accès à tous les fichiers et dossiers de mon site à partir des robots SE, à l'exception d'un dossier et de fichiers spéciaux. Puis-je utiliser ces lignes dans un fichier robots

2La chaleur

3Répondre

La meilleure façon de stocker un grand nombre d'urls pour crawler

J'écris un crawler construit sur mesure, et j'ai besoin de savoir si une URL spécifique est explorée ou non, donc je n'ajouterai pas la même URL deux fois. En ce moment j'utilise mysql pour stocker le

0La chaleur

2Répondre

Crawler Web basé sur PHP ou Web Crawler basé sur JAVA

J'ai quelques doutes sur les crawlers web basés sur PHP, peut-il fonctionner comme le thread basé sur Java? Je le demande parce que, en java le thread peut être exécuté encore et encore, je ne pense p

0La chaleur

2Répondre

Quelle est l'utilisation de Lucene?

J'ai entendu beaucoup de temps le nom de Lucene, tandis que j'essaie d'aller chercher les détails du robot d'indexation Web il apparaît la plupart du temps. Quelle est l'utilisation de Lucene?

1La chaleur

1Répondre

HttpWebReqest dans la page fetcher slow down

J'ai un robot qui télécharge les pages et les traite. après 1 heure chaque requête aux sources prend 1 minute ou plus pour terminer mais au début du programme chaque adresse est téléchargée sous 1 sec

2La chaleur

2Répondre

Les caractères génériques sont-ils autorisés dans le fichier sitemap.xml?

J'ai un site Web qui a un répertoire qui contient plus de 100 fichiers html. Je veux que les robots explorent tous les fichiers html de ce répertoire. Je l'ai déjà ajouté la phrase suivante à mon robo

4La chaleur

3Répondre

Est-ce que les araignées qui indexent votre site web (google bot ...) ont une "culture"?

Ceci est une question de référencement: J'ai le choix d'afficher le titre d'une page en fonction de la culture du visiteur. Si c'est un anglais: <title> <?php if ($sf_user->getCulture() == 'en')

1La chaleur

2Répondre

WebCrawling Sites Web authentifiés par l'utilisateur

Est-il possible d'explorer des sites Web authentifiés par l'utilisateur à l'aide de C#?