web-crawler

0La chaleur

3Répondre

Gestion d'entités spéciales telles que & nbsp;, & pound; dans HtmlCleaner

J'utilise la bibliothèque HtmlCleaner pour l'extraction de contenu html. Cela fonctionne bien mais avec peu de limitations. Il n'est pas capable de gérer les caractères spéciaux tels que & livre ou gu

4La chaleur

1Répondre

Contrôle de la connexion utilisée dans HttpWebRequest

Est-il possible d'avoir un contrôle quelconque sur la connexion utilisée pour un HttpWebRequest? J'utilise la propriété BindIPEndPointDelegate pour définir l'adresse IP à laquelle la requête doit être

6La chaleur

1Répondre

Nutch API advice

Je travaille sur un projet où j'ai besoin d'un crawler mature pour faire un peu de travail, et j'évalue Nutch dans ce but. Mes besoins actuels sont relativement simples: j'ai besoin d'un moteur de bal

0La chaleur

1Répondre

Pourquoi Facebook ne résout-il pas correctement une URL Twitter?

Je me gratte la tête Prendre un (nouveau) twitter url, ex. [http://twitter.com/#!/NASA] (remarquez le "#!") Collez ce lien sur votre mur Facebook ou sur "Qu'est-ce que vous avez en tête?" zone de sais

2La chaleur

4Répondre

Recommandations de langage pour un robot d'indexation Web efficace

Je recherche un langage pour écrire un robot d'indexation Web efficace. Ce que je valorisons: langage expressif (ne me faites pas seulement à travers des cerceaux de typage statique) bibliothèques uti

1La chaleur

1Répondre

Nutch - Lucene - capturer le contenu des pages

J'ai parcouru quelques pages avec Java Nutch J'ai aussi fait un module avec Lucene en Java qui permet d'exécuter des requêtes sur des documents indexés. Je sais que j'ai créé des champs Nutch comme ur

2La chaleur

3Répondre

moyen le plus rapide pour vérifier la liste des adresses IP via crawler contient en Java

j'ai obtenu la liste des robots d'exploration site Web suivant: http://www.karavadra.net/blog/2010/list-of-crawlers-bots-and-their-ip-addresses/#respond Si vous connaissez une meilleure liste des adre

9La chaleur

5Répondre

Tout bon framework de recherche Web Open Source en C#

Je construis un moteur de comparaison d'achats et j'ai besoin de créer un moteur d'exploration pour effectuer le processus quotidien de collecte de données. J'ai décidé de construire le crawler en C#.

3La chaleur

1Répondre

Exécution d'un robot d'indexation Web pour les sites sélectionnés sur google app engine?

Je dois écrire un moteur de balayage pour extraire des informations de quelques sites Web pré-sélectionnés seulement. Je sais que c'est un travail qui va de soi, mais je pense utiliser google app engi

0La chaleur

3Répondre

comment obtenir du contenu d'une page Web externe par php?

Je veux obtenir 'titre', '' description'and'keywords dans une page web Je sais que 3 façons de mettre en œuvre ce travail: a) CURL b) utiliser fopen c) utiliser get_meta_data() Étrangement, chacun des