nutch

0La chaleur

1Répondre

Récupération de pages Web avec des liens javascript à partir de Java

J'ai une application de robot d'indexation Web en Java qui doit accéder à tous les liens d'une page Web. Le problème est que sur certaines pages, les liens sont générés par une fonction javascript. Qu

1La chaleur

2Répondre

Drupal + Nutch + Solr

Nous sommes sur le point de lancer un projet consistant en un site web de moteur de recherche. Nous devons implémenter un site qui a des fonctionnalités sociales sur sa solution de moteur de recherche

0La chaleur

1Répondre

Comment utiliser la recherche Solr incluse avec Nutch-1.2?

Il existe de bons tutoriels (obsolètes) sur la façon d'intégrer Nutch avec Solr pour obtenir une expérience complète de recherche sur le Web. Dans la dernière version de Nutch (1.2), Solr est intégré

1La chaleur

1Répondre

nutch crawler - comment définir le nombre maximum d'inlinks par hôte

Comment puis-je définir le nombre maximum de pages à indexer par hôte? Je ne veux pas indexer tous les millions de pages du site, je veux indexer seulement les premières 100000 pages trouvées.

2La chaleur

1Répondre

comment faire nutch crawler crawl

Je doute dans nutch alors que je l'ai utilisé le wiki je me demande de modifier le crawl-urlfilter.txt +^http://([a-z0-9]*\.)*apache.org/ et je me demande de créer un dossier url et une liste d'URL.

0La chaleur

1Répondre

comment faire un groupe de résultats de recherche par l'hôte dans nutch

je fais une recherche petite intranet j'utilise nutch pour l'exploration et la recherche j'ai des sous-domaines comme z.example.com a.example.com m.example.com et si je recherche une certaine vale

6La chaleur

1Répondre

Nutch API advice

Je travaille sur un projet où j'ai besoin d'un crawler mature pour faire un peu de travail, et j'évalue Nutch dans ce but. Mes besoins actuels sont relativement simples: j'ai besoin d'un moteur de bal

1La chaleur

1Répondre

Nutch - Lucene - capturer le contenu des pages

J'ai parcouru quelques pages avec Java Nutch J'ai aussi fait un module avec Lucene en Java qui permet d'exécuter des requêtes sur des documents indexés. Je sais que j'ai créé des champs Nutch comme ur

3La chaleur

1Répondre

Exécution d'un robot d'indexation Web pour les sites sélectionnés sur google app engine?

Je dois écrire un moteur de balayage pour extraire des informations de quelques sites Web pré-sélectionnés seulement. Je sais que c'est un travail qui va de soi, mais je pense utiliser google app engi

1La chaleur

2Répondre

nutch et sitemap.xml

est-ce que apache-nutch prend en charge les sitemaps? ou comment puis-je l'implémenter moi-même? Comment puis-je utiliser le champ prioritaire, devrait-il être multiplié pour booster le champ?