nutch

3La chaleur

1Répondre

Construction de robot d'indexation vertical à l'aide de Bixo

Je suis tombé sur un robot d'exploration Open Source Bixo. Est-ce que quelqu'un a essayé? Pourriez-vous s'il vous plaît partager l'apprentissage? Pouvons-nous construire un crawler orienté avec assez

0La chaleur

1Répondre

problème par l'intégration de apache nutch (version 1.2) dans apach solr (tronc) - obtenu solr exception

J'ai configuré le solrindex-mapping.xml (nutch) et configuré mon solr schema.xml et solrconfig.xml aussi. Les deux fonctionnent bien sur seul passage, mais si j'utilise le bin/nutch solrindex ...-je o

2La chaleur

1Répondre

Contournement de l'authentification pour localhost afin d'implémenter la recherche dans Etherpad

J'essaie d'implémenter le moteur de recherche basé sur Nutch + Solr dans mon installation Etherpad. Le principal problème que j'ai est que Nutch ne prend pas en charge l'authentification POST. Etherpa

5La chaleur

3Répondre

Meilleur crawler de graphe web pour la vitesse?

Depuis un mois, j'utilise Scrapy pour un projet d'exploration Web que j'ai commencé. Ce projet consiste à extraire le contenu complet du document de toutes les pages Web dans un seul nom de domaine ac

0La chaleur

2Répondre

Architecture avec 3 serveurs pour le moteur de recherche solr

Je vais construire un moteur de recherche sur solr, et nutch comme un robot. Je dois indexer environ 13mln de documents. j'ai 3 serveurs pour ce poste: 4 core Xeon 3Ghz, ram 20Gb, 1,5 To SATA 2 * 4 co

0La chaleur

2Répondre

Identification des chaînes dans les documents, avec nutch + solr?

Je suis à la recherche d'une solution de recherche qui permettra d'identifier les chaînes (noms de sociétés) et d'utiliser ces chaînes pour la recherche et les facettes dans Solr. Je suis nouveau à Nu

0La chaleur

2Répondre

Nutch: obtenir la profondeur de crawl actuelle dans le plugin

Je veux écrire mon propre plugin de parseur HTML pour nutch. Je fais de l'exploration focalisée en générant des liens sortants ne tombant que dans xpath spécifique. Dans mon cas d'utilisation, je souh

1La chaleur

1Répondre

Tutoriels MapReduce Nutch

Quelqu'un pourrait-il me donner des pointeurs vers des tutoriels expliquant comment écrire un programme mapreduce dans Nutch? Merci.

1La chaleur

1Répondre

solrindex façon de mapper schéma de nutch à solr

Nous avons plusieurs champs de nutch personnalisés que le crawler ramasse et indexe. Le transfert à solr via solrindex (en utilisant le fichier de mapping) fonctionne très bien. Le journal montre que

1La chaleur

1Répondre

Quels pots de Nutch dois-je écrire mon propre Crawl.java

J'essaye d'écrire ma propre version de Crawl.java de Nutch où je ferais un peu différent. Je ne veux pas travailler avec le code source de Nutch. Je veux juste importer quelques pots et démarrer avec