Distribué Lucene.NET

J'ai un téraoctet de données, peut-être plus, que je voudrais indexer et rechercher avec Lucene. J'aimerais pouvoir séparer l'index sur différentes machines, comme le fait Solr (si je comprends bien Solr).Distribué Lucene.NET

Existe-t-il des outils pour cela sur la plate-forme Windows?

Merci!

Modifier: Je ne suis pas très intéressé par l'exécution de Java Lucene. Je très probablement faire mes propres coups secs à Lucene donc je dois en tenir à Lucene.Net puisque je ne sais pas beaucoup sur Java

Source

2010-04-16 Rabbit

Solr semble répliquer l'indice, mais je ne sais pas si elle peut le diviser. Solr devrait fonctionner sous Windows. Vous pouvez créer votre propre outil pour indexer une partie de vos données sur chaque machine, puis effectuer une recherche sur toutes les machines et fusionner les résultats. – Guillaume

@Guillaume: oui, Solr peut diviser l'index. C'est ce que l'on appelle * sharding * –

http://wiki.apache.org/solr/DistributedSearch –

Pour autant que je sais qu'il n'y a pas de classe MultiPassIndexSplitter portage (http://lucene.apache.org/java/3_0_0/api/contrib-misc/org/apache/lucene/index/MultiPassIndexSplitter.html) à Lucene. net, donc probablement cette fonctionnalité n'est pas encore implémentée.

Source

2010-04-16 08:26:23 mamoo

Ce que vous cherchez est Katta. Voici un graphique de la façon dont cela fonctionne: Katta http://katta.sourceforge.net/wp-content/uploads/kattaoverview.jpg

Mais puisque vous savez déjà Solr, pourquoi ne pas simplement utiliser son sharding capabilities directement?

Source

2010-04-16 12:32:48

Je ferai très probablement mes propres ajustements à Lucene, donc je dois m'en tenir à Lucene.Net car je ne connais pas grand-chose à Java. – Rabbit

@ user72185 ok, alors pourquoi ne pas simplement utiliser Solr? –

Je n'ai pas vraiment essayé Solr, mais cela ne signifierait-il pas que je devrais changer de code Java si je voulais apporter des modifications à Lucene sous-jacent? – Rabbit

Solr est une application Java qui fonctionne sous Windows. Vous trouverez des détails sur la façon de le configurer en tant que service Windows ici: http://blog.ianbattersby.com/archive/2010/02/09/apache-solr-as-a-windows-service

Source

2010-04-16 12:35:28

Répondre

Questions connexes