Architecture pour le moteur de recherche basé sur la clé distribuée/magasin de valeur?

Question

Quelqu'un a-t-il connaissance de liens, d'articles, de présentations ou d'articles de blog décrivant un moteur de recherche de texte intégral à grande échelle basé sur un magasin de clés/valeurs distribuées?

Je m'intéresse particulièrement à l'organisation de l'indice. Quelle est exactement la structure de données? Où et comment sont stockés les dictionnaires et les publications? Quel est le flux de travail pour le traitement des requêtes? Comment les requêtes sont-elles traitées de telle sorte qu'il n'est pas nécessaire de transporter des quantités massives de données sur le réseau? Je crois comprendre que Blekko est construit de cette façon. J'aimerais savoir ce qu'ils ont fait, eux ou leurs concurrents.

Answer 1

Je ne connais pas de billet de blog ou d'article qui répond à votre question Exactement. Cependant, voici quelques ressources qui, selon moi, sont pertinentes pour votre question et j'espère qu'elles pourront vous aider à trouver une réponse.

Tout d'abord, les keynotes de Jeff Dean sur l'évolution de l'architecture de Google,

• http://research.google.com/people/jeff/WSDM09-keynote.pdf
• http://www.cs.cornell.edu/projects/ladis2009/talks/dean-keynote-ladis2009.pdf

Ensuite, il y a un moteur de recherche open source sur le dessus d'un magasin de KV appelé Lucandra - comme son nom l'indique, Lucene et Cassandra, tous deux étant des projets Apache.

• http://blog.sematext.com/2010/02/09/lucandra-a-cassandra-based-lucene-backend/

Afin de comprendre comment fonctionne Lucandra, consultez la mise en œuvre et des présentations qui ont été faites que parler de la façon dont les index Lucene données Cassandra.

De même, vous pouvez également voir comment Lucene et HBase coexistent.Voici un lien vers l'Apache commettre/patch qui intègre une couche de recherche en utilisant un sur l'autre,

• http://mail-archives.apache.org/mod_mbox/hbase-issues/201104.mbox/%3C1865485299.35732.1302031145872.JavaMail.tomcat@hel.zones.apache.org%3E

Un autre article similaire pour Redis

• http://playnice.ly/blog/2010/05/05/a-fast-fuzzy-full-text-index-using-redis/

Ensuite, consultez Configuration requise pour les systèmes de recherche évolutifs

• http://www.ir.iit.edu/~abdur/publications/p435-chowdhury.pdf

Le laboratoire CIS a d'excellents documents de recherche sur le sujet que vous devriez vérifier,

• http://cis.poly.edu/westlab/publications.html

Pour les hypothèses des moteurs de recherche généraux qui peuvent être fait ci-dessus, voici des liens vers des livres qui aideront,

• http://ir.iit.edu/~ophir/pub.html
• http://www.search-engines-book.com/
• http://www.ir.uwaterloo.ca/book/
• http://nlp.stanford.edu/IR-book/information-retrieval-book.html

Answer 2

Google MapReduce va probablement vous intéresser beaucoup.