passage de texte à travers un dictionnaire en Python

Question

J'ai actuellement un code python qui compare deux textes en utilisant la mesure de similarité de cosinus. J'ai le code here. Ce que je veux faire est de prendre les deux textes et de les passer à travers un dictionnaire (pas un dictionnaire python, juste un dictionnaire de mots) d'abord avant de calculer la mesure de similarité. Le dictionnaire sera juste une liste de mots, même si ce sera une grande liste. Je sais que ça ne devrait pas être difficile et que je pourrais peut-être trébucher sur quelque chose, mais j'aimerais aussi que ce soit efficace. Merci.

Answer 1

Si le Fites dictionnaire dans la mémoire, utilisez un ensemble Python:

ok_words = set(["a", "b", "c", "e"]) 

def filter_words(words): 
    return [word for word in words if word in ok_words] 

Si elle ne correspond pas à la mémoire, vous pouvez utiliser l'écart

Answer 2

La structure que vous essayez de créer est connu sous le nom Indice inversé. Here vous pouvez trouver des informations générales à ce sujet et des extraits de la mise en œuvre de Heaps and Mills. Malheureusement, je n'ai pas pu trouver sa source, ni aucune autre implémentation efficace. (. S'il vous plaît laisser un commentaire si vous trouverez tout)

Si vous avez pas un objectif de créer une bibliothèque en Python pur, vous pouvez utiliser PyLucene - extension Python pour accéder Lucene, ce qui est dans son tour le moteur de recherche très puissant en Java. Lucene implémente l'index inversé et peut facilement vous fournir des informations sur la fréquence des mots. Il prend également en charge une large gamme d'analyseurs (parseurs + stemmers) pour une douzaine de langues.
(A noter également, que Lucene a déjà sa propre classe de mesure Similarity.)

Quelques mots sur la similitude et modèles espace vectoriel. C'est une abstraction très puissante, mais votre implémentation souffre de plusieurs inconvénients. Avec une augmentation du nombre de documents dans votre index, votre matrice de cooccurrence deviendra trop grande pour tenir dans la mémoire, et la recherche dans celle-ci prendra du temps. Pour arrêter cet effet la réduction de dimension est utilisée. Dans les méthodes comme LSA ceci est fait par Singular Value Decomposition. Portez également attention aux techniques telles que PLSA, qui utilise la théorie probabiliste, et Random Indexing, qui est la seule méthode VSM incrémentielle (et donc la seule appropriée pour les grands index).