Cosinus Similarité des vecteurs de différentes longueurs?

Question

I'm trying to use TF-IDF pour trier les documents en catégories. J'ai calculé le tf_idf pour certains documents, mais maintenant quand j'essaie de calculer la similarité Cosinus entre deux de ces documents que je reçois un retraçage dit:

#len(u)==201, len(v)==246 

cosine_distance(u, v) 
ValueError: objects are not aligned 

#this works though: 
cosine_distance(u[:200], v[:200]) 
>> 0.52230249969265641 

est-tranchage le vecteur de telle sorte que len (u) == len (v) la bonne approche? Je penserais que la similarité de cosinus fonctionnerait avec des vecteurs de différentes longueurs.

J'utilise this function:

def cosine_distance(u, v): 
    """ 
    Returns the cosine of the angle between vectors v and u. This is equal to 
    u.v/|u||v|. 
    """ 
    return numpy.dot(u, v)/(math.sqrt(numpy.dot(u, u)) * math.sqrt(numpy.dot(v, v))) 

également - est l'ordre des valeurs tf_idf dans les vecteurs importants? Devraient-ils être triés - ou cela n'a-t-il pas d'importance pour ce calcul?

Answer 1

Calculez-vous la similitude cosinus des vecteurs de terme? Les vecteurs de terme doivent avoir la même longueur. Si les mots ne sont pas présents dans un document alors il devrait avoir une valeur de 0 pour ce terme. Je ne suis pas exactement sûr de ce que les vecteurs que vous appliquez la similitude de cosinus mais en faisant la similitude de cosinus alors vos vecteurs devraient toujours avoir la même longueur et l'ordre importe beaucoup.

Exemple:

Term | Doc1 | Doc2 
Foo  .3  .7 
Bar | 0 | 8 
Baz | 1 | 1 

Ici vous avez deux vecteurs (.3,0,1) et (.7,8,1) et peut calculer la similarité cosinus entre eux. Si vous comparez (.3,1) et (.7,8), vous comparerez le score Doc1 de Baz au score Doc2 de Bar, ce qui n'aurait aucun sens.

Answer 2

Vous devez multiplier les entrées pour les mots correspondants dans le vecteur, donc il devrait y avoir un ordre global pour les mots. Cela signifie qu'en théorie vos vecteurs doivent avoir la même longueur. En pratique, si un document a été vu avant l'autre, les mots du second document peuvent avoir été ajoutés à l'ordre global après la visualisation du premier document, donc même si les vecteurs ont le même ordre, le premier document peut être plus court, car il n'a pas d'entrées pour les mots qui n'étaient pas dans ce vecteur.

Document 1: Le renard brun rapide a sauté par-dessus le chien paresseux.

Global order:  The quick brown fox jumped over the lazy dog 
Vector for Doc 1: 1 1  1 1  1  1 1 1 1 

Document 2: Le coureur a été rapide.

Global order:  The quick brown fox jumped over the lazy dog runner was 
Vector for Doc 1: 1 1  1 1  1  1 1 1 1 
Vector for Doc 2: 1 1  0 0  0  0 0 0 0 1  1 

Dans ce cas, en théorie, vous devez pad le vecteur document 1 avec des zéros sur la fin. En pratique, lors du calcul du produit scalaire, il suffit de multiplier les éléments jusqu'à la fin du vecteur 1 (puisque omettre les éléments supplémentaires du vecteur 2 et les multiplier par zéro sont exactement les mêmes, mais visiter les éléments supplémentaires est plus lent).

Ensuite, vous pouvez calculer l'amplitude de chaque vecteur séparément, et pour cela les vecteurs n'ont pas besoin d'être de la même longueur.

Answer 3

Essayez de construire les vecteurs avant de les nourrir à la fonction cosine_distance:

import math 
from collections import Counter 
from nltk import cluster 

def buildVector(iterable1, iterable2): 
    counter1 = Counter(iterable1) 
    counter2= Counter(iterable2) 
    all_items = set(counter1.keys()).union(set(counter2.keys())) 
    vector1 = [counter1[k] for k in all_items] 
    vector2 = [counter2[k] for k in all_items] 
    return vector1, vector2 


l1 = "Julie loves me more than Linda loves me".split() 
l2 = "Jane likes me more than Julie loves me or".split() 


v1,v2= buildVector(l1, l2) 
print(cluster.util.cosine_distance(v1,v2))