Calculer la similarité entre et centroïde des documents de Lucene

Question

Afin d'effectuer un algorithme de classification simple sur les résultats que je reçois de Lucene, je dois calculer la similarité des Cosinus entre 2 documents dans Lucene, je dois aussi être capable de faire un document centroïde représenter le centroïde de chaque groupe. Tout ce que je peux penser à faire est de construire mon propre modèle d'espace vectoriel avec une pondération tf-idf, en utilisant les fréquences TermFreqVectors et Overall Term pour le peupler.

Ma question est: Ce n'est pas une approche efficace, existe-t-il une meilleure façon de le faire?

Cela me semble un peu confus donc toutes les suggestions sur la façon dont je peux améliorer ma question sont également appréciées.

Answer 1

La réponse courte est: Non

J'ai passé beaucoup de temps (beaucoup trop moyen) regarder dans cela, et pour autant que je peux voir, vous pouvez faire votre propre modèle vectoriel et le travail à partir de cela, ou utilisez Mahout pour générer un vecteur Mahout, que vous pouvez faire des comparaisons entre les documents. Je vais aller de l'avant et faire la mienne, alors je suis en train de marquer cette question.

Answer 2

Mark, vous trouverez peut-être Integrating Mahout with Lucene, IR Math with Java ou Vector Space Classifier Using Lucene utile.

Answer 3

Afin d'obtenir la similarité d'un document à l'autre, pourquoi ne pas faire une requête avec le contenu d'un document et exécuter une requête par rapport à l'index? de cette façon, vous obtiendrez score (valeurs de similarité cosinus)