Accord inter-évaluateur (API de Fleiss 'Kappa, Alpha de Krippendorff etc.)?

Question

Je travaille sur la construction d'un corpus Question Classification/Réponse dans le cadre de ma thèse de maîtrise. Je cherche à évaluer ma taxonomie de type de réponse attendue en ce qui concerne l'accord inter-évaluateur/la fiabilité, et je me demandais: Est-ce que quelqu'un connaît des API Java décentes (de préférence gratuites) qui peuvent le faire?

Je suis raisonnablement certain que tout ce dont j'ai besoin est l'Alpha de Fleiss et l'Alpha de Krippendorff à ce stade.

Weka fournit une statistique kappa dans son paquet d'évaluation, mais je pense qu'il ne peut évaluer qu'un classificateur et je n'en suis pas encore là (parce que je construis toujours le jeu de données et les classes).

Merci.

Answer 1

Je ne pouvais pas trouver une API Java existante à temps pour mes recherches, j'ai donc fini par implémenter à la fois le Kappa de Fleiss et l'Alpha de Krippendorff moi-même. Les résultats préliminaires de notre recherche peuvent être trouvés in this paper.

Answer 2

Vérifiez QDAP (Université de Pittsburg) Code Open Source.

Answer 3

J'ai porté une implémentation matlab de kappa de Fleiss sur Python/numpy.

http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py

Il est difficile de ne pas mettre en œuvre, peut-être vous pourrions porter à Java vous.