Tests A/B sur un site d'actualités pour améliorer la pertinence

Question

Si vous utilisiez un site d'actualités qui créait une liste de 10 articles d'actualité, vous souhaitiez modifier votre algorithme et voir si les gens aimaient le nouveau mix mieux, comment aborderiez-vous cela?

Simple Cliquez sur la connexion dans la base de données associée à l'entrée de publication?

Test A/B où vous souhaitez afficher une version de l'algorithme pour grouper A et une autre pour le groupe B et mesurer les clics?

Sur quelles caractéristiques feriez-vous reposer votre décision quant à savoir si les changements étaient meilleurs?

Answer 1

Le test A/B semble un bon début et randomise les participants. Vous devrez vous en souvenir pour ne jamais voir les deux.

Vous pouvez le traiter comme une expérience de psychologie comportementale, faire un test T etc ...

Answer 2

Outre le numéro de suivi des clics, il peut également être utile de surveiller combien de temps ils regardent l'histoire qu'ils cliqué sur. C'est une donnée plus compliquée, mais qui fournit un autre niveau d'information. Vous seriez alors non seulement en train de voir si les histoires que vous avez choisies capturent les attentions de l'utilisateur, mais aussi que les histoires sont capables de le garder.

Vous pouvez faire une analyse statistique (c'est-à-dire un test T comme Tim suggéré), mais vous n'obtiendrez probablement pas assez faible d'un écart-type sur chaque mesure pour prouver la signification. Bien que ce ne soit pas vraiment important: tout ce dont vous avez besoin c'est que l'un des algorithmes ait un nombre moyen de clics et/ou de temps passé plus élevé. Pas besoin de batifoler avec des tests d'hypothèses, espérons-le.

Bien sûr, il est toujours possible de demander simplement à l'utilisateur si les recommandations étaient pertinentes, mais cela peut ne pas être réalisable dans votre situation.