Tableau de bord pour les projets scientifiques/de traitement de données collaboratifs

Question

Les serveurs d'intégration continus comme Hudson sont un ajout assez étonnant au développement de logiciels. Je travaille dans un laboratoire de recherche universitaire et j'adorerais appliquer des principes similaires à l'analyse de données scientifiques. Je veux une vue similaire à celle du tableau de bord pour savoir quelles collections de données sont correctes, lesquelles échouent à leurs tests (scripts shell simples, pour la plupart), et ainsi de suite. Un peu comme le Chromium dashboard (ATTENTION: la page prend beaucoup de temps à charger).

Il faut du travail à au moins 4 personnes, et peut-être 10 ou 12 heures de temps d'ordinateur, pour amener nos données (des études comportementales) de sa forme brute à sa forme finale facile à analyser. J'ai essayé Hudson et buildbot, mais ni l'un ni l'autre n'est vraiment approprié à notre flux de travail. Nous voulons juste faire un tas de tests sur peut-être une cinquantaine de collections indépendantes de données sujet, et afficher les résultats bien.

SO! Quelqu'un at-il une recommandation d'un moyen de générer ce type de rapport facilement? Ou, pouvez-vous penser à un bon moyen de faire passer ce type de flux de travail dans un serveur d'intégration continue? Ou, pouvez-vous recommander un tableau de bord de tests unitaires qui pourrait traiter des tests qui sont de petits scripts shell plutôt que de petites fonctions?

Merci!

Answer 1

Je suppose que vos données changent quotidiennement, et vous voulez donc effectuer les mêmes tests sur de nouveaux lots de données tout le temps. BuildBox peut exécuter des tests qui sont des scripts shell. Vous aurez juste besoin d'écrire un peu de Python pour étendre Buildbot pour y arriver. Cela dit, si vous ne voulez pas utiliser Buildbot ou Hudson et que vous voulez simplement exécuter vos tests toutes les 24 heures environ, vous pouvez installer vos scripts en tant que tâches cron ou écrire un script maître qui exécutera tous vos tests et installera que comme un travail cron. Étant donné que vous allez probablement devoir écrire quelque chose qui générera les résultats de votre test en HTML si vous voulez une sorte de tableau de bord de toute façon, demandez à votre script maître de générer cela et d'avoir apache ou twistd ou quelque chose de le servir. Sinon, je ne suis pas au courant des systèmes CI qui vont faire les choses différemment de Buildbot ou d'Hudson.

Answer 2

Commander https://my.infocaptor.com

Il pourrait fonctionner pour vos besoins. Vous pouvez agréger des informations sur une feuille de calcul Google, les pré-résumer dans votre propre base de données ou y accéder directement.

Comme exemple concret, nous suivons nos propres statistiques sur le tableau de bord de la page d'accueil. Ce tableau de bord recueille des informations de la base de données mysql SAAS et est en temps réel.

Il y a beaucoup d'adaptateurs pré-construits et pour les besoins personnalisés, vous pouvez écrire un script sur votre serveur Web et l'interface puis avec InfoCaptor en utilisant http post http://infocaptor.com/help/http_post.htm