J'ai développé un programme de génération d'automatisation et de statistiques à travers une série de prototypes rapides pour voir si le coût de licence d'une API génère un bon retour sur investissement. Le temps limité, et ma propre expérience limitée a conduit à un outil utile sans tests ou mesures automatiques de qualité ou d'exactitude.Comment automatiser les tests où la qualité des résultats est largement subjective
Le programme traite du processus de localisation pour les documents PDF. Plus précisément, il génère un rapport sur une partie du contenu des fichiers (nombre de mots approximatif, nombre d'images, etc.) et comporte des fonctions d'extraction et de traitement de contenu. Il est principalement utilisé pour réduire le temps et le coût d'évaluation du coût d'un projet de localisation PDF.
L'application a maintenant été approuvée pour un processus de développement plus formel, y compris une demande pour un système de suivi des bogues et un cycle préliminaire de test, de validation et de rétroaction. La question est alors, comment voulez-vous aller sur QA et tester dans ce genre d'application, où les chiffres sont souvent une meilleure estimation basée sur une certaine heuristique et la sortie traitée n'est pas toujours utile en raison de la construction horrible de la documents source? Je prévois d'ajouter des avertissements au rapport lorsque les chiffres sont évidemment fous, mais que peut-on faire d'autre pour garantir la qualité? Jusqu'à présent, la solution la plus sophistiquée que je possède est de garantir les résultats de certaines méthodes d'assistance par le biais de tests d'assertion dans l'environnement de construction et d'écrire un tas de cas de test traditionnels (que je préférerais éviter).
Comment testez-vous les mesures de qualité subjectives?
Je travaille en C#, mais je suis en faveur d'une réponse générale aux meilleures pratiques sur tout ce qui est spécifique au cadre.
On dirait que nous sommes coincés à faire les choses à l'ancienne façon. – IanGilham