Outils de test dynamiques

Question

Je suis à la recherche d'un outil de test dynamique. Laissez-moi vous expliquer ce que je veux dire. J'ai une application modulaire et une partie de ma stratégie commerciale consiste à autoriser chaque module indépendamment. Je voudrais tester des choses telles que le fait que tous les tests d'un module passent encore même quand l'autre module n'est pas présent sur le système de fichiers.

Une autre chose que je voudrais pouvoir vérifier pendant ma suite de tests, c'est que les paramètres non liés ne devraient pas changer le comportement auquel ils ne sont pas supposés être couplés.

Écrire un script ad-hoc pour chaque cas de test et injecter le défaut serait trivial, mais cela ressemble à une violation de DRY. Existe-t-il des outils conçus pour ce type d'injection de défauts, notamment en PHP?

Donc, dans un monde idéal, j'aimerais pouvoir écrire un ensemble de scripts «modifiant l'environnement», dont chacun modifiera l'environnement d'une manière ou d'une autre. Pour chaque "modification d'environnement" phpunit devrait exécuter tous mes tests. Je devrais être capable de voir dans un certain type de rapport quels tests ont échoué sous quels "environnements extrêmes"

Ainsi avec N "modifications de l'environnement" et M tests, la somme des passes & échecs devrait égaler N fois M, semblable à comment Les outils de test GUI tels que le sélénium exécutent la suite sur chaque environnement différent (navigateur)

Answer 1

Ceci peut fonctionner en utilisant phpUnit et de la magie dans les appareils. Mais je voudrais regarder dans un outil de construction (comme Ant ou Phing) qui crée une caisse de votre référentiel source, mettre en place les modules requis, puis exécute les tests phpUnit. Phing ou Ant peut être appelé à partir d'un système d'intégration continu comme phpUnderControl ou Hudson de manière régulière afin que vous obteniez une rétroaction automatique régulière.