A/B testing
Comparaison de deux versions d'une page ou d'un parcours auprès de deux échantillons d'utilisateurs, pour mesurer laquelle convertit le mieux. Ce n'est pas un test de qualité logicielle : on y mesure un comportement, pas un défaut.
71 définitions pour parler le même langage entre le produit, la QA et la technique. Du cas de test au tir de charge, en passant par les faux positifs et la dette QA.
Comparaison de deux versions d'une page ou d'un parcours auprès de deux échantillons d'utilisateurs, pour mesurer laquelle convertit le mieux. Ce n'est pas un test de qualité logicielle : on y mesure un comportement, pas un défaut.
Capacité d'un service en ligne à être utilisé par tous, y compris par des personnes en situation de handicap. Elle s'évalue contre des référentiels comme le RGAA en France ou les WCAG à l'international. En savoir plus
Écart entre le comportement attendu et le comportement observé. Terme plus large que « bug » : une anomalie peut venir du code, des données, de l'environnement ou de la spécification elle-même.
Vérification directe des échanges entre systèmes, sans passer par l'interface. Plus rapide et plus stable qu'un test d'interface, il détecte les régressions au niveau des contrats de service. En savoir plus
Condition vérifiée à un point précis d'un scénario. Si elle est fausse, l'exécution part en échec. Un scénario sans assertion ne teste rien : il navigue.
Exécution de scénarios par un programme plutôt que par une personne. Elle ne supprime pas le test manuel : elle libère du temps humain pour l'exploration et le jugement. En savoir plus
Liste ordonnée des scénarios à écrire ou à reprendre, priorisée par risque métier plutôt que par facilité d'automatisation.
Défaut du logiciel qui provoque un comportement non conforme. Son coût croît avec le moment où on le découvre : quelques minutes en développement, plusieurs jours en production.
Version compilée et assemblée d'une application à un instant donné. C'est l'objet sur lequel portent les tests avant une mise en production.
Ensemble de scénarios exécutés ensemble, sur un environnement donné, à une date donnée. Elle produit un rapport d'exécution unique.
Description d'une vérification précise : état de départ, actions, résultat attendu. Plusieurs cas de test composent un scénario.
Intégration continue et livraison continue. Chaîne automatisée qui construit, teste et déploie une application à chaque modification du code. En savoir plus
Part du produit réellement vérifiée par les tests. Elle se mesure par parcours métier plutôt qu'en pourcentage de lignes de code : couvrir 80 % du code sans couvrir le tunnel de commande ne protège de rien. En savoir plus
Conditions à remplir pour qu'une fonctionnalité soit considérée comme terminée. Ils sont la matière première des scénarios de test.
Vérification du même parcours sur plusieurs navigateurs et plusieurs versions. Un rendu correct sur Chrome ne dit rien de Safari.
Couche de données que le site expose aux outils de mesure comme Google Tag Manager. Un data layer cassé ne casse pas le site : il casse vos statistiques, en silence. En savoir plus
Liste des conditions qu'une équipe s'impose pour déclarer un travail terminé. Quand elle inclut les tests, la dette de test cesse de s'accumuler.
Accumulation de tests instables, obsolètes, désactivés ou jamais écrits. Comme la dette technique, elle se paie en temps de maintenance et en régressions non détectées. En savoir plus
Représentation en arbre d'une page web, telle que le navigateur la construit. Les tests d'interface s'appuient dessus pour retrouver les éléments à manipuler.
Test qui parcourt une chaîne complète, de l'interface jusqu'aux systèmes en arrière-plan, comme le ferait un utilisateur réel. En savoir plus
Instance dédiée à l'exécution des tests : recette, préproduction, production. Un scénario stable en recette peut échouer ailleurs pour une simple différence de données.
Lancement d'un scénario à un instant donné, sur un environnement donné. Elle produit un statut, une durée, des captures et des journaux.
Test mené sans script préétabli, où une personne cherche activement les failles en s'appuyant sur son expérience. C'est le complément naturel de l'automatisation, pas son concurrent.
Un test qui passe alors que le défaut existe. C'est le plus dangereux des deux : il donne une confiance qui n'a pas lieu d'être.
Un test qui échoue alors que le produit fonctionne. Répétés, les faux positifs font perdre confiance dans la suite de tests, jusqu'à ce que plus personne ne lise les rapports.
Instabilité d'un test qui passe ou échoue de façon aléatoire, à code inchangé. Souvent causée par des attentes mal gérées, des données partagées ou un environnement lent.
Vérification qu'une fonctionnalité produit le résultat attendu, du point de vue de l'utilisateur. C'est la famille de tests la plus proche du métier. En savoir plus
Syntaxe en langage naturel structuré, du type « Étant donné, Quand, Alors », qui décrit un scénario de manière lisible par les équipes métier comme par les développeurs.
Comparaison visuelle entre deux versions d'une page, zone par zone. Ils détectent ce qu'aucun test fonctionnel ne voit : une mention légale disparue, un bouton devenu invisible. En savoir plus
Démarche d'éco-conception numérique. Testée automatiquement, elle vérifie le poids des pages, le nombre de requêtes et la sobriété des ressources chargées. En savoir plus
Exécution d'un navigateur sans affichage graphique. Plus rapide et moins gourmand, ce mode convient aux exécutions massives en intégration continue.
Correction livrée en urgence directement sur la production. C'est le moment où une suite de non-régression rapide vaut le plus cher.
Interruption ou dégradation d'un service en production. Un incident détecté par un test automatisé coûte moins cher qu'un incident détecté par un client. En savoir plus
Vérification que plusieurs composants fonctionnent correctement ensemble, là où les tests unitaires les vérifient isolément. En savoir plus
Pratique consistant à fusionner et vérifier les modifications de code plusieurs fois par jour, avec exécution automatique des tests à chaque fois. En savoir plus
Données préparées pour l'exécution d'un scénario : comptes, produits, commandes. Un jeu mal isolé est l'une des premières causes de tests instables. En savoir plus
Expression qui désigne un élément dans la page, en CSS ou en XPath. Un locator trop dépendant de la structure casse à la première refonte.
Journaux produits pendant une exécution. Ils servent à comprendre pourquoi un scénario a échoué, quand la capture d'écran ne suffit pas.
Travail d'adaptation des scénarios aux évolutions du produit. C'est le poste de coût qui tue la plupart des projets d'automatisation, et le premier à industrialiser. En savoir plus
Test exécuté par une personne. Irremplaçable pour l'exploration, l'ergonomie et le jugement. Coûteux dès qu'il s'agit de répéter la même vérification à chaque livraison.
Composant simulé qui remplace un système réel pendant un test, pour s'affranchir de sa disponibilité ou de son coût. Utile, mais un mock ne prouve jamais que l'intégration réelle fonctionne.
Exécution régulière de scénarios sur l'environnement de production, pour détecter une panne avant les utilisateurs. En savoir plus
Délai moyen de détection et délai moyen de réparation d'un incident. Deux indicateurs de pilotage plus parlants que le nombre brut de bugs. En savoir plus
Approche qui permet de construire des scénarios sans écrire de code, à partir de blocs et d'actions. Elle ouvre l'automatisation aux profils métier et réduit la dépendance à une seule personne.
Vérification qu'une évolution n'a rien cassé de ce qui fonctionnait avant. C'est le premier usage de l'automatisation, et le plus rentable. En savoir plus
Capacité à comprendre l'état interne d'un système à partir de ce qu'il expose : journaux, métriques, traces. Elle complète les tests, elle ne les remplace pas.
Chemin utilisateur dont l'indisponibilité a un impact direct sur le chiffre d'affaires ou sur la conformité. C'est par eux qu'une stratégie de test commence.
Mesure des temps de réponse et de la consommation de ressources sous une charge donnée. Un site fonctionnel mais lent est un site en panne pour une partie des utilisateurs. En savoir plus
Suite d'étapes automatisées déclenchées à chaque modification du code : compilation, tests, déploiement. En savoir plus
Modèle qui recommande beaucoup de tests unitaires, moins de tests d'intégration et peu de tests end-to-end. Utile comme repère, à nuancer quand le risque se concentre dans les parcours.
Quality Assurance. Ensemble des pratiques qui visent à garantir la qualité d'un produit logiciel, du cadrage à la production. La QA ne se limite pas au test.
Externalisation de tout ou partie de la fonction test à un prestataire, avec des objectifs de couverture et un pilotage contractuel. En savoir plus
Synthèse d'une campagne : scénarios passés, échoués, durées, captures, journaux. C'est la pièce qui permet de qualifier un échec plutôt que de le subir. En savoir plus
Phase de validation d'une livraison avant sa mise en production. Elle peut être technique, fonctionnelle ou menée par les utilisateurs.
Défaut apparu sur une fonctionnalité qui fonctionnait auparavant. Presque toujours un effet de bord d'une modification faite ailleurs. En savoir plus
Règlement européen sur la protection des données. Côté test, il se vérifie sur le consentement, les bandeaux cookies, les durées de conservation et les traceurs réellement déposés. En savoir plus
Suite d'actions et de vérifications qui reproduit un parcours utilisateur complet. C'est l'unité de travail de l'automatisation.
Vérification des protections d'une application : authentification, habilitations, injection, exposition de données. Complémentaire d'un audit de sécurité, pas équivalent. En savoir plus
Expression qui identifie un élément dans la page à partir de sa structure ou de ses attributs. Le choix du sélecteur détermine la robustesse du scénario.
Capacité d'un outil à réparer seul un scénario dont un élément a changé de position ou d'identifiant, sans intervention humaine. En savoir plus
Contrôle automatisé des éléments qui conditionnent le référencement : balises, statuts HTTP, canoniques, données structurées, temps de chargement. En savoir plus
Déplacement des activités de test vers l'amont du cycle de développement. Plus un défaut est trouvé tôt, moins il coûte cher.
Petite série de vérifications rapides lancée juste après une livraison, pour confirmer que l'essentiel fonctionne avant d'aller plus loin.
Développement piloté par les tests : on écrit le test avant le code qu'il vérifie. Pratique de développement, distincte de l'automatisation des tests d'interface.
Vérification des parcours sur navigateur mobile et sur applications natives iOS et Android, exécutée sur de vrais appareils. En savoir plus
Montée en charge progressive jusqu'au point de rupture, pour connaître la limite réelle d'une infrastructure avant une opération commerciale. En savoir plus
Recette utilisateur. Validation finale par les futurs utilisateurs, qui vérifient que le produit répond au besoin réel et pas seulement à la spécification.
Vérification d'une fonction ou d'un composant isolé, écrite et exécutée par les développeurs. Base de la pyramide des tests.
Vérification qu'on a construit le bon produit, là où la vérification s'assure qu'on l'a construit correctement. Deux questions différentes, souvent confondues.
Web Content Accessibility Guidelines, référentiel international d'accessibilité web sur lequel s'aligne le RGAA. Trois niveaux de conformité : A, AA, AAA. En savoir plus
Appel automatique envoyé par un système vers un autre au moment où un événement se produit. Utilisé pour pousser un résultat de test vers un outil de suivi ou une messagerie. En savoir plus
Dites-nous lequel. Le glossaire est enrichi au fil des questions que nous posent nos clients et nos prospects.