Tester avec l’IA générative : Le Guide Ultime (E-book)

Tester avec l’IA générative : Comment se lancer vraiment est la grande question du moment pour les organisations de test.
Car, une fois passée l’étape de découverte, qui permet de confirmer la puissance des capacités des modèles d’IA pour les tests, il faut sortir du bricolage pour obtenir un vrai impact et un ROI mesuré. Et, ce n’est pas si simple !

Cet article accompagne la sortie de la première édition de notre guide pratique de l’IA générative pour les tests, en posant trois questions clés.

Tester avec l’IA générative :

La réponse est limpide : pour gagner en productivité et en vélocité dans nos activités de test.

La fréquence des mises en production s’accélère, la complexité des systèmes à tester augmente, la demande de qualité est forte. En conséquence, il faut gagner en productivité dans nos activités de test, et l’IA générative est là pour cela.

Nous n’avons pas encore de statistiques précises sur les gains de productivité mesurés pour les métiers du test, car la diffusion de l’IA générative y est trop récente. 

Mais, nous avons des statistiques pour les activités des développeurs. Les deux graphiques suivants sont issus de l’enquête de Stack Overflow : 2024 Developer Survey, avec des réponses obtenues auprès de près de 30 000 développeurs professionnels.

Les trois activités principales assistées par l’IA mentionnées par les développeurs sont : l’écriture du code (pour 82 % des répondants), la recherche de réponses sur des questions liées au code (67,5 %), et le débogage du code (56,7 %). L’utilisation de l’IA pour l’écriture et l’amélioration du code est le focus principal. Ce qui est bien compréhensible puisque ceci est l’activité principale des développeurs.

A notre connaissance, il n’existe pas, à ce jour, d’étude de même nature pour les professionnels des tests logiciels. Mais, on peut faire deux hypothèses :

La réponse est limpide : potentiellement, pour l’ensemble des activités de test.

Considérons les sept groupes d’activité des tests logiciels selon ISTQB – International Software Testing Qualification Board – Testeur Certifié de Niveau Fondation, 

Figure : Groupes d’activités de test suivant ISTQB Testeur Certifié Niveau Fondation – Version 4.0

Ces cas d’usage ne donnent pas une liste exhaustive, mais montrent la grande diversité de l’apport de l’IA générative pour les tests, et le potentiel de gains en productivité et en vélocité.

Face à une telle profusion de cas d’usage, le monde du test est un peu désorienté…

Malheureusement, comme souvent en test logiciel, il n’y a pas une réponse unique s’appliquant à tous les cas. La raison vient de la diversité des contextes, des maturités en test et des processus et des habitudes de travail déjà en place. Les gains obtenus avec l’IA générative vont dépendre de votre capacité à bien utiliser l’IA, mais aussi de la qualité des données que nous allons utiliser pour nourrir cette IA.

Prenons un exemple en analyse et conception de tests : vous souhaitez utiliser l’IA générative pour accélérer la création des conditions de test à partir des User Stories et des critères d’acceptation. Très bien. Mais si vos critères d’acceptation sont lacunaires, pensez-vous réellement que les résultats seront à la hauteur de vos espérances ? Imaginez maintenant que vos critères d’acceptation soient de bonnes qualités, mais que les testeurs, non formés aux techniques de requêtage des modèles d’IA, créent des requêtes faibles avec des résultats médiocres. Là aussi, vos résultats ne seront pas ceux attendus.

Les gains obtenus avec l’IA vont donc varier en fonction de différents critères spécifiques à votre organisation. Notamment la qualité de vos données et celle de vos savoir-faire en IA générative. Il vous faut donc une véritable stratégie d’intégration pour infuser l’IA générative dans vos activités de test.

La réponse est limpide : de façon progressive et structurée.

La figure suivante propose une approche par étapes pour commencer puis pour progresser dans la mise en œuvre de l’IA générative pour les tests.

Tout d’abord, il est important de découvrir les possibilités offertes par l’IA en initiant la formation des équipes, en mettant en place les accès nécessaires aux modèles de langage (LLM), et en expérimentant avec des cas d’usage initiaux. 

Une fois ces fondations posées, il convient de prioriser les cas d’usage pertinents, de développer les compétences internes, de mutualiser le savoir-faire acquis, et d’évaluer et d’intégrer les outils de test basés sur l’IA générative. 

Pour exploiter pleinement le potentiel de ces technologies, il faut les intégrer dans les flux de travail existants des testeurs. Ceci, en sélectionnant les traitements les plus performants, en évaluant régulièrement l’évolution des outils LLM, et en mesurant l’impact sur la transformation des pratiques de test. 

Cette démarche progressive et structurée vise à maximiser les bénéfices de l’IA générative tout en minimisant les risques associés à son implémentation. 

Mais, au fur et à mesure que vous avancez, de nombreuses questions se posent et de multiples choix sont à réaliser, des risques sont à éviter. Le tout, faisant émerger une nouvelle pratique des tests logiciels, assistée par l’IA.

Car il s’agit bien d’une transformation profonde des méthodes de travail que vous allez progressivement réaliser. Et comme toute transformation, sa réussite va dépendre de votre engagement, de l’adhésion des équipes et de la bonne exécution des étapes de la démarche.
Vous pourrez découvrir dans notre eBook “Tester avec l’IA générative – Guide pratique”, une vision à 360° des aspects clés pour réussir votre parcours.