Apprendre à prompter: IA pour les tests

Apprendre à prompter est devenu indispensable! Les attentes sur l’IA générative pour les tests logiciels portent principalement sur des gains de productivité et de vélocité. Il s’agit de réaliser plus vite et avec moins d’effort les tâches de tests grâce à l’IA. Ces attentes sont bien illustrées par l’enquête annuelle World Quality Report 2023”, dont la figure suivante est extraite : l’amélioration de la productivité et une plus grande vélocité ressortent respectivement à 65% et 53% dans les réponses des participants à cette enquête.

Ces résultats sont aussi conformes aux attentes exprimées par les participants aux sessions de formation “Accélérer vos processus de test grâce à l’IA générative” proposées par Smartesting avec ses partenaires. Par la pratique, les participants viennent acquérir les savoir-faire essentiels pour utiliser de façon productive une IA générative, apprendre à prompter de façon efficace et obtenir effectivement les gains de productivité et de vélocité attendus.

Car pour obtenir ces gains de productivité et de vélocité en utilisant l’IA générative, il faut apprendre à prompter avec les modèles d’IA. C’est ce que nous allons présenter ici, mais l’acquisition des savoir-faire requis nécessite de pratiquer et d’évaluer sa pratique ainsi que nous le faisons lors de la formation.

L’IA générative peut être utilisée de façon directe, au travers d’un Chatbot IA, par des requêtes (les prompts) en mode conversationnel avec un LLM – Large Language Model, ou bien pour des tâches prédéfinies au travers d’un outil de test qui fait appel à un LLM. 

Cet article porte sur le premier mode, c’est-à-dire le requêtage d’un LLM pour des tâches de test, car ce mode est directement accessible via les Chatbot IA disponibles, et permet une grande souplesse d’usage pour les testeurs.  

Depuis la sortie de ChatGPT par OpenAI en novembre 2022, l’offre en matière de LLM s’est considérablement développée et leur capacité progresse de façon rapide.

Des performances en progrès rapide, de nouvelles fonctionnalités et une accessibilité renforcée : à nous maintenant d’exploiter ces capacités des LLM en maîtrisant les bonnes pratiques du requêtage – appelées aussi “Prompt Engineering” ou “Prompting”.

Les techniques de Prompting vise la conception de requêtes de qualité qui guident les modèles LLM pour produire des sorties précises et pertinentes pour la tâche réalisée. Il s’agit de travailler la structure, le style et le contenu des requêtes, d’optimiser leur longueur en fonction de la tâche de test à réaliser par le LLM. Vos résultats vont dépendre du modèle LLM utilisé et de vos prompts.

Voici les techniques que nous passons en revue dans cet article, avec illustration sur des tâches de génération de tests : 

Ces techniques sont simples à utiliser, mais essentielles pour obtenir de bons résultats des modèles d’IA générative, en particulier dans notre domaine des tests logiciels qui requiert précision et complétude dans les résultats. 

Notre objet de test est l’application de démonstration de la plateforme open-source Spree Commerce, qui propose une structure front-end / back-end pour développer son commerce en ligne. La User Story qui sert de base pour notre génération de cas de tests est la gestion du panier dont voici l’image écran. 

Image écran du panier – obtenu avec l’application de démonstration Spree Commerce – https://spree-multi-vendor-demo.herokuapp.com/ – Juillet 2024

Voici la User Story “Gestion des articles du panier” que nous allons tester, avec ses critères d’acceptation :

En tant que client du site e-commerce,

Je veux pouvoir modifier la quantité des articles dans mon panier,

Afin de voir les prix et le total du panier se mettre à jour en conséquence.

Pour cette User Story « Gestion des articles du panier », voici l’analyse des classes d’équivalence et les scénarios de test correspondants :

Classes d’équivalence :

Voici le contenu du fichier gestion_panier.feature :

# gestion_panier.feature

Les scénarios couvrent tous les critères d’acceptation mentionnés :

Les scénarios incluent également des cas limites comme la tentative de diminuer la quantité à zéro et l’ajout d’une grande quantité. Tous les scénarios utilisent les données visibles dans la capture d’écran fournie.

Plusieurs constats ressortent des résultats obtenus à partir du Prompt structuré est des données fournies. Nous proposons une analyse sur différents aspects de la qualité des tests.

On constate que l’ajout de la capture d’écran de la page à tester (le panier), capturée en environnement de test, permet au modèle de déterminer des données de test précises, faisant référence à celles visualisées sur le scénario. C’est très pertinent, et cela permet de gérer cette variabilité de façon dynamique car il suffira de changer la capture d’écran, faisant apparaître d’autres articles dans le panier pour obtenir des scénarios Gherkin avec une variabilité différente.

Voici quelques constats à l’analyse des scénarios Gherkin générés par le LLM :

Le bilan est donc de 7 scénarios corrects, précis et directement alignés sur les données fournies (User Story avec ses critères d’acceptation, Capture d’écran). 

Ce bilan est positif vis-à -vis de nos attentes de productivité et de vélocité : le prompt proposé est générique et les données de la User Story et de la capture d’écran sont faciles à obtenir. Le résultat est obtenu en quelques secondes avec un LLM et la vérification prend quelques minutes. Ce résultat permet d’itérer avec le LLM, par exemple pour demander des scénarios complémentaires et d’élargir la couverture des critères d’acceptation si souhaité.

Le méta-requêtage consiste à demander au LLM des améliorations sur un prompt initial. Cette technique apporte un gain de temps grâce à des suggestions qui facilitent la mise au point du prompt par essais successifs. Les suggestions du LLM aident à clarifier et préciser les instructions, réduisant les ambiguïtés et optimisant les résultats en identifiant et corrigeant les lacunes pour des résultats plus pertinents.

Cette version améliorée du prompt devrait permettre de générer des scénarios de test plus complets, structurés et adaptés à vos besoins.

Le choix du LLM s’est porté sur Claude-3.5-Sonnet car il s’agit d’un modèle d’IA générative qui permet de bonnes performances pour les activités de test en combinant texte et capture d’écran dans la requête. La version utilisée est celle du 20 juin 2024. Nous avons utilisé le portail LLM de Smartesting pour les différentes requêtes réalisées. Ce portail interne à Smartesting à une vocation pédagogique et est utilisé pour l’apprentissage des techniques de prompting. Le portail donne accès à plus de 12 LLM, les plus pertinents pour automatiser des activités de test.

Dans cet article, nous avons illustré l’importance d’apprendre à prompter pour obtenir des bons résultats avec une IA générative pour les activités de tests logiciels. L’exemple que nous avons utilisé est une activité courante de conception et de rédaction de scénarios de test au format Gherkin. Sur d’autres tâches de test, tels que l’analyse de User Stories, l’optimisation de cas de tests existants, la génération de scripts de tests automatisés, l’analyse de rapports d’anomalies, le même constat sera réalisé : pour obtenir de bons résultats et utiliser efficacement l’IA générative, il faut maîtriser les techniques du prompting. 

Maîtriser les techniques du Prompting est accessible à tous les testeurs, et sera de plus en plus utilisé au fur et à mesure que les Chatbot IA seront accessibles dans les entreprises et que leur usage rentrera dans le quotidien des testeurs pour gagner en productivité et en vélocité.

Il s’agit d’un savoir-faire qui s’acquiert par la formation et par la pratique. Apprendre à prompter est l’un des objectifs de la formation “Accélérer vos processus de test grâce à l’IA générative”. Notre formation propose 8 ateliers sur des cas d’usage des tests logiciels, donne accès pour pratiquer à 12 LLM différents, sous licence open-source ou licence commerciale, et présente les différentes techniques de prompting utiles pour les tests logiciels, étudiées et expérimentées lors des ateliers. Près des 2/3 de la formation est consacré à la pratique guidée, permettant d’acquérir ce savoir-faire nécessaire au bon usage de l’IA générative pour les tests logiciels.