Aller au contenu
Alaisia · Chatbot Un site du réseau Alaisia

Question

Pourquoi un chatbot ne répond pas toujours pareil

La même question, deux réponses différentes : ce que cela révèle, ce qui est normal, ce qui ne l'est pas, et comment rendre un chatbot plus constant.

Mis à jour le

Un chatbot IA ne répond pas toujours pareil parce qu'il rédige sa réponse à chaque question, au lieu de la recopier. Le modèle de langage choisit ses mots avec une part de hasard, réglable mais jamais nulle. Si la base de connaissances contient deux versions d'une information, ou si la recherche ne retrouve pas toujours le même passage, le fond peut aussi changer. La première cause est normale ; la seconde se corrige.

Cette question revient souvent chez les clients que vous équipez : « J'ai posé deux fois la même question et je n'ai pas eu la même réponse. » Voici de quoi leur répondre, et quoi vérifier.

Première cause : le modèle rédige, avec une part de hasard

Un modèle de langage construit sa réponse mot après mot, en choisissant à chaque fois parmi plusieurs suites possibles. Un réglage appelé température dose la part de hasard dans ce choix. La documentation d'Anthropic la décrit ainsi : une température haute donne des réponses plus variées, une température basse des réponses plus prudentes, collées aux formulations les plus probables. La documentation de Mistral AI note de son côté qu'une température au-dessus de zéro est nécessaire pour obtenir des réponses diverses à une même demande.

Point important, écrit par Anthropic : même avec une température à zéro, les résultats ne sont pas entièrement déterministes, et des demandes identiques peuvent produire des réponses différentes. Pour une définition détaillée, voir la fiche température d'un LLM du lexique.

Ce qu'il faut retenir pour un client : la forme peut changer, le fond ne doit pas.

Deuxième cause : la recherche ne retrouve pas toujours la même chose

Avant de rédiger, le chatbot cherche dans la base les passages utiles. Le guide de la Direction générale des entreprises (DGE) sur la génération augmentée par récupération signale que cette recherche peut passer à côté de documents pertinents, notamment parce qu'elle ne retient qu'un nombre fixe de passages, ou parce qu'une formulation différente de la question oriente vers d'autres extraits. « Quels sont vos délais ? » et « Vous livrez en combien de temps ? » ne ramènent pas forcément les mêmes passages.

Troisième cause : la base se contredit

Si la foire aux questions dit 48 heures et les conditions de vente 3 jours ouvrés, le chatbot répondra selon le passage retrouvé. La DGE compte la suppression des documents contradictoires parmi les étapes de nettoyage, et la cite comme solution aux réponses aberrantes. C'est la cause la plus fréquente d'un changement de fond, et la plus simple à corriger.

Diagnostiquer en cinq minutes

Ce que vous constatez Cause probable Ce que vous faites
Même fond, mots différents Rédaction normale du modèle Rien, ou préciser le ton dans la consigne
Fond différent selon la formulation La recherche retrouve des passages différents Ajouter à la base une question-réponse claire sur ce sujet
Fond différent pour une question identique Deux sources contradictoires Retirer ou corriger le document périmé
Réponse inventée, absente des documents Information manquante dans la base Ajouter le document ou faire dire « je ne sais pas » et transférer

Rendre le chatbot plus constant

La documentation d'Anthropic sur la constance des réponses propose plusieurs leviers, dont trois s'appliquent directement à un chatbot de service client :

  1. Ancrer les réponses dans un ensemble d'informations fixe, c'est-à-dire une base propre et sans doublon.
  2. Donner des exemples de réponses attendues pour les situations courantes, plus efficaces que des consignes abstraites.
  3. Fixer le rôle et le ton dans les consignes générales du chatbot.

Et pour les réponses qui doivent être identiques au mot près (prix, délais légaux, consignes de sécurité), utilisez une réponse imposée : voir imposer une réponse précise.

Ce qu'il faut tester

Dans le cahier de recette, posez chaque question importante plusieurs fois, et sous plusieurs formulations. Notez le fond de chaque réponse, pas la forme. Un écart de fond sur un sujet qui engage le client est un défaut à corriger avant la mise en ligne.

Questions fréquentes

Est-ce un défaut si le chatbot reformule ?

Non, si le fond reste le même. Un modèle de langage rédige sa réponse à chaque fois ; deux formulations différentes d'une même information juste sont normales. Le problème commence quand le fond change : un délai, un prix, un oui devenu non.

Peut-on rendre un chatbot totalement constant ?

Pas en comptant sur le seul réglage du modèle. La documentation d'Anthropic indique que même au réglage le plus prudent, les résultats ne sont pas entièrement déterministes. Pour une réponse exacte, il faut une réponse imposée.

Sources

Pages consultées pour écrire cet article :

  1. https://platform.claude.com/docs/en/about-claude/glossary
  2. https://docs.mistral.ai/capabilities/completion/sampling/
  3. https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/increase-consistency
  4. https://www.entreprises.gouv.fr/files/files/Publications/2024/Guides/20241127-bro-guide-ragv4-interactif.pdf

À lire aussi