Entraîner un chatbot sur son site web : la méthode

« Entraîner » un chatbot sur un site web ne veut pas dire modifier le modèle d'intelligence artificielle. L'outil lit les pages du site, en garde une copie découpée en morceaux, puis cherche dans cette copie à chaque question pour rédiger sa réponse. La documentation d'Anthropic décrit ce fonctionnement : les informations sont récupérées au moment de la question et transmises au modèle avec elle. Pour vous, cela change tout : la qualité dépend des pages choisies, et la copie doit être refaite quand le site change.

Ce que fait l'outil quand il lit le site

1. Il parcourt les pages, en suivant les liens à partir d'une adresse de départ ou d'un plan du site.
2. Il extrait le texte de chaque page.
3. Il nettoie et découpe ce texte en morceaux.
4. Il range ces morceaux pour les retrouver par le sens.

Le guide de la Direction générale des entreprises (DGE) sur la génération augmentée par récupération cite, parmi les étapes de nettoyage, le retrait des en-têtes, pieds de page et tables des matières. Sur un site, cela veut dire le menu, le bandeau de cookies, le pied de page répété sur chaque page. Google recommande, pour son propre outil d'assistance, de retirer en particulier les barres de navigation et le contenu sans rapport en début de document. Si l'outil ne le fait pas bien, chaque morceau contient le même menu, et les recherches en souffrent.

Choisir les pages avec le client

Deux réflexes :

• Partir d'une liste d'adresses plutôt que de laisser l'outil parcourir tout le domaine.
• Vérifier les doublons : une même offre décrite sur trois pages, dont deux anciennes, donne trois réponses possibles.

Les obstacles à prévoir

Le fichier robots.txt. Il indique aux robots ce qu'ils peuvent parcourir. Google précise qu'il sert surtout à ne pas surcharger le site et que ses consignes ne peuvent pas être imposées aux robots : Googlebot et les robots respectueux les suivent, d'autres non. Deux conséquences. Si le robot de l'outil est bloqué par ce fichier, il ne lira rien : faites ajuster la règle par le gestionnaire du site. Et une page sensible ne doit pas compter sur ce fichier pour rester hors de la base : elle doit être protégée ou exclue de la liste.

Les pages construites en JavaScript. Certaines pages n'affichent leur contenu qu'après exécution d'un script dans le navigateur. Un outil qui ne lit que le code brut de la page les verra vides. Testez quelques pages représentatives avant de promettre au client que « tout le site » est lu.

Les pages protégées. Un espace client ou une page derrière un mot de passe ne sera pas lu, et c'est souvent tant mieux.

Les PDF liés. Un catalogue ou des conditions de vente en PDF lié depuis le site ne sont pas toujours suivis. Chargez-les à part si besoin, en suivant la liste des documents à demander.

Contrôler ce qui a été lu

Après la première lecture :

• Comptez les pages lues et comparez avec la liste prévue
• Ouvrez trois ou quatre pages dans l'outil et lisez le texte extrait : le menu y est-il répété ?
• Posez une question dont la réponse est sur une page précise, et vérifiez que cette page est citée
• Posez une question sur une page exclue : le chatbot ne doit pas y répondre à partir d'elle

Quand le site change

L'outil travaille sur sa copie, pas sur le site en direct. Une nouvelle grille tarifaire publiée lundi n'est connue du chatbot qu'après une nouvelle lecture. Convenez avec le client d'une règle simple : toute modification importante du site déclenche une relecture, puis quelques questions de contrôle tirées du cahier de recette. La procédure détaillée, vue du côté de celui qui gère le site, est sur la page mettre à jour un chatbot après une modification du site.