E-commerce
28 juin 2026
Un dashboard bot affiche 68 % de déflexion et un CSAT à 4,2. Puis un agent relit 30 conversations : policy retour fausse sur 4 fils, deux promesses promo inventées, une escalade ratée sur un litige. Les chiffres agrégés masquaient des erreurs à fort impact.
L'audit chatbot e-commerce est la revue systématique de conversations réelles, scorée sur une grille, pour détecter ce que les KPI volume ne voient pas. FutureAGI rappelle en 2026 qu'évaluer un bot, c'est six problèmes distincts (intention, retrieval, génération, outils, multi-tours, sécurité), pas un score unique (FutureAGI, évaluation chatbot 2026).
Ce guide #143 pose une méthode d'audit opérationnelle pour équipes support DTC. Distinct de qualité réponses (#116) (KPI continus), hallucinations (#123) (prévention technique) et gouvernance (#142) (règles et RACI) : ici comment auditer concrètement chaque semaine.
Sommaire
Pourquoi auditer les réponses chatbot si les KPI semblent bons ?
L'audit réponses chatbot complète les métriques dashboard par une lecture humaine (ou assistée) de fils réels.
Ce que les KPI cachent
Déflexion : ticket évité ≠ problème résolu
CSAT moyen : masque intents toxiques (retour, litige)
Taux unmatched : ne mesure pas les fausses réponses matchées
Confiance modèle : score interne ≠ exactitude business
Risque business
Une erreur policy sur 2 % des conversations WISMO, multipliée par 800 fils/mois, génère retours, recontact et chargebacks. HelloRep recommande d'auditer les conversations, pas seulement les dashboards : 20 à 30 fils/semaine minimum (HelloRep, mesurer précision bot e-commerce).
Exemple DTC
Marque accessoires, bot live 4 mois, CSAT 4,3. Audit mensuel 50 fils : 7 % erreur délai livraison international, 3 % promo fausse post-Black Friday. Correction corpus + intent promo kill : recontact WISMO -22 % en 6 semaines.
En quoi l'audit diffère-t-il de la gouvernance et de la mesure qualité ?
Quatre disciplines voisines, quatre rythmes différents.
Gouvernance (#142)
Gouvernance (#142) : cadre permanent (RACI, matrice dire/faire, kill switch). L'audit vérifie que ce cadre est respecté en production.
Qualité réponses (#116)
Qualité (#116) : KPI précision, ton, FCR, CSAT en continu. L'audit = échantillon approfondi bot qui alimente ces KPI. Intégrer dans la revue QA hebdo (#277) avec tickets agents.
Hallucinations (#123)
Hallucinations (#123) : garde-fous RAG, corpus, confidence. L'audit détecte les hallucinations résiduelles après déploiement des garde-fous.
Cycle Audit-Test-Govern
Alhena propose trois couches : audit hebdo des fils live, tests de régression issus des échecs, gouvernance pour ownership (Alhena, QA chatbot e-commerce). Ce guide détaille la couche audit.
Quelles six dimensions scorer lors d'un audit conversation ?
Scorer séparément évite qu'une bonne fluidité masque une policy fausse.
1. Capture intention
Le bot a-t-il compris la demande ? Confusion retour vs échange, WISMO vs retard livraison = échec même si la réponse est polie.
2. Retrieval (sources)
Chunks RAG pertinents ? Policy retour récupérée pour question retour ? Chunk promo pour question promo ? Voir logs sources si disponibles.
3. Génération (exactitude)
Réponse ancrée dans sources ? Claim inventé (délai, stock, ingrédient) ? Cœur de l'audit factuel.
4. Usage outils
Tracking URL correct ? Portail retour envoyé ? Cancel order tenté alors que fulfillment passé ? FutureAGI isole tool use comme couche distincte en CI et production.
5. Cohérence multi-tours
Le bot retient le contexte (numéro commande, taille) sur 3+ messages ? Contredit-il sa réponse précédente ?
6. Sécurité et refus
Refus calibré sur santé, legal, injection prompt ? Escalade litige déclenchée ? Voir limites chatbot (#124).
Comment construire une grille d'audit pondérée ?
Une grille audit chatbot standardise le scoring entre auditeurs.
Critères et poids (inspiré Alhena)
Exactitude factuelle (40 %) : policy, prix, stock, délai
Pertinence (25 %) : répond à la question posée
Voix marque (20 %) : ton, empathie, clarté
Complétude (15 %) : pas de réponse partielle qui force recontact
Échelle 1-5 par critère
5 = parfait, 3 = acceptable avec correction mineure, 1 = erreur grave ou risque litige. Score conversation = moyenne pondérée. Seuil alerte : < 3,5 sur exactitude ou score global < 3,8.
Tags erreur obligatoires
`policy_stale`, `wrong_intent`, `hallucination`, `bad_escalation`, `tone_off_brand`, `incomplete`, `tool_fail`. Chaque tag alimente backlog correctif. Voir voix marque bot.
Template Google Sheet
Colonnes : date | conversation_id | intent | score exactitude | score pertinence | score ton | score complétude | score global | tags | correctif assigné | owner | deadline.
Comment échantillonner les conversations à auditer ?
Un échantillon audit bot représentatif vaut mieux que 500 fils aléatoires mal choisis.
Volume hebdomadaire DTC
< 200 conv/mois : 15 fils/semaine (60 % du volume mensuel audité)
200-800 conv/mois : 25-40 fils/semaine
800+ conv/mois : 50-80 fils/semaine + stratification
Stratification (obligatoire)
Ne pas auditer que des WISMO faciles. Répartir :
40 % top intents volume (WISMO, retour, taille)
20 % intents risque (promo, réglementé, litige)
20 % unmatched ou basse confiance
10 % escalades bot vers humain
10 % CSAT 1-2 ou recontact 48 h
Filtres Gorgias / export
Tag `bot_handled`, date range 7 j, export CSV transcript. Inclure 5 fils post-correction agent (override bot) pour mesurer dérive.
Comment mener une session d'audit de 60 minutes ?
Ritualiser l'audit hebdo chatbot évite le report « quand on aura le temps ».
Avant la session (15 min prep)
Exporter échantillon stratifié (section 5)
Ouvrir sources vérité : policy site, 2 PDP test, calendrier promo
Dupliquer ligne template Sheet par conversation
Pendant (45 min)
Auditeur (support lead ou senior) lit transcript complet. Pour chaque fil : score 4 critères, tag erreur, note correctif en 1 phrase (« sync chunk retour 30 j Markets FR »). Ne pas corriger le bot live pendant l'audit : noter d'abord, traiter après.
Après (15 min debrief)
Top 3 erreurs par fréquence ou gravité
1 fix corpus prioritaire (owner + deadline 48 h)
1 cas ajouté au jeu de régression (section 8)
Log résumé Slack #bot-audit
Alterner auditeur toutes les 4 semaines pour réduire biais. Voir maintenance KB (#140).
Comment compléter l'audit humain avec LLM-as-judge ?
Le LLM-as-judge scale le pré-triage, pas le verdict final seul.
Usage pragmatique PME
Modèle juge (Claude, GPT) reçoit transcript + policy collée + grille 1-5. Output : scores + justification + flag erreur. Humain valide 100 % des scores < 4 et 10 % des scores ≥ 4 (contrôle qualité auditeur).
Limites documentées
Une étude conversational commerce 2026 montre que corrélation juge-conversion varie selon dimension : le juge surestime parfois la fluidité surface vs exactitude policy (arXiv, validité LLM-as-judge commerce 2026). Ne remplacez jamais audit humain sur intents réglementés ou litige.
Prompt juge type
« Tu es auditeur QA support e-commerce [Marque]. Policy : [collé]. Score exactitude 1-5. Cite la phrase bot fausse. Si claim non vérifiable dans policy/PDP, score 1. » Température 0. Toujours loguer prompt + output pour traçabilité (aligné gouvernance #142).
Comment transformer les échecs d'audit en tests de régression ?
Chaque erreur auditée devient un cas de régression bot pour éviter la récidive.
Structure jeu de tests
100-150 cas maintenus (Alhena). Répartition :
25-30 exactitude produit, prix, shipping, retour
20 voix marque (client calme vs énervé)
20 adherence policy (promo, cumul, réglementé)
10-15 escalade et handoff contexte
15-20 adversarial (injection, extraction data)
15-20 régression bugs corrigés
Workflow bug vers test
Erreur audit taguée `policy_stale` sur retour Markets DE
Fix corpus chunk retour DE
Ajout cas : « Puis-je retourner en Allemagne après 25 j ? » + réponse attendue
Re-run grille test (#283) complet avant go live intent ou post-deploy vendredi
Owner tests = bot admin. Revue trimestrielle. Voir nettoyer corpus (#103), prioriser automation (#120).
Quels KPI tirer de l'audit et les publier où ?
L'audit alimente un tableau de bord qualité bot distinct du volume.
KPI primaires (mensuel)
Taux erreur factuelle : fils score exactitude < 3 / total audité. Cible < 3 %
Score global moyen : cible 4,2+ / 5
Taux hallucination : tag `hallucination` / audité. Cible < 1 %
Taux mauvaise escalade : litige non escaladé ou escalade inutile
Délai correctif : médiane heures audit → fix corpus live
Segmentation reporting
Par intent, canal (widget vs WhatsApp), langue Markets, version corpus (date chunk). Un KPI global stable peut cacher dégradation intent promo post-campagne.
Lien KPI business
Corréler mois M : taux erreur audit vs recontact 7 j et retours « info incorrecte ». Complète KPI chatbot (#11) et qualité (#116).
Quelles erreurs d'audit coûtent cher aux équipes support ?
Éviter ces anti-patterns audit bot qui produisent de faux réconfort.
Auditer seulement les fils faciles
WISMO avec tracking clair = score 5 systématique. Sans stratification risque, vous auditez le bot sur le terrain plat.
Score unique « qualité »
Bot charmant + policy fausse = 4/5 global. Toujours alerter si exactitude < 3 même si ton = 5.
Audit sans correctif tracké
Sheet rempli, personne ne fix corpus. Règle : zero session sans 1 owner + deadline.
Ignorer overrides agents
Agent corrige bot 40 % du temps sur intent taille = signal audit prioritaire, pas bruit opérationnel.
Audit ponctuel pré-lancement seulement
Catalogue, promos et policies changent. Audit = rituel hebdo, pas projet one-shot. Voir erreurs automation, playbook DTC.
Comment Qstomy facilite l'audit des réponses chatbot ?
Qstomy expose les données dont un audit rigoureux a besoin, sans export manuel laborieux.
Fonctionnalités audit
Export transcript + sources : chunks RAG cités par réponse
Score confiance : filtrer échantillon basse confiance
Tags intent : stratification WISMO, retour, promo
Log override : agent corrige bot, traçable
Filtre escalade : fils handoff pour revue qualité
Scénario DTC chiffré
Marque skincare 520 conv bot/mois, audit ad hoc trimestriel. Passage rituel Qstomy : 35 fils/semaine stratifiés, export sources, grille Sheet. Après 4 mois : taux erreur factuelle 6,8 % → 2,1 %, hallucinations policy -74 %, délai correctif moyen 72 h → 18 h, CSAT bot 4,1 → 4,5. Jeu régression 112 cas, re-run avant chaque maj corpus.
Explorez support IA, Shopify, demander une démo.
Quels playbooks opérationnels pour lancer l'audit bot ?
Playbook 1 : grille Sheet (1 h)
Créez onglet avec colonnes section 4. Ajoutez formule score global pondéré. Partagez #bot-audit. Délai : 1 h.
Playbook 2 : premier échantillon 25 fils
Export 7 j : 10 WISMO, 5 retour, 5 basse confiance, 3 escalade, 2 CSAT bas. Session audit 60 min. Top 3 erreurs + 1 fix corpus. Délai : 2 h.
Playbook 3 : cas régression depuis erreur P2
Erreur promo Black Friday détectée. Fix chunk. Ajout cas test + re-run 20 cas promo. Documenter dans registre gouvernance. Délai : 45 min.
Playbook 4 : audit post-lancement intent
Nouvel intent « échange taille » : shadow 2 semaines puis 15 fils audit/semaine pendant 1 mois. Seuil go scale : erreur factuelle < 2 % sur 60 fils.
Playbook 5 : revue mensuelle direction
1 slide : KPI audit, 2 exemples erreur corrigée, 1 risque ouvert. 15 min comité. Lien gouvernance #142.
Maillage utile
Auditer, ce n'est pas douter du bot : c'est lui donner une boucle d'amélioration aussi exigeante que celle de vos agents humains.
Enzo
28 juin 2026
