E-commerce
28 juin 2026
En démo, le bot répond parfaitement à « Quels sont vos délais de livraison ? » Un client réel écrit « c colis il arrive qd pr mon anniv samedi ? » et ferme le widget après trois réponses génériques.
Carti rappelle de tester avec des questions réelles, typos, intents mixtes et cas mobile, pas des prompts idéalisés (Carti, chatbot retail 2026).
Ce guide #164 couvre les tests utilisateurs chatbot e-commerce : scénarios, grille, modération, erreurs. Aucun contenu Qstomy ne traitait la recette utilisateur. Distinct de audit production (#143) et de gold set automatisé (#163).
Summary
Pourquoi les tests utilisateurs complètent-ils les tests techniques ?
Les tests utilisateurs chatbot observent comment un humain non expert utilise le widget dans une vraie tâche d'achat ou de support.
Ce que l'automatisation ne voit pas
Friction widget : ne trouve pas l'icône chat
Confiance : ne croit pas la réponse bot
Abandon : part chercher sur Google
Formulation : questions que vous n'avez pas imaginées
UAT vs QA interne
Bugasura distingue UAT : vrais utilisateurs finaux jugent naturalité et facilité, au-delà des tests automatisés de flux (Bugasura, UAT conversational AI 2026).
Moment idéal
Avant go-live public, après refonte majeure widget, avant pic BFCM, quand l'audit (#143) montre des abandons sans erreur factuelle.
Signaux qu'il est temps de lancer une UAT
Votre équipe connaît le bot par cœur : les démos internes durent 90 secondes et tout semble fluide. Pourtant le taux d'ouverture widget stagne à 2 % et les transcripts montrent des clients qui posent la même question trois fois avant de quitter la page. C'est précisément le gap que les tests utilisateurs comblent : ils révèlent ce qu'un script QA ne mesure pas, la confiance perçue et la volonté de continuer la conversation.
En quoi diffère-t-il de l'audit et du jeu de tests automatisé ?
Trois couches QA, trois objectifs.
Gold set (#163)
Consignes + gold set (#163) : exactitude factuelle reproductible. Pas de jugement sur « est-ce que je ferais confiance ? »
Audit production (#143)
Audit (#143) : revue transcripts live par équipe support. Post-déploiement, pas substitut UAT pré-lancement.
Tests utilisateurs (#164)
Tâche scénarisée, observation comportement, think-aloud optionnel, grille UX + verbatim. Alhena recommande trois couches : manuel utilisateur, auto regression, simulation pré-deploy (Alhena, testing chatbot 2026).
Qui recruter comme testeurs et combien de sessions ?
Le panel test chatbot doit ressembler à vos acheteurs, pas à votre équipe produit.
Profils à inclure
First-time buyer : ne connaît pas la marque
Client récurrent : a déjà commandé
Mobile only : test sur smartphone
Sceptique support : préfère humain
Pressé : cadeau deadline proche
Volume sessions
5 testeurs × 4 scénarios = 20 sessions suffisent pour repérer 80 % des frictions UX majeures avant go-live PME. Complétez avec 3 sessions internes support (connaissent policy, testent limites).
Recrutement
Clients beta list, panel UserTesting, ou collègues hors équipe bot avec brief « agissez comme client, pas comme testeur QA ».
Comment rédiger des scénarios de test réalistes ?
Un scénario test chatbot donne un objectif client, pas une liste de questions scriptées.
Format scénario
Contexte : « Vous cherchez un cadeau 50 € pour votre sœur peau sensible. » Tâche : « Utilisez le chat pour choisir un produit et comprendre livraison avant samedi. » Succès : produit identifié + délai clair ou escalade acceptée.
12 scénarios type DTC
WISMO commande passée il y a 3 jours
Retour taille incorrecte, ton frustré
Code promo refusé au checkout
Comparaison 2 SKU hero PDP
Question ingrédient / allergène
Livraison international depuis page panier
Demande humain explicite
Question avec fautes et abréviations
NashTech recommande
Multi-intents, abandon mid-chat, happy path et edge cases dans le même plan de test (NashTech, chatbot testing 2026).
Exemple de brief testeur (copier-coller)
« Vous avez commandé un sérum il y a 5 jours. Le tracking affiche « en transit » depuis 72 h. Vous voulez savoir si vous recevrez le colis avant vendredi car vous partez en week-end. Utilisez uniquement le chat du site. Si vous abandonneriez en situation réelle, fermez le widget et dites pourquoi. » Ce format force une intention claire sans dicter les mots exacts à taper.
Quelle grille d'évaluation utiliser pendant la session ?
La grille UX test chatbot score l'expérience vécue, pas seulement la exactitude.
Critères 1-5 (pondération)
Trouvabilité widget (10 %) : a-t-il ouvert le chat facilement ?
Compréhension (20 %) : le bot a-t-il saisi la demande ?
Utilité réponse (30 %) : a-t-il avancé vers son objectif ?
Confiance (20 %) : croit-il la réponse ?
Effort (20 %) : nombre de messages pour résoudre
Questions post-session
SUS adapté chat : « Recommanderiez-vous ce chat à un ami pour cette boutique ? » 1-10. Verbatim libre : « Qu'auriez-vous fait si le chat n'existait pas ? »
Chanl scorecard
Pour assistant vente : pertinence reco, respect budget, prochaine étape claire (Chanl, testing assistant 2026).
Comment noter en direct sans ralentir la session
Le modérateur coche trois colonnes pendant l'observation : objectif atteint (oui / partiel / non), nombre de messages échangés, abandon ou escalade. Les notes détaillées viennent après, en rejouant l'enregistrement écran. Un score inférieur à 3 sur « confiance » sur deux testeurs consécutifs pour le même scénario vaut signal d'alerte même si la réponse était factuellement correcte.
Quelles erreurs UX et fonctionnelles détecter ?
Catalogue erreurs test utilisateur chatbot à noter pendant observation.
Erreurs UX
Widget masque le CTA checkout sur mobile
Popup proactif au mauvais moment (saisie CB)
Scroll historique perdu après refresh
Pas de retour au panier après reco produit
Erreurs conversation
Boucle « comment puis-je vous aider ? »
Réponse longue illisible mobile
Escalade promise mais file silencieuse
Ton inadapté client énervé
Erreurs métier
Promesse promo fausse, délai inventé, lien mort portail retour. Taguer `ux`, `conversation`, `factuel` pour backlog. Voir hallucinations (#123).
Comment modérer une session sans biaiser le testeur ?
La modération test chatbot observe sans coacher, sauf blocage total.
Règles modérateur
Ne pas dire « essayez de demander le tracking »
Autoriser abandon : noter pourquoi
Think-aloud invité : « dites ce que vous pensez »
Enregistrement écran + audio avec consentement
Script intro (2 min)
« Nous testons le chat, pas vous. Il n'y a pas de bonne ou mauvaise réponse. Parlez à voix haute. Si vous seriez parti en vrai, partez. »
Durée
15-20 min par scénario max. Pause entre scénarios pour éviter fatigue. Modérateur = personne hors équipe bot de préférence.
Phrases à éviter absolument
« Vous auriez dû cliquer sur le lien bleu », « Le bot répond bien si vous formulez comme ça », « Ce n'est pas grave, continuez quand même ». Chaque intervention oriente le testeur et invalide l'observation. Si le testeur est bloqué plus de 3 minutes sans avancer, dites seulement : « En situation réelle, que feriez-vous maintenant ? » puis notez la réponse sans la juger.
Comment tester mobile, accessibilité et trafic paid ?
Les tests chatbot mobile paid reprennent les conditions où le bot échoue le plus.
Mobile
50 % des sessions minimum sur iPhone/Android. Clavier qui recouvre le champ, latence 4G simulée. Lien support mobile-first.
Accessibilité
1 testeur VoiceOver ou TalkBack : widget focusable, labels boutons, réponses annoncées. Voir accessibilité bot.
Landing paid
Scénario depuis URL pub ads (promesse livraison 48 h landing vs bot). Cohérence message critique pour trafic froid. Lien messages proactifs.
Comment transformer les observations en backlog correctif ?
Restitution backlog test utilisateur bot en 48 h post-campagne, pas un rapport de 40 pages.
Priorisation
P0 : blocage achat, info fausse, fuite données
P1 : abandon > 50 % testeurs même scénario
P2 : friction UX, ton off-brand
P3 : polish copy
Lien audit et gold set
Erreur factuelle → cas grille test (#283) + gold set (#163). Pattern récurrent post-live → règle audit (#143). Verbatim client → amélioration PDP ou macro.
Re-test
Après fix P0/P1 : 5 testeurs × scénarios concernés uniquement. Go-live si zero P0 et < 2 P1 ouverts.
Quand relancer des tests utilisateurs ?
Calendrier retest chatbot UAT aligné sur changements à risque.
Déclencheurs
Refonte widget ou position chat
Nouveau marché langue
Changement majeur policy retour/livraison
CSAT bot baisse 0,3 pt sans cause audit claire
Fréquence légère
Mini UAT 3 testeurs trimestriel sur 2 scénarios top volume tickets. Complète audit hebdo sans le remplacer.
KPI UAT
Taux complétion scénario, score confiance moyen, SUS chat. Voir KPI chatbot (#11) et qualité réponses (#116).
Comment Qstomy facilite-t-il les tests utilisateurs ?
Qstomy fournit environnement test, logs détaillés et replay session pour UAT structurée.
Fonctionnalités UAT
Mode sandbox : bot isolé sans impact prod
Replay conversation : vidéo + transcript sync
Export scénario : template 12 cas section 4
Tag friction : modérateur marque abandon
Lien gold set : échec UAT → cas regression auto
Scénario DTC chiffré
Marque bijoux, go-live bot reporté après UAT interne raté (widget introuvable 4/5 testeurs mobile). Campagne UAT Qstomy : 8 testeurs, 10 scénarios, grille section 5. Fixes : reposition widget, raccourci « parler à un conseiller », réponses max 3 lignes mobile. Re-UAT : complétion scénarios 38 % → 82 %, SUS chat 5,1 → 7,4, abandon widget J+7 post-launch -44 % vs beta interne.
Ce que l'équipe a appris concrètement
Les testeurs ne cherchaient pas « chat » : ils scrollaient le footer ou tapaient dans la barre de recherche site. Le repositionnement en bas à droite, avec libellé « Une question ? » plutôt qu'une icône seule, a doublé le taux d'ouverture en UAT. Les réponses trop longues sur mobile provoquaient un scroll involontaire hors du widget : la contrainte trois lignes a réduit les abandons mid-conversation de moitié sur le scénario WISMO.
Explorez support IA, Shopify, demander une démo.
Quels playbooks pour lancer vos tests utilisateurs ?
Playbook 1 : plan test 1 page (1 h)
Objectif, 5 profils, 8 scénarios, critères succès, dates. Indiquez aussi l'environnement : sandbox ou staging avec données commandes fictives. Précisez qui modère, qui prend les notes, et le canal de restitution (Notion, Linear, Slack thread dédié).
Playbook 2 : recruter 5 testeurs (2 h)
Brief e-mail, créneaux 20 min, consentement enregistrement. Proposez une compensation légère (bon d'achat 15-20 €) pour limiter les no-shows. Envoyez le lien staging 24 h avant, sans révéler les scénarios à l'avance.
Playbook 3 : grille + Notion (30 min)
Dupliquer critères section 5. 1 ligne par session testeur × scénario.
Playbook 4 : journée UAT (4 h)
Matin 4 sessions, aprem 4 sessions, debrief 30 min top 5 frictions.
Playbook 5 : backlog 48 h (1 h)
P0/P1 assignés owner. Cas gold set pour erreurs factuelles.
Playbook 6 : re-UAT ciblé (2 h)
3 testeurs, scénarios corrigés uniquement. Valider avant go-live.
Maillage utile
Un chatbot validé en labo mais jamais testé par un client pressé sur mobile n'est pas prêt pour votre boutique : les tests utilisateurs sont la dernière porte avant d'exposer votre voix IA au trafic réel.
Enzo
28 juin 2026
