Nubank a publié une étude détaillant l’usage du simulateur Snowglobe pour tester ses agents d’expérience client basés sur des modèles de langage à grande échelle. Ces agents, déployés dans le support client de la banque, doivent gérer des millions d’interactions tout en respectant des règles opérationnelles strictes, notamment dans un contexte réglementé.
La simulation permet d’évaluer les agents dans un environnement contrôlé où des clients synthétiques interagissent avec eux, reproduisant des scénarios complexes sans solliciter les systèmes de production. Cette approche vise à réduire les risques d’erreurs en conditions réelles qui pourraient nuire à la confiance des utilisateurs.
Tester les agents IA au-delà des limites des tests manuels
Les agents conversationnels de Nubank doivent détecter les intentions des clients, appliquer des politiques opérationnelles complexes et utiliser divers outils intégrés. Les tests manuels, souvent limités à des cas simples, ne garantissent pas une couverture suffisante face à la diversité des interactions possibles.
Le recours à la simulation Snowglobe permet de générer des scénarios variés et multi-étapes, où les agents peuvent être évalués sur leur capacité à gérer des workflows complexes sans interruption des services en production. Cette méthode offre une granularité et une échelle de test difficilement atteignables autrement.
Snowglobe : un simulateur pour reproduire les interactions clients à grande échelle
Snowglobe crée des clients synthétiques qui réagissent dynamiquement aux réponses des agents IA. Il simule également les sorties des outils que les agents utilisent, évitant ainsi toute sollicitation des systèmes backend réels. Cette architecture garantit que les tests ne perturbent pas les opérations en cours.
L’étude détaille l’application de Snowglobe sur l’agent de livraison de cartes bancaires de Nubank, puis sur son successeur élargi, l’agent de gestion des cartes, qui gère le plus grand volume de conversations du support client. Cette montée en charge a permis d’identifier des failles et d’affiner les modèles avant leur déploiement.
Limiter les risques dans des secteurs soumis à une forte régulation
Le secteur bancaire impose des contraintes strictes sur la gestion des données et la conformité des interactions client. Les agents IA doivent non seulement comprendre les demandes, mais aussi appliquer des règles opérationnelles précises pour éviter des erreurs coûteuses ou des violations réglementaires.
En simulant les agents dans un environnement proche du réel, Nubank peut vérifier leur comportement face à ces contraintes sans exposer les clients à des dysfonctionnements. Cette démarche préventive est essentielle pour maintenir la confiance dans les services automatisés.
Un workflow hypothético-déductif pour améliorer les agents IA
L’approche adoptée repose sur un workflow de simulation hypothético-déductif : des hypothèses sur le comportement des agents sont formulées, testées via Snowglobe, puis analysées pour identifier les faiblesses. Ce processus itératif permet d’affiner les modèles et les règles opérationnelles avant leur mise en production.
Cette méthodologie contribue à une meilleure robustesse des agents IA, notamment dans la gestion des interactions complexes nécessitant plusieurs étapes et l’utilisation coordonnée d’outils internes.
L’automatisation à grande échelle dans le support client : prochaines étapes
L’expérience de Nubank illustre les défis techniques et opérationnels liés à l’intégration d’agents IA dans des environnements à fort volume et forte régulation. La simulation apparaît comme une étape indispensable pour garantir la qualité et la fiabilité des agents conversationnels.
Au-delà du secteur bancaire, cette approche pourrait s’étendre à d’autres industries où les agents IA doivent respecter des politiques complexes tout en assurant une expérience client fluide. La capacité à simuler des workflows multi-étapes ouvre la voie à des déploiements plus sûrs et mieux contrôlés.
Sources
Articles et annonces consultés
Passer à l'action
