Les grands modèles de langage biaisés par la formulation des questions, pas par des jugements moraux

Une publication récente sur arXiv analyse en détail le biais dit « oui-non » observé dans les réponses des grands modèles de langage (LLM) face à des questions morales. Cette recherche démontre que ce biais n’est pas le reflet d’un changement dans le jugement moral des modèles, mais résulte principalement de l’ordre et du libellé des options proposées.

Cette distinction est essentielle pour les entreprises et développeurs qui intègrent ces modèles dans des produits nécessitant des évaluations éthiques ou des décisions binaires. Comprendre que le biais provient de la formulation plutôt que d’une instabilité morale permet d’ajuster les interfaces et les workflows pour limiter les erreurs d’interprétation.

Un protocole psychométrique pour dissocier biais de forme et jugement moral

Les chercheurs ont conçu une batterie de tests psychométriques appelée « crossed symmetrization » qui consiste à inverser systématiquement tous les facteurs logiquement non pertinents dans les questions posées aux modèles. En testant un large corpus de formulations équivalentes, ils ont pu mesurer la cohérence interne des réponses sur une échelle morale graduée.

Les résultats montrent que les modèles de pointe comme GPT, Claude ou Gemini maintiennent une cohérence élevée, avec une variation interne faible (entre 0,12 et 0,21 sur une échelle de -1 à +1). En revanche, les modèles plus petits ou moins optimisés affichent une incohérence plus marquée, ce qui souligne l’importance de la taille et de la qualité du modèle dans la stabilité des réponses.

Biais oui-non : un artefact de la présentation des réponses

Le biais oui-non se manifeste par une tendance à privilégier l’option « oui » ou « non » selon la position dans laquelle elle est présentée, ou selon la formulation précise utilisée. Par exemple, dans une question binaire, le mot « non » joue un triple rôle : verdict logique, token lexical et dernière option affichée, ce qui peut influencer le modèle.

Cette constatation a des implications directes pour la conception des interfaces utilisateurs et des systèmes de question-réponse basés sur des LLM. Pour limiter ce biais, il est recommandé d’alterner systématiquement l’ordre des réponses, ou d’utiliser des formulations plus neutres et symétriques.

Produits intégrant des jugements éthiques automatisés : effets opérationnels à anticiper

Les entreprises développant des agents conversationnels, des outils de modération ou des assistants décisionnels doivent prendre en compte ce biais de formulation. Sans ajustement, un système pourrait produire des verdicts apparemment incohérents ou biaisés, ce qui nuit à la confiance utilisateur et à la fiabilité opérationnelle.

Cette étude invite à une vigilance accrue dans la phase de conception des prompts et des interfaces, en particulier pour les cas d’usage sensibles où un jugement moral ou éthique est attendu. La robustesse des modèles de grande taille offre une marge de manœuvre, mais ne dispense pas d’une validation rigoureuse des formats de question.

Différences entre modèles : taille et architecture influencent la stabilité

L’analyse comparative révèle que les modèles open-weight de petite taille peinent à maintenir une cohérence stable face aux variations de formulation. Cette fragilité peut limiter leur usage dans des contextes où la précision du jugement est critique.

À l’inverse, les modèles propriétaires plus grands, comme ceux développés par OpenAI, Anthropic ou Google, affichent une meilleure résistance à ces biais formels. Cela souligne un arbitrage entre coût d’infrastructure et qualité des résultats, que les entreprises doivent intégrer dans leur stratégie produit.

Recherche et l’intégration des LLM dans les workflows métiers : prochaines étapes

Cette étude ouvre la voie à des protocoles d’évaluation plus rigoureux des biais formels dans les LLM, en distinguant clairement ce qui relève du contenu sémantique et ce qui dépend de la forme. Pour les intégrateurs, cela signifie qu’une attention particulière doit être portée à la construction des prompts et à la présentation des réponses.

À terme, ces travaux pourraient nourrir le développement d’outils d’ajustement automatique des formulations afin de neutraliser les biais oui-non, renforçant ainsi la fiabilité des agents IA dans des domaines sensibles comme la santé, la justice ou la modération de contenu.