Biais de genre et racial dans les LLM open-weight : un audit inédit sur six modèles appliqués au recrutement

Une étude publiée sur arXiv le 17 septembre 2026 propose le premier audit systématique des biais de genre et raciaux dans les grands modèles de langage open-weight (LLM) appliqués aux processus de recrutement. Cette recherche analyse six modèles récents, dont Llama 3.2 et Mistral, en simulant des interactions entre recruteurs et candidats, afin d’évaluer comment la formulation des offres d’emploi influence les recommandations des modèles.

L’enjeu est double : d’une part, ces biais peuvent affecter la qualité et l’équité des décisions automatisées dans les ressources humaines ; d’autre part, ils exposent les entreprises à des risques réglementaires croissants, notamment sous le cadre de l’AI Act européen et des normes américaines d’impact adverse.

Une méthodologie inédite pour évaluer les biais dans six LLM open-weight

Les chercheurs ont choisi d’examiner six modèles open-weight — Llama 3.2, Mistral, Gemma 3, Qwen 3, Phi 3 et DeepSeek-R1 — en utilisant quatre expériences contrôlées. Le point central était la variation du langage des offres d’emploi, distinguant notamment les formulations dites « agentiques » (axées sur l’action et la prise d’initiative) et « communales » (orientées vers la collaboration et l’empathie). Ces nuances linguistiques ont été testées dans des scénarios simulant à la fois les recruteurs évaluant des candidats et les candidats postulant.

Cette approche permet de mesurer précisément comment la nature du texte influence les scores de recommandation attribués par les modèles aux profils féminins et racialisés, révélant des tendances systématiques de discrimination.

Les formulations agentiques pénalisent les candidates féminines selon Llama et Mistral

L’étude montre que les offres d’emploi rédigées avec un langage agentique tendent à réduire significativement les scores de recommandation pour les candidates féminines, avec un coefficient de corrélation r_rb de 0,309 (p_Bonf = 7x10^-5) et un effet encore plus marqué lorsque l’on contrôle les modèles (r_rb = 0,448).

À l’inverse, les formulations communales atténuent partiellement ce biais, suggérant que la manière dont les postes sont décrits influence directement les décisions automatisées. Ces résultats soulignent une faille importante dans la conception et l’utilisation des LLM open-weight, qui peuvent reproduire et amplifier les stéréotypes de genre.

Risques réglementaires sous l’AI Act et la législation américaine

Les biais identifiés exposent les entreprises à des risques réglementaires croissants. En Europe, le projet d’AI Act classe les systèmes d’IA utilisés dans le recrutement comme à haut risque, imposant des obligations strictes de transparence, d’évaluation et de mitigation des biais.

Aux États-Unis, la législation sur l’impact adverse (EEOC) oblige les recruteurs à démontrer que leurs outils ne produisent pas de discrimination indirecte. L’étude souligne que les LLM open-weight, souvent perçus comme des solutions flexibles, peuvent en réalité accroître la complexité de la conformité en raison de leurs biais linguistiques subtils.

Fournisseurs de LLM open-weight et les intégrateurs RH : effets opérationnels à anticiper

Les fournisseurs de modèles comme Mistral ou Llama devront renforcer leurs audits internes et proposer des outils de contrôle plus fins pour leurs clients. Cette étude invite à une vigilance accrue sur la formulation des prompts et des données d’entrée, qui influencent directement les sorties des modèles.

Pour les intégrateurs de solutions RH, il devient déterminant d’intégrer des étapes de validation humaine et d’analyse des biais dans les workflows automatisés, afin de limiter les risques juridiques et réputationnels. La simple adoption d’un LLM open-weight ne garantit pas une évaluation équitable des candidatures.

Limites de l’étude et pistes pour approfondir la compréhension des biais

Si cette recherche ouvre une voie précieuse pour comprendre les biais dans les LLM open-weight, elle reste limitée à six modèles et à des scénarios linguistiques spécifiques. D’autres facteurs, comme les données d’entraînement ou les architectures sous-jacentes, méritent une exploration plus approfondie.

De plus, l’étude ne couvre pas encore l’impact des biais sur les candidats issus d’autres groupes minoritaires ni les effets à long terme sur les processus de recrutement. Ces zones d’ombre appellent à des audits réguliers et à une collaboration entre chercheurs, régulateurs et acteurs industriels.