Une étude récente publiée sur arXiv analyse pour la première fois en détail le comportement de quatre agents conversationnels notables — ChatGPT, Claude, Grok et DeepSeek — lorsqu'ils recourent à la recherche Web pour enrichir leurs réponses. Cette recherche combine des observations directes d'utilisateurs réels avec des expérimentations contrôlées via les API des plateformes, offrant un panorama inédit des décisions et stratégies adoptées par ces agents.
L'enjeu est de comprendre comment ces modèles de langage à large échelle (LLM) intègrent des résultats externes dans leurs dialogues, et si la fréquence d'appel à la recherche Web améliore effectivement la pertinence des réponses fournies. Les résultats mettent en lumière des différences significatives dans les comportements d'interrogation et dans la transformation des données récupérées en réponses contextualisées.
Variabilité des décisions d'appel à la recherche Web selon les plateformes
L'étude révèle que les agents ne sollicitent pas la recherche Web avec la même fréquence ni dans les mêmes conditions. Par exemple, certains modèles privilégient une approche plus conservatrice, limitant l'appel à la recherche aux cas où leurs connaissances internes sont insuffisantes, tandis que d'autres déclenchent systématiquement une recherche pour étayer leurs réponses. Cette disparité souligne que l'intégration de la recherche Web n'est pas standardisée et dépend fortement des choix d'architecture et de conception propres à chaque plateforme.
Stratégies de formulation des requêtes : entre précision et diversité
Les agents adoptent des stratégies distinctes pour formuler leurs requêtes. Certains privilégient des requêtes courtes et ciblées, visant à extraire des informations précises, tandis que d'autres optent pour des formulations plus larges, susceptibles de générer un spectre plus étendu de résultats. Cette différence impacte directement la nature des données récupérées et, par conséquent, la qualité des réponses finales.
Préférences de domaines dans les résultats de recherche
Une autre dimension étudiée est la tendance des agents à privilégier certains domaines ou sources dans leurs résultats. Cette préférence peut influencer la diversité et la fiabilité des informations utilisées. L'étude montre que certains agents affichent des biais vers des sources spécifiques, ce qui pose la question de la transparence et de la neutralité des résultats intégrés dans les réponses.
Transformation des résultats en réponses contextualisées
Au-delà de la recherche, l'étude s'intéresse à la capacité des agents à synthétiser et reformuler les résultats pour produire des réponses cohérentes et pertinentes. Les différences observées dans cette étape sont déterminantes pour l'expérience utilisateur, car une simple copie des résultats bruts ne suffit pas à délivrer une utilité. Certains agents intègrent mieux les informations dans leur contexte conversationnel, tandis que d'autres peinent à éviter des réponses redondantes ou hors sujet.
Fréquence d'appel à la recherche et qualité des réponses : un lien complexe
Un constat marquant de cette analyse est que solliciter plus fréquemment la recherche Web ne garantit pas une amélioration automatique de la qualité des réponses. Cela invite à reconsidérer les stratégies d'intégration de la recherche dans les agents conversationnels, en insistant sur la pertinence des requêtes et la capacité de synthèse plutôt que sur la simple quantité d'informations récupérées.
Cette étude ouvre la voie à des optimisations ciblées pour les développeurs d'agents IA, qui devront affiner leurs mécanismes de déclenchement de recherche, de formulation de requêtes et de traitement des résultats afin d'améliorer la utilité pour les utilisateurs finaux.
Sources
Articles et annonces consultés
Passer à l'action
