AgentRouter optimise les workflows IA en adaptant le modèle à chaque étape pour réduire les coûts d’inférence

L’équipe de recherche à l’origine d’AgentRouter a publié sur arXiv un nouveau système visant à optimiser les coûts d’inférence dans les workflows agentiques multi-étapes. Leur constat est simple : les systèmes actuels qui utilisent des modèles de pointe à chaque étape gaspillent entre 60 et 80 % de leur budget d’inférence sur des sous-tâches qui pourraient être traitées par des modèles plus légers.

AgentRouter propose une approche fine et dynamique qui adapte le choix du modèle à la complexité spécifique de chaque étape dans une trajectoire d’agent. Cette méthode permet de réduire significativement les ressources nécessaires sans sacrifier la qualité des résultats.

Un classificateur léger pour une assignation précise à chaque étape

AgentRouter repose sur un classificateur de seulement 12 millions de paramètres, capable de fonctionner avec un temps d’exécution inférieur à 5 millisecondes par étape sur un GPU A100. Ce composant analyse cinq caractéristiques extraites en temps réel pour déterminer à quel niveau de modèle (quatre paliers différents) chaque étape doit être assignée.

Cette granularité dans le routage est essentielle car les workflows agentiques combinent des tâches très variées : certaines, comme la planification, nécessitent un raisonnement complexe accessible uniquement aux modèles les plus puissants, tandis que d’autres, comme la mise en forme des résultats, peuvent être exécutées efficacement par des modèles plus petits.

Réduction des coûts d’inférence sans compromis sur la qualité

Les systèmes classiques appliquent souvent un modèle de pointe à toutes les étapes, ce qui entraîne un surcoût important. AgentRouter démontre qu’en adaptant le modèle à la complexité réelle de chaque sous-tâche, il est possible de diminuer de 60 à 80 % le budget d’inférence, ce qui représente une économie substantielle pour les entreprises exploitant des agents IA à grande échelle.

Cette optimisation ne se fait pas au détriment de la performance globale. En effet, AgentRouter est entraîné sur un corpus de 50 000 étapes annotées couvrant divers types de tâches (planification, codage, recherche, etc.), garantissant une assignation pertinente et fiable.

Impact sur l’architecture des systèmes agentiques et leur déploiement

L’intégration d’AgentRouter dans les architectures existantes implique une nouvelle couche de décision dynamique entre les étapes du workflow et les modèles disponibles. Cette couche doit être suffisamment rapide pour ne pas introduire de latence perceptible, ce que le faible overhead de 5 ms par étape sur GPU confirme.

Pour les équipes produit, cela signifie pouvoir déployer des agents plus économes en ressources, facilitant la montée en charge et la maîtrise des coûts cloud. Cette approche pourrait également encourager l’utilisation combinée de modèles propriétaires et open source de tailles variées, en fonction des besoins spécifiques de chaque étape.

Considérations opérationnelles et limites actuelles

AgentRouter nécessite un entraînement préalable sur des données annotées spécifiques aux workflows ciblés, ce qui peut représenter un investissement initial en temps et expertise. De plus, la classification repose sur des caractéristiques extraites en temps réel, dont la pertinence et la robustesse doivent être maintenues face à l’évolution des modèles et des tâches.

Enfin, la solution est testée sur un GPU A100, une configuration haut de gamme. Son efficacité sur des infrastructures plus modestes ou dans des environnements edge reste à évaluer.

L’adoption dans les entreprises et les plateformes IA : prochaines étapes

La proposition d’AgentRouter s’inscrit dans une tendance croissante à optimiser l’usage des modèles LLM en fonction des besoins précis des tâches. Pour les entreprises, cela ouvre la voie à des déploiements plus économiques et plus flexibles, notamment dans les secteurs où les workflows agentiques sont complexes et multi-facettes.

Les fournisseurs de plateformes IA pourraient intégrer ce type de routage dynamique pour offrir à leurs clients des solutions modulaires, capables de réduire les coûts sans sacrifier la qualité, un argument commercial fort dans un contexte de montée des prix du cloud et de la puissance de calcul.