Une étude de VentureBeat AI portant sur 107 entreprises montre un décalage grandissant entre les investissements en infrastructure IA et la capacité des organisations à en mesurer le coût réel. Alors que les dépenses s'accélèrent, la plupart des entreprises ne disposent pas encore d'une visibilité claire sur l'utilisation et les coûts unitaires de leurs ressources de calcul, notamment les GPU.
Ce phénomène, qualifié de « compute gap », traduit une dynamique d'achat rapide de matériel spécialisé, souvent sous-utilisé, sans suivi rigoureux des dépenses associées. Cette situation soulève des questions opérationnelles et stratégiques sur la gestion des infrastructures IA en entreprise.
Hyperscalers et fournisseurs d’API dominent, mais la diversification s’accélère
Selon l’étude, la majorité des entreprises s’appuient encore sur des fournisseurs cloud notables et des API de modèles préexistants pour leurs charges IA. Cependant, elles prévoient de diversifier leurs fournisseurs dans les prochains mois, avec une majorité envisageant de changer ou d’ajouter des prestataires spécialisés dans l’année à venir, beaucoup dès le trimestre suivant.
Cette diversification traduit une recherche d’optimisation des performances et des coûts, mais complique la gestion globale de l’infrastructure. Les décisions d’achat sont désormais davantage influencées par l’intégration technique et le coût total de possession que par le prix unitaire affiché des tokens ou des cycles de calcul.
Une utilisation des GPU souvent inférieure à 50%, un indicateur d’inefficacité
L’étude révèle que les GPU, cœur des infrastructures IA, sont utilisés à moins de 50 % de leur capacité dans la plupart des cas. Cette sous-utilisation pose un problème d’efficacité économique et technique. Elle peut résulter de pics de demande irréguliers, de configurations non optimales ou d’un manque d’outils de monitoring adaptés.
Pour les entreprises, cela signifie que les investissements matériels ne sont pas pleinement rentabilisés, ce qui complique la justification budgétaire et la planification à moyen terme. Le défi est d’autant plus important que les coûts liés aux GPU représentent une part significative des dépenses IA.
Le suivi des coûts de calcul reste fragmenté et peu rigoureux
Moins de la moitié des entreprises interrogées disposent d’un suivi précis et rigoureux des coûts liés à leur infrastructure de calcul IA. Cette absence de visibilité empêche d’identifier clairement le retour sur investissement et de piloter efficacement les budgets.
Les organisations doivent donc investir dans des outils d’analyse et de reporting adaptés, capables d’agréger les données issues de multiples fournisseurs et environnements. Sans cela, la gestion financière et opérationnelle des projets IA risque de rester approximative, avec un risque accru de surcoûts non anticipés.
Intégration et coût total de possession au cœur des décisions d’achat
Les entreprises privilégient désormais des critères d’intégration technique et de coût total de possession (TCO) plutôt que le seul prix unitaire des ressources. Cette approche plus globale prend en compte les coûts indirects liés à la maintenance, à la scalabilité, à la formation des équipes et à la gestion des fournisseurs.
Cette évolution influence les choix technologiques, favorisant les solutions plus flexibles et intégrées au sein des architectures existantes. Elle souligne aussi l’importance croissante des partenariats stratégiques avec des fournisseurs capables d’accompagner la montée en charge et l’optimisation continue.
Le « compute gap » : un signal d’alerte pour la gouvernance IA en entreprise
Le décalage entre la vitesse d’investissement et la capacité à en mesurer le coût réel constitue un signal d’alerte pour la gouvernance des projets IA. Sans un pilotage rigoureux, les entreprises s’exposent à des dépenses excessives et à une complexité accrue dans la gestion des infrastructures.
Les directions financières et techniques doivent collaborer étroitement pour instaurer des indicateurs de performance adaptés et des processus de contrôle. Cette démarche est indispensable pour aligner les ambitions IA avec les réalités économiques et opérationnelles.
Sources
Articles et annonces consultés
Passer à l'action
