Amazon Web Services a publié un article détaillant une nouvelle architecture de cache KV hiérarchisé pour l’inférence des grands modèles de langage (LLM) sur sa plateforme SageMaker HyperPod. Cette solution combine la rapidité de la mémoire GPU avec un stockage NVMe partagé et distribué, géré par Curvine, afin de réduire les coûts et le temps de latence lors du traitement des requêtes.
L’enjeu principal adressé est le compromis classique entre la taille du cache KV, qui doit être suffisamment grande pour éviter les ralentissements, et le coût élevé des instances GPU surdimensionnées. En étendant le cache au-delà de la mémoire GPU vers un pool NVMe partagé, AWS permet aux réplicas de modèles de réutiliser efficacement les données mises en cache à des vitesses proches du disque local.
Cache KV hiérarchisé : un compromis entre coût et performance
Les grands modèles de langage nécessitent un cache clé-valeur (KV) important pour stocker les états intermédiaires lors de l’inférence. Traditionnellement, ce cache réside en mémoire GPU, rapide mais limitée et coûteuse. Pour éviter un temps de latence élevé au premier token, il faut soit augmenter la taille de la mémoire GPU, soit accepter un ralentissement.
L’approche d’AWS consiste à créer un cache KV à plusieurs niveaux, où la mémoire GPU constitue le premier niveau, et un stockage NVMe partagé, accessible par tous les nœuds du cluster HyperPod, forme le second niveau. Cette architecture permet de réduire la quantité de mémoire GPU nécessaire par instance tout en maintenant une latence faible.
Curvine : orchestrer un cache partagé à l’échelle du cluster
La technologie Curvine joue un rôle central dans cette architecture. Elle permet de gérer un pool de stockage NVMe distribué et partagé entre les réplicas de modèles sur SageMaker HyperPod. Grâce à cette couche, les données mises en cache par un nœud sont immédiatement accessibles par les autres, évitant ainsi les duplications et accélérant les accès.
Cette mutualisation du cache réduit les coûts d’infrastructure en limitant le besoin d’instances GPU surdimensionnées et optimise l’utilisation des ressources NVMe, plus économiques. La performance d’accès au cache NVMe atteint des vitesses proches du disque local, ce qui limite l’impact sur la latence globale.
L’exploitation des LLM à grande échelle : effets opérationnels à anticiper
Cette innovation technique facilite le déploiement de grands modèles de langage en production, notamment pour les entreprises qui cherchent à équilibrer coûts et performances. En réduisant la dépendance à la mémoire GPU, les équipes peuvent dimensionner plus finement leurs clusters et optimiser leurs budgets cloud.
De plus, le temps de latence au premier token, souvent un point critique pour l’expérience utilisateur, est amélioré sans nécessiter d’instances coûteuses. Cela ouvre la voie à des usages plus réactifs dans des applications en temps réel ou à fort volume.
Limites et perspectives d’évolution technique
Si cette architecture apporte des gains significatifs, elle dépend fortement de la performance et de la disponibilité du stockage NVMe partagé. Toute dégradation ou saturation pourrait impacter la latence. Par ailleurs, la complexité logicielle introduite par la gestion du cache distribué nécessite une surveillance accrue et des outils adaptés.
AWS devra également démontrer la scalabilité de cette solution sur des clusters plus importants et avec des modèles encore plus volumineux. L’intégration avec d’autres optimisations d’inférence, comme le quantification ou le sharding, reste à explorer.
Positionnement d’AWS face aux autres offres cloud pour LLM
Cette avancée renforce la compétitivité d’Amazon SageMaker dans le domaine de l’inférence LLM, où la maîtrise des coûts et de la latence est un facteur différenciant. Comparé à d’autres fournisseurs cloud, AWS mise sur une optimisation fine de l’infrastructure matérielle et logicielle pour répondre aux besoins des entreprises.
Le recours à un cache partagé et hiérarchisé pourrait inspirer d’autres acteurs à adopter des architectures similaires, notamment alors que la demande pour des modèles toujours plus grands et performants continue de croître.
Sources
Articles et annonces consultés
Passer à l'action
