NVIDIA développe une mémoire personnalisée NVHBM pour l’IA, revendiquant 30% de bande passante en plus et 15% de consommation en moins que le HBM4E
NVIDIA dévoile sa solution de mémoire NVHBM, un dérivé personnalisé du HBM. Cette technologie, développée en collaboration avec Amazon Annapurna Labs, promet des gains significatifs en bande passante et en efficacité énergétique pour les futures puces d’accélération IA.
NVHBM : une mémoire haute performance conçue pour l’IA de demain
NVHBM est une solution DRAM sur mesure conçue par NVIDIA et les laboratoires Annapurna d’Amazon. Elle vise à accélérer les capacités de la mémoire pour les futures charges de travail d’IA, notamment agentiques et physiques.
Cette solution est une extension de NVLink Fusion. Elle offre des performances et une efficacité mémoire supérieures aux XPU, à un moment où la bande passante devient cruciale face à la croissance exponentielle des modèles, qui entrent dans l’ère des milliers de milliards de paramètres.
Cette technologie sera intégrée aux prochains GPU. Le contrôleur mémoire, une conception personnalisée de NVIDIA, sera directement logé dans le die de base du HBM. Cette approche permettrait d’augmenter la bande passante mémoire de plus de 30% tout en réduisant la consommation d’énergie de 15% par rapport à une solution HBM4E standard. Retirer le contrôleur du XPU libère également jusqu’à 25% de surface sur la puce principale, surface qui peut être dédiée à des capacités de calcul supplémentaires.
Tableau 1. NVHBM apporte trois avantages majeurs au niveau de la plateforme pour les accélérateurs IA : une bande passante mémoire plus élevée, plus de surface de silicien disponible, et une consommation HBM réduite.
| Caractéristique | Avantage NVHBM |
|---|---|
| Bande passante | Jusqu’à 30% de bande passante mémoire en plus par rapport au HBM4e standard |
| Surface | Des connexions d’interface plus efficaces libèrent jusqu’à 25% de surface de die de calcul pour des capacités XPU supplémentaires |
| Puissance | Jusqu’à 15% de consommation HBM en moins comparé au HBM4e standard, générant des économies à l’échelle de milliers de XPU |
Concernant son adoption, NVIDIA établit une implémentation standard de NVHBM qui sera disponible auprès de plusieurs fournisseurs de mémoire. Cela réduira l’effort d’ingénierie nécessaire à l’intégration et à la qualification de la conception mémoire auprès de multiples acteurs. Les partenaires de l’écosystème NVLink Fusion pourront également commercialiser plus rapidement leurs puces IA personnalisées.
« NVHBM représente une nouvelle approche architecturale pour faire progresser les performances et l’efficacité de la mémoire haute bande passante », a déclaré Nafea Bshara, vice-président d’Annapurna Labs chez Amazon. « Nous nous réjouissons de cette collaboration technologique qui bénéficiera aux futures conceptions d’infrastructures AWS. »
L’un des premiers partenaires à utiliser NVHBM sera Annapurna Labs d’Amazon. Les deux sociétés collaboreront à l’intégration de cette technologie avec l’architecture de montée en puissance NVLink, visant des performances et une efficacité améliorées pour les charges de travail IA. Les prochaines puces AWS Trainium, à commencer par Trainium4, utiliseront NVLink Fusion pour connecter des GPU NVIDIA avec les puces d’Amazon dans une architecture rack commune.
NVIDIA ayant déjà évoqué un HBM personnalisé pour ses GPU Feynman, on peut s’attendre à ce que cette génération soit la première à adopter NVHBM lors de son lancement prévu en 2028.
