Raptor 3D DRAM de d-Matrix offre des débits équivalents à la SRAM avec une puissance 10 fois inférieure à l’HBM, sans PHY et par fusion du DRAM sous le compute
Le spécialiste de l’IA d-Matrix présente sa solution 3D DRAM nommée Raptor. Cette technologie vise à répondre aux besoins croissants en bande passante et en efficacité énergétique pour les modèles d’intelligence artificielle, en proposant une alternative aux mémoires SRAM et HBM actuelles.
La 3D DRAM, une réponse aux limites actuelles de la mémoire pour l’IA
Alors que la taille des modèles d’IA et leur cache ne cessent de croître, les contraintes de capacité et de bande passante deviennent plus critiques. Tandis que les grands fabricants de DRAM planchent sur des solutions intégrant logique et mémoire, d-Matrix estime que le moment est venu pour la 3D DRAM.
Aujourd’hui, deux technologies dominent pour les charges de travail IA. La mémoire SRAM est rapide, mais sa capacité est limitée, son courant de fuite élevé et son coût est environ 100 fois supérieur à celui des solutions HBM.
De son côté, la HBM fournit la capacité élevée requise pour les grands modèles, mais il est difficile de faire évoluer sa bande passante face aux limites de puissance et d’intégration. La solution HBM4 actuelle offre environ 20 TB/s, loin des 300 TB/s d’un accélérateur SRAM comme Corsair.
Une solution HBM à 100 TB/s consommerait 1,92 kW pour la seule mémoire. L’évolution logique est donc de passer à l’étape suivante : la 3D-DRAM.
Comparatif des technologies mémoire
| Mesure | SRAM | HBM (ex : type HBM4) | 3D DRAM (Raptor) |
|---|---|---|---|
| Capacité | Faible (difficile de dépasser ~2 Go) | Très élevée (plusieurs stacks par package) | Intermédiaire (supérieure à la SRAM, inférieure à la HBM ; 32 Go par stack simple) |
| Bande passante | Extrêmement élevée (centaines de TB/s) | Difficile d’atteindre ~100 TB/s | Extrêmement élevée (~100 TB/s) |
| Efficacité énergétique | ~0,1 pJ/bit | ~2,4–2,5 pJ/bit (HBM seule) | 0,3–0,37 pJ/bit (mesuré) |
| Avantage relatif | Bande passante max, énergie min | Capacité max | 6–7× plus économe que la HBM |
| Puissance pour 100 TB/s | Faible | ~2 kW (HBM seule) | ~300 W (I/O) |
| Densité (Mo/mm²) | N/A | La plus élevée | ~½ de la HBM4 |
| Principales limites | Évolutivité, fuite, capacité | Interface, vitesse des broches, puissance | Thermique/fiabilité (atténuée) |
d-Matrix envisage deux approches pour la 3D DRAM : empiler la DRAM sur la logique, ou placer la logique sur la DRAM. La première pose un défi thermique, la seconde un défi d’alimentation électrique à travers les TSV.
Il est indiqué qu’un stack simple avec logique sur le dessus et une densité de puissance inférieure à 0,5 W/mm² peut être refroidi par liquide de manière fiable.
L’intérêt de la 3D DRAM réside dans sa capacité à offrir une bande passante et des caractéristiques de puissance proches de la SRAM. Sa capacité est inférieure à la HBM, mais supérieure à la SRAM. Avec quatre couches ou moins, elle bénéficie de meilleurs rendements, d’une bande passante bien plus élevée et ne souffre pas des limites d’interface, tout en consommant dix fois moins d’énergie que la HBM.
Spécifications techniques du Raptor 3D DRAM
| Paramètre | Valeur / Détail |
|---|---|
| Empilement | Logique (TSMC 4 nm) sur DRAM personnalisée, face-à-face, pas de 36 µm |
| Capacité (1 stack) | 32 Go |
| Bande passante | 100 TB/s |
| Énergie | 0,37 pJ/bit (mesuré) |
| Densité de puissance (logique) | ~0,5 W/mm² |
| Moteurs Tensor | 256 par chiplet |
| Conception banque/canal | Alignée sur les moteurs tensor ; 3 banques/canal → 96 o ; agrégation 4-flit pour une efficacité de 128 o |
| Taux de rafraîchissement | 8× plus rapide (tous les 4 ms) pour supporter 105 °C |
| Perte de bande passante due au rafraîchissement | Seulement 1,37 % |
| Correction d’erreurs | Reed-Solomon T=2 + CRC |
| Réserve pour le rendement | ~8–9 % de banques de rechange avec chaîne MUX |
| Taille d’une microbanque | 1 366 lignes / 5,33 Mo chacune |
La solution, baptisée Raptor 3D DRAM, repose sur une technologie de fabrication économique. Le die logique utilise le procédé 4 nm de TSMC, empilé face-à-face avec un die DRAM personnalisé via un pas de 36 microns. Chaque carte offre plus de 100 TB/s de bande passante pour 0,37 pJ/bit, contre 18 TB/s et 2-3 pJ/bit pour une HBM4 de 192 Go. Cela représente 5,6 fois plus de bande passante et 5 à 8 fois moins d’énergie.
L’intégration de la 3D DRAM présente plusieurs défis. d-Matrix s’est concentré sur les points suivants :
- Puissance des E/S : pas de structure en rafale, pas de DBI PHY
- Mapping banque-canal : 840 banques ≠ 256×4
- Redondance sans rompre la symétrie des canaux
- Thermique : Tj=105C → rafraîchissement 8x plus rapide
Pour réduire la consommation, d-Matrix a aligné les moteurs tensor avec les banques de mémoire qu’ils alimentent, évitant ainsi de déplacer des données inutilement. Le chiplet comporte 256 moteurs tensor. Un décalage existe entre la taille de flot attendue par le moteur (128 octets) et celle fournie par la DRAM (32 octets par colonne et par banque). Un canal avec trois banques ne fournit que 96 octets, ce qui peut entraîner un gaspillage de bande passante.
Le second problème est la consommation des entrées-sorties. Même à 0,37 pJ par bit, atteindre 100 téraoctets par seconde nécessite 300 watts pour les seules E/S.
Le die logique est placé sur le dessus pour faciliter le refroidissement par plaque froide. La 3D DRAM est conçue pour une température de jonction de 105 °C, ce qui impose un rafraîchissement huit fois plus rapide, soit tous les 4 millisecondes.
Le rendement est aussi un enjeu. Chaque microbanque est très petite (1 366 lignes, 5,33 Mo), ce qui limite la perte de bande passante mémoire à 1,37 %. Pour la fiabilité, un code correcteur d’erreurs Reed Solomon T=2 est intégré sur le die logique, capable de corriger deux erreurs de symbole sur 128 octets.
En conclusion, d-Matrix compare son Raptor 3D DRAM à une plateforme NVIDIA Rubin R200 équipée de HBM4. Avec une utilisation efficace de la bande passante de 83 à 85 %, le Raptor offre une bande passante par mm² 23,4 fois supérieure et une efficacité énergétique 13,5 fois meilleure.
La 3D DRAM, illustrée par le système Raptor, propose un compromis intéressant. Elle combine une bande passante et une efficacité énergétique proches de la SRAM avec une capacité bien supérieure, tout en évitant les limites de bande passante, de puissance et d’interface de la HBM.
En empilant la logique sur une DRAM personnalisée avec des interconnexions verticales courtes, elle délivre 100 TB/s avec une efficacité énergétique environ dix fois meilleure que la HBM. Cette approche est particulièrement adaptée à la phase de décodage gourmande en bande passante mémoire des grands modèles de langage. Les innovations de conception permettent à cette technologie d’évoluer efficacement.
Globalement, la 3D DRAM ouvre une voie pratique vers des accélérateurs d’inférence plus rapides et plus efficaces, équilibrant capacité, bande passante et puissance. Reste à voir à quelle vitesse les autres fabricants de DRAM développeront leurs propres innovations en 3D DRAM.
