Samsung utilise des procédés logiques avancés pour progresser en HBM et développer sa nouvelle génération de DRAM zHBM avec empilage 3D de mémoire sur le calcul

Samsung propose une vision ambitieuse pour la puce de base HBM. L’utilisation de procédés logiques avancés doit repenser cette architecture pour répondre aux défis de bande passante et de consommation. La roadmap présentée prévoit une transformation en trois étapes, visant à faire de cette puce un partenaire intelligent pour les futurs systèmes d’IA.

Une roadmap en trois phases vers le ZHBM

Lors d’une présentation à Hot Chips, Sangwook Han de l’équipe de conception DRAM de Samsung a détaillé l’évolution de la HBM, en mettant l’accent sur la puce de base. L’objectif est d’exploiter des procédés logiques avancés pour la transformer.

Le rappel de l’architecture HBM montre deux composants principaux : la puce C, qui contient la cellule DRAM, et la puce B à la base, qui gère divers processus. Les piles peuvent monter jusqu’à 16 étages, connectés par des TSV. La puce de base intègre une interface PHY pour communiquer rapidement avec le GPU ou tout autre accélérateur de calcul.

Évolution de la puce de base HBM : Vue d’ensemble

• Intervenant : Sang-Woo Kan, équipe de conception DLM, Samsung Memory Business
• Message principal : Les procédés logiques avancés transforment la puce de base HBM d’une simple interface en un partenaire actif et intelligent pour l’IA.
• Principaux moteurs : Une bande passante plus élevée et des demandes de capacité croissantes, limitées par la densité des TSV et la puissance/la surface de la PHY.
• Solution : Migrer la puce de base vers des nœuds logiques avancés → HBM personnalisée (CHBM) → HBM avancée (AHBM) → ZHBM (3D véritable).

La tendance actuelle montre que la bande passante est le principal moteur, poussée par les besoins croissants de l’IA pour alimenter les accélérateurs de calcul plus rapidement.

Actuellement, la HBM4 offre plus de 3 To/s par pile, et la HBM4E dépasse les 4 To/s. La HBM5 doit doubler cette valeur avec des capacités dépassant 60 Go. Cependant, cette augmentation rencontre des limites, principalement le nombre de TSV, leur espacement, et les capacités de la puce de base en termes de nombre et de vitesse d’entrées/sorties.

L’écart de procédé entre la puce B et le SoC du processeur se réduit. Utiliser des nœuds logiques avancés présente des avantages. Samsung indique avoir appliqué ses procédés D1c et 4 nm à la HBM4 pour réduire la consommation et la surface active, marquant le début d’une véritable intégration entre DRAM et logique avancée.

L’un des axes de travail est la HBM personnalisée (cHBM), qui explore l’intégration de fonctions à valeur ajoutée sur la puce de base. Alors qu’une puce standard gère des fonctions basiques, l’idée est de tirer parti des procédés avancés pour y intégrer des fonctionnalités similaires à un SoC, tout en partageant les piles de puces C standard.

Puisque la solution cHBM utilise déjà des procédés logiques avancés, elle peut libérer de l’espace sur le processeur en déchargeant certaines fonctions. Elle remplace aussi l’interface PHY HBM traditionnelle par une interface Die-to-Die plus compacte. Cela améliore l’efficacité énergétique grâce à des canaux plus courts et libère de la surface pour agrandir le processeur.

De la HBM4 à la HBM5, la solution cHBM peut réduire considérablement la surface occupée par la PHY et l’interface D2D. Si cela raccourcit la longueur des canaux, cela crée aussi un défi : l’apparition de points chauds thermiques.

Pour y remédier, Samsung a introduit sa technologie Heat Path Block (HPB), basée sur la cHBM4. Elle réduit la température de pointe de plus de 35% et couvre 50% de la PHY.

Avec cette solution en place, l’étape suivante est de déplacer de la logique du processeur vers la cHBM. Le premier candidat est le contrôleur mémoire, dont l’impact thermique est gérable. Un autre bloc envisagé est un système de réparation de cellules basé sur SRAM, utilisant l’espace inoccupé de la puce de base pour des ressources de réparation, permettant une redirection au niveau cellulaire.

Dans la deuxième phase, Samsung propose aussi d’intégrer un contrôleur/PHY d’extension mémoire dans l’espace libre pour augmenter les capacités, essentielles avec la croissance des contextes en IA. Cette PHY peut servir à intégrer des capacités plus élevées via des solutions mémoire externes. D’autres éléments, comme des « éléments de traitement » partiels, peuvent aussi être déplacés vers la puce de base, réduisant la bande passante D2D nécessaire ainsi que la consommation et l’échauffement.

Roadmap en trois phases

Phase	Objectif	Innovations clés	Principaux bénéfices
1	Récupération de surface XPU	Interface T2D compacte Bloc de chemin thermique (HTB) Déchargement du contrôleur mémoire (MC) Réparation fine basée SRAM	Empreinte PHY réduite ; Réduction >35% de la température de pointe ; 5-10% de surface XPU récupérée → Gain de perf. de 10-20%
2	Expansion fonctionnelle	Capteurs RAS avancés et télémétrie en temps réel Test ATIP sur puce amélioré Extension mémoire directe (LPDDR/HBM) Éléments de traitement sélectifs (AHBM)	Capacité plus élevée près du XPU Meilleur rendement et couverture de test Puissance réduite pour le mouvement des données Déchargement de calcul hybride
3	Convergence 3D (ZHBM)	Suppression de l’interposeur 2.5D Entrées/sorties distribuées Empilement vertical sur le SoC XPU Wafer-on-wafer + collage hybride	~0.5 pJ/bit de puissance IO Bande passante >2.3× ~70% de puissance DRAM en moins 100 W de marge thermique pour le GPU

Toutes ces phases convergent vers la troisième : l’intégration 3D. Pour cela, Samsung développe une nouvelle solution appelée zHBM, qui intègre verticalement la HBM au-dessus du processeur. Cette solution étroitement couplée économise encore de la surface et supprime l’utilisation d’un interposeur 2.5D.

La solution zHBM de Samsung utilise des Entrées/Sorties distribuées pour minimiser les distances de déplacement des données dans la pile. La structure 3D supprime les interfaces 2D conventionnelles et offre une efficacité bien supérieure pour des systèmes à très basse consommation. La réduction de puissance provient notamment de l’optimisation des Entrées/Sorties, avec la suppression des circuits SerDes qui génèrent une surconsommation inutile.

Comparée à une pile HBM4e standard, la solution zHBM afficherait une amélioration de 70% de l’efficacité énergétique, une augmentation de 230% de la bande passante DRAM, jusqu’à 100W d’économies par module DRAM, et offrirait 8.3% de puissance en plus au processeur. La présentation montre quatre piles zHBM sur un processeur.

Pour permettre le zHBM, Samsung travaille sur des technologies d’assemblage avancées comme le WoW (Wafer on Wafer) et le HCB (Hybrid Cube Bonding) afin d’atteindre une densité d’Entrées/Sorties ultra-élevée pour une conception unifiée SoC-DRAM.

En résumé, l’évolution de la puce de base HBM grâce aux procédés logiques avancés représente un changement majeur pour les architectures mémoire de l’IA. En migrant cette puce vers des nœuds avancés, Samsung ouvre des possibilités bien au-delà du simple routage de données et des tests. La roadmap en trois phases concrétise cette vision.

• La Phase 1 récupère de la surface précieuse sur le processeur via une interface T2D compacte, des blocs de chemin thermique et le déchargement du contrôleur mémoire, permettant une densité de cœurs plus élevée et une réparation cellule par cellule efficace.
• La Phase 2 étend les fonctionnalités en intégrant une télémétrie RAS avancée, des tests sur puce, une extension de capacité proche du processeur et des éléments de traitement sélectifs. Cette approche hybride réduit le mouvement des données, la consommation, et répond aux demandes de bande passante et de capacité des futurs modèles d’IA.
• La Phase 3 réalise la convergence 3D avec le ZHBM, supprimant l’interposeur 2.5D. Les Entrées/Sorties distribuées et l’empilement vertical offrent une très faible consommation, plus du double de bande passante, et une marge thermique substantielle au niveau système pour de meilleures performances de calcul.

Ces avancées, avec la HBM personnalisée aujourd’hui et le ZHBM demain, positionnent la puce de base comme un partenaire actif et intelligent du processeur. En maîtrisant l’assemblage avancé et la co-conception unifiée SoC-DRAM, Samsung vise à surmonter les limites de puissance, de surface et de capacité qui contraignent les systèmes d’IA, ouvrant la voie à une efficacité, des performances et une extensibilité supérieures.