SanDisk mise sur la superposition de NAND et calcul sur une puce face aux pénuries de HBM dans le boom de l’IA
La course à la puissance des GPU pour l’intelligence artificielle se heurte à une barrière : la mémoire. Pour contourner cette limite, les fabricants explorent des pistes audacieuses. SanDisk propose d’empiler la mémoire NAND Flash directement à l’intérieur des puces.
Une innovation pour dépasser les limites de la mémoire
L’explosion de l’IA et la demande massive en puissance de calcul ont mis en lumière des goulets d’étranglement, contraignant les fabricants de DRAM et de NAND à repenser leurs architectures.
Autrefois, l’innovation se résumait souvent à de nouvelles générations de mémoire DRAM. Mais la hausse des coûts, les défis de production et une consommation énergétique croissante obligent à chercher d’autres solutions. Le HBM progressait à un rythme constant, mais il est aujourd’hui victime de pénuries et devient un frein.
Le HBM présente d’autres inconvénients, comme une capacité limitée. Bien que les fondeurs augmentent vitesse et capacité à chaque génération, ils peinent à suivre la demande. De plus, le HBM étant placé à côté du GPU principal, cela induit une latence supplémentaire.
De son côté, la mémoire NAND offre des capacités bien supérieures à moindre prix, mais elle est physiquement éloignée du processeur, ce qui ralentit les transferts. Elle n’a jamais pu atteindre les vitesses de la DRAM.
Fusionner les atouts de la DRAM et de la NAND
Pour résoudre cette équation, SanDisk avait déjà présenté son concept de HBF (High-Bandwidth Flash). Cette solution s’inspire de l’architecture du HBM en empilant plusieurs couches de mémoire NAND Flash les unes sur les autres. Chaque couche est reliée par des TSV (Through Silicon Vias), fusionnant tous les paquets en une pile unique. Alors qu’un module HBM actuel offre 32 à 64 Go, le HBF vise des capacités allant jusqu’à 4 To.
Si cette approche règle les questions de capacité et de vitesse, les futurs besoins de l’IA nécessitent encore plus. C’est là qu’intervient le brevet récent de SanDisk, « US 12,430,274 B2 ». Ce document explore l’idée d’empiler en 3D une tuile de mémoire NAND sous le coeur de calcul principal – un accélérateur IA ou un GPU – en utilisant la technologie CBA (CMOS Bonded Array). La solution intègre toujours de la mémoire HBM sur le même interposer, mais avec un rôle distinct.
L’objectif est de tuer deux oiseaux avec une pierre : le HBM gère les tâches mémoire urgentes, tandis que la NAND Flash sur la tuile dédiée est utilisée pour les opérations de lecture/écriture et les jeux de données volumineux. La NAND offre des connexions plus larges avec le coeur de calcul, ce qui peut réduire la latence, le coût et la consommation.
Un coeur de traitement intègre un processeur multicore directement sur une mémoire non volatile haute capacité et haut débit. Le processeur peut être par exemple un GPU de grande taille ou un processeur dédié à l’intelligence artificielle (IA). La mémoire non volatile peut comprendre une tuile mémoire CBA (CMOS lié au réseau) associant une grande tuile de mémoire NAND unique à un circuit logique CMOS. L’ensemble processeur et tuile mémoire CBA intégrés peut être fixé sur un interposer. Le coeur de traitement peut aussi inclure des piles de dies mémoire HBM fixées sur l’interposer autour de la tuile processeur et mémoire CBA.
Cette vision donne un aperçu des méthodologies futures pour surmonter les limites de la mémoire, mais il ne s’agit encore que d’un brevet. De nombreux aspects, comme la consommation électrique ou le prix de fabrication d’une telle puce combinant NAND et DRAM, devront être réglés avant une éventuelle concrétisation.
Le brevet établit une solide protection autour de cette architecture de processeur-sur-NAND, notamment pour le routage à large interface traversant la tuile. Cependant, les produits qui se standardisent aujourd’hui suivent l’approche plus simple du « côte à côte ». La question la plus intéressante reste de savoir si SanDisk parviendra à combler l’écart entre ce qu’il a protégé et ce qu’il commercialisera.
