SanDisk trompe les traders : choisit l’encodage BF16 et des spécifications HBM obsolètes, ignore les limites d’endurance d’écriture de la HBF

SanDisk a présenté sa roadmap technologique lors d’un événement pour investisseurs, mais plusieurs approximations dans les diapositives ont immédiatement déclenché des critiques. La communauté hardware reproche au fabricant des comparaisons biaisées et des omissions flagrantes concernant sa future mémoire HBF.

Les approximations de SanDisk sur la mémoire HBF

Un modèle d’IA repose principalement sur deux composants essentiels :

1. La couche d’attention analyse les liens entre les mots d’une phrase. Elle associe par exemple « capital » à « France » et identifie « Paris » comme réponse, sans comprendre leur sens. Ces associations sont stockées dans un cache KV, dont la taille augmente avec la longueur du contexte.
2. Le réseau feed-forward contient l’ensemble des connaissances du modèle sous forme de poids. C’est cette couche qui interprète le sens de chaque terme en activant les représentations appropriées.

Actuellement, les poids du modèle et le cache KV résident dans la HBM. Cette mémoire, soudée au GPU, offre une capacité limitée. Augmenter cette capacité nécessite généralement d’ajouter des GPU, ce qui alourdit considérablement la facture.

Le High-Bandwidth Flash constitue une piste de solution. SanDisk développe actuellement un standard HBF avec SK hynix, visant 512 Go de stockage et une bande passante comprise entre 0,4 et 3 To/s. Une commercialisation est prévue pour 2028 ou 2029.

Le principe est similaire à la HBM : des puces NAND sont empilées et reliées par des TSV, le tout étant surmonté d’un die contrôleur.

Le talon d’Achille du NAND reste sa lenteur. Une SRAM lit en une nanoseconde, la DRAM en 100 nanosecondes, tandis que le NAND nécessite environ 100 microsecondes. La lecture NAND est donc 1 000 fois plus lente que celle de la HBM basée sur DRAM.

La technologie HBF contourne ce problème via un parallélisme massif. Le contrôleur programme des milliers de lectures simultanées sur les cellules NAND. Si chaque cellule reste lente, l’agrégat de milliers d’opérations parallèles peut offrir une bande passante cumulée de 0,3 à 3 To/s.

En revanche, l’HBF ne résout pas les faiblesses du NAND en écriture, ni sa durée de vie limitée face aux cycles d’écriture.

C’est précisément sur ces points que la présentation de SanDisk pêche. L’entreprise compare ses futures spécifications HBF à une HBM actuelle, avec une bande passante fixée à 12,8 To/s. Or, d’ici 2028/2029, la norme dominante sera probablement la HBM4E 16Hi, dont la bande passante atteindra environ 32 To/s, soit près du triple de la valeur utilisée par SanDisk.

De plus, SanDisk base ses calculs sur une quantification bf16, alors que la majorité des modèles utilisent désormais du fp8 ou du fp4.

L’omission la plus problématique concerne l’endurance à l’écriture de l’HBF. SanDisk n’aborde pas ce paramètre critique, pourtant déterminant pour savoir si cette technologie pourra supporter les écritures incessantes du cache KV. Sans cette information, l’adéquation de l’HBF à cette tâche reste entièrement spéculative.

Même si SanDisk peut avancer des arguments pour justifier ces choix de communication, l’ensemble donne une impression de présentation orientée, loin d’une objectivité technique attendue.