Brevet OpenAI: puce IA sur mesure, 20 piles HBM et ponts EMIB d’Intel pour dépasser les limites

OpenAI détaille dans un nouveau brevet une puce IA modulaire où un chiplet de calcul communique avec de nombreuses piles HBM au moyen de ponts logiques intégrés. L’idée est de dépasser les contraintes d’intégration actuelles pour déployer plus de mémoire et de bande passante, au bénéfice des charges IA les plus gourmandes. Le document décrit un lien die-to-die compatible UCIe et une topologie proche des meilleures pratiques de packaging avancé. Voici l’impact potentiel sur la conception des accélérateurs maison d’OpenAI.

Ce que révèle le nouveau brevet d’OpenAI

OpenAI a publié un nouveau brevet décrivant une puce IA composée de plusieurs chiplets de calcul, ceinturés par un grand nombre de piles mémoire HBM.

Un chiplet de calcul, plusieurs piles HBM : à quoi pourrait ressembler la future puce IA d’OpenAI

Dans un brevet intitulé “Non-Adjacent Connection of High-Bandwidth Memory Chiplets, I/O Chiplets, And Compute Chiplets Through Embedded Logic Bridges”, OpenAI décrit une solution de puce IA combinant de multiples chiplets HBM et chiplets de calcul, interconnectés via des ponts logiques intégrés.

Le travail propose d’exploiter ces ponts pour des liaisons haut débit sur de plus longues distances, afin d’agréger davantage de chiplets et d’alimenter des tâches de calcul haute performance et d’IA qui exigent un vaste accès mémoire pour fonctionner efficacement.

Les conditionnements actuels limitent l’intégration HBM, car la mémoire HBM échange avec les autres chiplets du package via des pistes métalliques dans la couche de base. Le standard JEDEC impose de placer la HBM adjacente au chiplet de calcul, avec une contrainte physique forte : les liaisons doivent rester sous 6 mm depuis le contrôleur PHY du chiplet principal.

Pour dépasser cette barrière, le brevet OpenAI propose d’utiliser des ponts logiques intégrés capables d’étendre la distance de 6 mm à 16 mm. Double avantage : ils allongent la portée des communications et peuvent aussi endosser le rôle de contrôleur pour une pile HBM, ou celui d’un PHY haut débit pour le dialogue entre chiplets au sein d’un même package. Cette interface D2D est conforme au standard UCIe.

OpenAI illustre un exemple avec un chiplet de calcul relié à 20 piles HBM via ces ponts. Avec les approches classiques, on se limite plutôt à quatre, six ou huit piles. L’échelle mémoire grimpe alors fortement, ouvrant la voie à des puces mieux taillées pour des modèles d’IA très volumineux.

Cette approche fait écho à une technologie déjà exploitée sur le marché : l’EMIB d’Intel, pour Embedded Multi-Interconnect Bridge. EMIB est une solution de packaging avancé jouant le rôle de pont.

Conçue pour adresser l’empilement 2,5D, elle s’appuie sur de minuscules ponts afin d’étendre les possibilités et la flexibilité de conception des puces hautes performances. EMIB et son évolution EMIB-T cumulent plusieurs atouts : simplicité, compacité, dépassement des limites de réticule des interposeurs actuels, et maîtrise des coûts.

Verra-t-on OpenAI s’appuyer sur l’EMIB d’Intel pour fabriquer des puces à base de multiples chiplets et de larges agrégats HBM ? Le brevet va clairement dans cette direction.