Intel : Disponibilité des accélérateurs IA Gaudi 3 au T4, une solution économique
Intel a récemment dévoilé l’arrivée de ses derniers accélérateurs AI, les Gaudi 3, qui seront disponibles à partir du mois prochain. Cette nouvelle génération promet d’offrir des performances améliorées et une offre ajoutée significative par rapport à ses prédécesseurs et à la concurrence.
Les Accélérateurs Intel Gaudi 3 : Performances et Caractéristiques
Reconnu dans le domaine de l’intelligence artificielle, le Gaudi d’Intel se distingue par son approche économique. Avec l’introduction des accélérateurs Gaudi 3, Intel met en avant une gamme complète de produits, comprenant des cartes d’accélération OAM conformes (HL-325L), une carte de base universelle (HLB-325) et une carte d’extension PCIe (HL-388).
Avec des capacités de calcul allant jusqu’à 1835 TFLOPS en FP8, les Gaudi 3 intègrent 128 Go de mémoire HBM2e. Le TDP s’élève à 600W, doté de huit moteurs de multiplication matricielle, 64 TPCs, et une connectivité via 200 GbE RDMA.
Chaque moteur de multiplication matricielle présente une structure personnalisable avec une architecture de 256 x 256 MAC, optimisée pour des applications en FP32 et des performances en BF16. Le TPC est équipé d’un processeur vectoriel SIMD de 256B, intégrant des unités de génération d’adresses et supportant plusieurs formats de données.
Un Système Conçu pour l’Intelligence Artificielle
Le circuit imprimé universel intégrera quatre accélérateurs Gaudi 3, permettant des liaisons interconnectées de 200 GbE et allant jusqu’à 400 GbE. La solution OAM comportera un lien PCIe Gen5 x16, offrant jusqu’à 800 Go/s pour l’évolutivité.
Concernant la performance, les accélérateurs Gaudi 3 surpasseront de 9% l’inférence des modèles LLaMA 3 8B, tout en affichant une meilleure efficacité de 80% par rapport au H100. Pour les modèles LLaMA 70B, une amélioration de 19% du débit d’inférence a été observée.
Le serveur de référence Intel Gaudi 3 (HLS-3) est conçu pour accueillir deux CPUs Intel Xeon de la série Xeon 6900P, en y intégrant jusqu’à huit cartes OAM. Cela permet d’atteindre un total de 67,2 Tb/s de bande passante pour les solutions d’IA, renforcée par la suite logicielle Gaudi, qui est largement adoptée dans ce domaine.
