Tenstorrent jure d’« écraser tout le monde » : Galaxy Blackhole atteint 350 Tokens/s sur DeepSeek R1, 5x meilleur qu’NVIDIA

Tenstorrent défie les leaders de l’IA avec ses serveurs Galaxy Blackhole, basés sur RISC-V. L’entreprise présente un écosystème unifié intégrant calcul, mémoire et réseau pour les charges AI modernes. Jim Keller annonce des puces A0 déjà livrées, malgré quelques ajustements logiciels en cours.

Supercluster Galaxy de Tenstorrent : 10x plus rapide en génération vidéo IA et surpassement des GPU actuels grâce au mode Blitz avec plus de 350 tokens/s sur DeepSeek R1

Jim Keller et Tenstorrent visent à bousculer la hiérarchie IA grâce à des plateformes propulsées par RISC-V.

L’entreprise a dévoilé ses nouveaux serveurs Galaxy Blackhole pour l’IA à grande échelle. Galaxy Blackhole propose une solution AI entièrement réseau et native, regroupant calcul, mémoire et connectivité dans un système unique adapté aux tâches AI récentes.

La puce au cœur des serveurs Galaxy porte le nom de Blackhole et repose sur l’architecture RISC-V, rivale d’ARM et x86. Lors de l’événement, Jim Keller a indiqué que les exemplaires A0 sont en expédition, avec des corrections de bugs logiciels en cours.

Pour mettre en avant les capacités de son supercluster Galaxy Blackhole, Tenstorrent a présenté plusieurs démonstrations lors du livestream TT-Deploy.

Voici les spécifications avancées par Tenstorrent. Le cœur tensor des puces Blackhole, nommé Tensix, intègre cinq processeurs RISC avec unités de multiplication matricielle, unités vectorielles et SRAM locale. Chaque processeur RISC est entièrement programmable, relié à un NOC à large bande passante. Plusieurs cœurs Tensix s’assemblent pour former une puce.

Tenstorrent précise que face aux GPU concurrents comme le GB300 de NVIDIA, les plateformes rivales réduisent fortement le nombre d’utilisateurs pour booster le débit de tokens. Les serveurs Galaxy maintiennent un coût de token bas (6 € contre environ 30 €) et un TCO réduit pour les entreprises.

Tenstorrent a démontré jusqu’à 10x de vitesse supérieure en génération vidéo IA sur son supercluster Galaxy. Le système produit une vidéo 81 images (720p) en seulement 2,4 secondes, soit plus vite que le temps réel pour 5 secondes de vidéo.

Outre la démo GenAI, Tenstorrent a présenté le mode Blitz pour ses serveurs Galaxy Blackhole, optimisé pour les tâches AI sensibles à la latence. Ce mode permet d’atteindre jusqu’à 350 tokens/s sur DeepSeek R1-0528 671B, devançant les GPU rivaux. Voici les deux benchmarks présentés :

• Décode : DeepSeek-R1-0528 671B jusqu’à plus de 350 tokens/seconde/utilisateur, plus rapide que les systèmes d’inférence les plus performants de Groq et Cerebras en performance et capacité, avec tailles de lot de 8 à 64 et contexte jusqu’à 128k (sur 16 serveurs Galaxy)
• Préfill : DeepSeek-R1-0528 671B avec moins de 4 secondes pour le premier token sur 100k de contexte, sur les mêmes superclusters Galaxy AI généralistes

Côté prix et disponibilité, le serveur Galaxy Blackhole sera proposé en rack refroidi par air avec puces Blackhole de nouvelle génération et pile logicielle open source, à partir de 110 000 €. Il délivre 23 PFLOPs en FP8 (AI) via 32 puces Blackhole, 6,2 Go de SRAM embarquée à 2,9 PB/s, 1 To de DRAM à 16 TB/s, et 56 ports Ethernet 800G pour 11,2 Gb/s de bande passante scale-out.

Les clients peuvent acquérir Galaxy Blackhole en configurations supercluster de 4 à 36 serveurs. La version de base à 4 serveurs démarre à 440 000 €.