xAI n’utiliserait que 11 % de ses 550 000 GPU NVIDIA, contre 43-46 % pour Meta et Google

xAI peine à exploiter pleinement sa flotte massive de GPU NVIDIA, limitée à un taux d’utilisation d’environ 11 %. Ce problème d’optimisation logicielle révèle un défi majeur partagé par de nombreux acteurs de l’IA. Les investissements hardware records ne suffisent pas sans avancées logicielles adaptées à l’échelle.

Les goulets d’étranglement logiciels IA touchent l’ensemble du secteur, xAI n’exploitant que 11 % de sa flotte de GPU NVIDIA.

Selon The Information, xAI d’Elon Musk, créateur de Grok et d’autres outils IA majeurs, n’arrive à mobiliser qu’une fraction limitée de sa capacité totale en GPU.

xAI déploie actuellement environ 550 000 GPU NVIDIA, un mix de H100 et H200. Ils équipent les clusters Memphis et Colossus, dont plusieurs versions à refroidissement liquide. Même si une génération en retrait par rapport aux Blackwell récents, cette installation conserve une échelle remarquable.

Malgré ce volume imposant, l’entreprise n’utilise que 11 % de ces 550 000 GPU, soit l’équivalent d’environ 60 000 unités actives sur 500 000 installées. Quelles en sont les causes précises ?

Pour des configurations modestes de 1 000 à 10 000 unités, le problème reste gérable. Mais à l’échelle de centaines de milliers de GPU, les temps d’inactivité s’accumulent rapidement et le taux d’utilisation chute. Des irrégularités logicielles émergent alors, comme observé chez xAI. Ce dysfonctionnement n’est pas isolé : il frappe structurellement l’industrie IA, où l’efficacité à grande échelle s’avère complexe.

Quelques acteurs optimisent leur pile logicielle pour dépasser 40 % d’utilisation, au-delà de la norme de 35 à 45 %. Meta atteint 43 % et Google 46 %.

Chez xAI, le réseau d’entraînement distribué et la pile logicielle manquent encore de maturité. Résultat : temps d’inactivité prolongés pour les GPU, avec des blocages récurrents dans les pipelines de données et d’analyse.

xAI vise toutefois un taux de 50 %. Sans calendrier précis, les progrès dépendront des ajustements infrastructurels et logiciels. L’entreprise envisage de louer sa flotte massive de GPU pour des charges futures liées à l’IA agentique.

Sur ce plan, Musk mise sur le projet TeraFab pour développer des puces internes de la famille « AI », en s’appuyant aussi sur les technologies 14A d’Intel. Ces solutions cibleront xAI, SpaceX et d’autres projets. Les centaines de milliers de GPU pourraient même servir à produire des jeux GenAI complets.