NVIDIA réduit les coûts des tokens de 10x avec sa nouvelle plateforme Blackwell grâce à un code design extrême
La plateforme Blackwell de NVIDIA a franchi une nouvelle étape en matière d’optimisation des tokens pour les charges de travail d’inférence en IA, marquant un jalon important dans le domaine de la tokenomique.
NVIDIA présente le GB200 NVL72 : 10x mieux que Hopper
Dans sa quête d’optimisation en IA, NVIDIA se concentre sur l’amélioration de l’efficacité de son hardware. Avec les modèles d’IA Blackwell sur le marché, l’entreprise fait état d’une avancée majeure : une amélioration multipliée par dix par rapport à la génération Hopper.
Des fournisseurs leaders en inférence, tels que Baseten, DeepInfra et Fireworks AI, adoptent la plateforme Blackwell, leur permettant de réduire le coût par token jusqu’à 10x comparé à Hopper. Ces fournisseurs proposent des modèles open source avancés, atteignant désormais une intelligence de pointe.
– NVIDIA
En intégrant l’intelligence de pointe open source et les caractéristiques de hardware et de logiciel conçues pour Blackwell, ces entreprises réalisent des économies significatives sur les coûts des tokens dans divers secteurs. Par exemple, Sentient Labs a enregistré une efficacité de coût de « 25 à 50% meilleure » par rapport à Hopper.
La progression d’NVIDIA avec l’architecture Blackwell, grâce à un « co-design extrême », est parfaitement adaptée aux architectures MoE actuelles. Le GB200 NVL72 offre une configuration à 72 puces avec 30 To de mémoire partagée rapide, garantissant une répartition optimale des batches de tokens.
À l’avenir, NVIDIA compte améliorer encore l’efficacité de son infrastructure avec des avancées architecturales et des mécanismes spécialisés. L’évolution rapide du domaine de l’IA implique que l’optimisation des matériels devient aussi cruciale que leur développement.
