NVIDIA dévoile le Nemotron 3 Super, un modèle d’IA ouvert idéal pour OpenClaw
NVIDIA vient de renforcer de manière significative sa classe de LLM open-source avec le dernier modèle, le Nemotron 3 Super, conçu pour des charges de travail d’IA agentique grâce à son large contexte de 1 million de tokens.
NVIDIA Nemotron 3 Super : Une architecture Mamba-MoE avec un contexte de 1 million de tokens
Bien que certains pensent à des laboratoires chinois comme Kimi ou Qwen en matière d’IA open-source, NVIDIA domine en réalité ce secteur. L’entreprise a non seulement investi massivement dans les infrastructures et les puces, mais également dans les modèles open-source. La présentation du Nemotron 3 Super vise spécifiquement l’exécution d’applications IA agentiques à grande échelle, telles que OpenClaw.
La force du Nemotron 3 Super réside dans son architecture hybride Mamba-MoE. Contrairement aux modèles MoE traditionnels, Mamba change fondamentalement la manière dont un LLM interprète le flux de données. En utilisant le State Space Model (SSM), il permet une lecture linéaire des données, optimisant ainsi le contexte pour des réponses plus pertinentes.
- Architecture Hybride : Les couches Mamba offrent 4x plus d’efficacité en mémoire et en calcul, tandis que les couches transformer améliorent le raisonnement avancé.
- MoE : Seuls 12 milliards de ses 120 milliards de paramètres sont actifs lors de l’inférence.
- MoE Latent : Une nouvelle technique qui augmente la précision en activant quatre experts pour le coût d’un seul token.
- Prédiction Multi-Token : Prédit plusieurs mots simultanément, permettant une inférence 3x plus rapide.
– NVIDIA
Les couches Mamba de ce modèle assurent une efficacité mémorielle quatre fois supérieure, le rendant idéal pour les charges d’inférence. De plus, sa fenêtre de contexte de 1 million de tokens est quatre fois plus grande que celle de Kimi 2.5, ce qui le place en tête des LLM open-source. Cette capacité est cruciale, car plus la fenêtre est large, meilleures sont les réponses. Sur ce plan, le Nemotron 3 Super se rapproche d’Opus 4.5, malgré ses 120 milliards de paramètres.
NVIDIA a testé le Nemotron 3 Super sur PinchBench, atteignant un score de 85.6% sur l’ensemble du test, surpassant Opus 4.5, Kimi 2.5 et GPT-OSS 120b. Pour les utilisateurs d’OpenClaw, ce modèle ouvre de nouvelles perspectives de performance, pouvant être utilisé efficacement avec une seule GPU.
Le Nemotron 3 Super illustre bien l’évolution des systèmes d’IA agentiques, et les LLM semblent maintenant surmonter les limitations de calcul, renforçant l’avenir du déploiement de modèles en edge.
