NVIDIA annonce Cosmos 3, le premier omnimodel entièrement ouvert, un cerveau pour robots et véhicules autonomes basé sur la physique
NVIDIA a levé le voile sur son modèle monde Cosmos 3 lors du GTC de Taipei. Décrit comme le premier « omnimodèle » entièrement ouvert, il est capable d’un raisonnement visuel et peut produire du texte, des images, de la vidéo et du son.
Un modèle pour comprendre et simuler le monde physique
L’annonce de Cosmos 3 par NVIDIA donne un aperçu de ce que l’entreprise nomme le premier « omnimodèle » pleinement ouvert. Ce système excelle dans le raisonnement basé sur la vision et génère plusieurs types de contenus multimodaux.
Au cœur de Cosmos 3 se trouve une architecture qui associe un transformeur de raisonnement à un transformeur de génération expert. Cette combinaison permet au modèle de saisir les interactions physiques avant de produire des séquences vidéo et des trajectoires d’action qui en tirent parti.
Ce modèle vise à aider les robots, véhicules autonomes et agents de vision à appréhender leur environnement, un défi majeur lorsque les données d’apprentissage sont rares et les outils de simulation éclatés. En tant qu’omnimodèle ouvert, Cosmos 3 peut naturellement interpréter et créer du texte, des images, de la vidéo, du son ambiant et des actions, avec une précision physique avancée.
Pour rappel, un transformeur en IA est un réseau de neurones qui analyse les relations au sein de données séquentielles, comme les mots d’une phrase. Ce traitement parallèle accélère considérablement la génération des résultats.
Selon NVIDIA, Cosmos 3 peut être utilisé de trois manières principales :
- Comme modèle de langage visuel.
- Comme modèle monde simulant des environnements physiques et prédisant leurs états futurs.
- Comme base pour d’autres modèles monde.
Les versions Cosmos 3 Super (pour les réponses de plus haute fidélité) et Cosmos 3 Nano sont disponibles dès maintenant. Cosmos 3 Edge, optimisé pour l’inférence en temps réel sur les appareils périphériques, arrivera prochainement.
