NVIDIA Publie de Gros Chiffres en IA Dans les Benchmarks MLPerf Inference v3.1 avec Hopper H100, GH200 Superchips & L4 GPUs
NVIDIA a publié ses références officielles de performances MLPerf Inference v3.1 exécutant sur les GPU d’IA les plus rapides du monde tels que Hopper H100, GH200 et L4.
NVIDIA domine le paysage de l’IA avec les GPU Hopper et Ada Lovelace, des performances impressionnantes présentées dans le MLPerf v3.1
Aujourd’hui, NVIDIA publie ses premières références de performances dans la suite de références de performances MLPerf Inference v3.1 qui couvre un large éventail de références standard de l’industrie pour des cas d’utilisation de l’IA. Ces charges de travail vont de la recommandation, du traitement du langage naturel, des modèles de langage de grande envergure, de la reconnaissance vocale, de la classification d’images, de l’imagerie médicale et de la détection d’objets.
Les deux nouveaux ensembles de références comprennent DLRM-DCNv2 et GPT-J 6B. Le premier est une plus grande représentation de jeu de données multichauds des recommandateurs réels qui utilise un nouvel algorithme entre les couches pour fournir de meilleures recommandations et a deux fois plus de paramètres que la version précédente. GPT-J, en revanche, est un petite modèle de langage de grande envergure dont le modèle de base est open source et a été publié en 2021. Cette charge de travail est conçue pour des tâches de résumé.
NVIDIA présente également un pipeline de travail réel conceptuel d’une application qui utilise une gamme de modèles d’IA pour atteindre une requête ou une tâche demandée. Tous les modèles seront disponibles sur la plateforme NGC.
En termes de références de performances, le NVIDIA H100 a été testé sur l’ensemble complet des références MLPerf v3.1 Inference (hors connexion) par rapport aux concurrents d’Intel (HabanaLabs), Qualcomm (Cloud AI 100) et Google (TPUv5e). NVIDIA a offert des performances de premier plan sur toutes les charges de travail.
Pour pimenter les choses, la société indique que ces références ont été réalisées il y a environ un mois, car MLPerf exige au moins 1 mois entre le moment de la soumission et la publication des résultats finaux. Depuis lors, NVIDIA a mis au point une nouvelle technologie appelée TensorRT-LLM qui améliore encore les performances jusqu’à 8x, comme nous l’avons détaillé ici. Nous pouvons nous attendre à ce que NVIDIA soumette bientôt les références MLPerf avec TensorRT-LLM.
Mais en revenant aux références, le superchip Hopper GH200 de NVIDIA a également effectué sa première soumission sur MLPerf, offrant une amélioration de 17% par rapport au GPU H100. Cette augmentation des performances est principalement due à des capacités VRAM plus élevées (96 Go de HBM3 contre 80 Go de HBM3) et une bande passante de 4 To/s.
Le GPU Hopper GH200 utilise la même configuration de base que le H100, mais un domaine clé qui aide à l’amélioration des performances est la gestion automatique de l’alimentation entre le processeur Grace et le GPU Hopper. Étant donné que la plateforme Superchip comprend l’alimentation pour le CPU et le GPU sur la même carte, les clients peuvent essentiellement passer l’alimentation du CPU au GPU et vice versa dans une charge de travail particulière. Ce surplus de puissance sur le GPU permet de faire tourner la puce plus rapidement et plus rapidement. NVIDIA a également mentionné que le Superchip utilisait ici la configuration 1000W.
Lors de ses débuts sur les références de l’industrie MLPerf, le Superchip GH200 Grace Hopper de NVIDIA a exécuté tous les tests d’inférence du centre de données, étendant ainsi les performances de pointe des GPU Tensor Core H100 de NVIDIA. Les résultats globaux ont montré les performances exceptionnelles et la polyvalence de la plateforme IA de NVIDIA, du cloud au bord du réseau.
Le GH200 relie un GPU Hopper à un CPU Grace dans un seul superchip. La combinaison offre plus de mémoire, de bande passante et une capacité de bascule automatique de l’alimentation entre le CPU et le GPU pour optimiser les performances. À part cela, les systèmes H100 qui contiennent huit GPU H100 ont offert le débit le plus élevé sur chaque test d’inférence MLPerf de cette série.
Les superchips Grace Hopper et les GPU H100 se sont démarqués dans tous les tests de centre de données de MLPerf, y compris l’inférence pour la vision par ordinateur, la reconnaissance vocale et l’imagerie médicale, ainsi que les cas d’utilisation plus exigeants des systèmes de recommandation et des modèles de langage de grande envergure (LLM) utilisés dans l’IA générative. Dans l’ensemble, ces résultats continuent de démontrer la position de leader de NVIDIA en matière de performances d’entraînement et d’inférence en IA à chaque série depuis le lancement des références MLPerf en 2018.
via NVIDIA
Le GPU L4 de NVIDIA, qui est basé sur l’architecture du GPU Ada Lovelace, a également réalisé une entrée remarquée dans le MLPerf v3.1. Non seulement il a pu exécuter toutes les charges de travail, mais il l’a fait de manière très efficace, fonctionnant jusqu’à 6 fois plus rapidement que les processeurs x86 modernes (Intel 8380 Dual-Socket) avec une consommation d’énergie de 72 W dans un design (form factor) FHFL. Le GPU L4 a également offert une augmentation de 120 fois des tâches vidéo/IA telles que le décodage, l’inférence et l’encodage. Enfin, le NVIDIA Jetson Orion a bénéficié d’une augmentation de performance allant jusqu’à 84% grâce aux mises à jour logicielles et témoigne de l’engagement de NVIDIA à améliorer la pile logicielle vers le niveau supérieur.
Retrouvez, la vidéo d’un de nos confrères hardware de la semaine :
Ci-dessous, nos guides d'optimisations dont : Optimiser Windows 11 pour les jeux - Optimiser Windows 10 pour les jeux - Comment réduire latence - Stock PS5
