Intel Arc Pro B70 offre un boost de 80 % en MLPerf Inference v6.0, les Arc Pro B60 gagnent 18 % grâce aux optimisations AI
Intel a récemment dévoilé ses derniers résultats de benchmarks MLPerf Inference v6.0, mettant en avant les performances élevées des GPU Arc Pro B70 et Arc Pro B60.
18 % d’Amélioration pour les GPU Arc Pro Existants, 80 % pour l’Arc Pro B70
MLCommons a publié ses derniers benchmarks dans MLPerf Inference v6.0, illustrant les performances en inférence AI de divers GPU et CPU. Pour Intel, il s’agit de la première démonstration des nouveaux GPU Arc Pro, le B70 et le B65, équipés du chip Big Battlemage.
Les tests ont été réalisés sur un système à quatre GPU composé des Arc Pro B70 et B65, avec jusqu’à 128 Go de VRAM, capable de gérer des modèles de 120 milliards de paramètres. Le système, utilisant les derniers CPU Xeon 6 d’Intel, a montré une performance d’inférence supérieure de 80 % par rapport au précédent modèle phare, l’Arc Pro B60 (24 Go par GPU).
Benchmark MLPerf v6.0 GPT-OSS-120B :
| Configuration GPU | Hors ligne (Tokens/s) | Serveur (Tokens/s) |
|---|---|---|
| 4 x Arc Pro B70 (128 Go) | 1536.90 | 951.67 |
| 4 x Arc Pro B60 Dual (192 Go) | 1601.91 | 884.24 |
| 4 x Arc Pro B60 (96 Go) | 841.04 | 452.19 |
Benchmark MLPerf v6.0 llama2-70b-99 :
| Configuration GPU | Hors ligne (Tokens/s) | Serveur (Tokens/s) |
|---|---|---|
| 4 x Arc Pro B70 (128 Go) | 2459.18 | 1698.57 |
| 4 x Arc Pro B60 Dual (192 Go) | 3270.66 | 2199.50 |
| 4 x Arc Pro B60 (96 Go) | 1697.66 | 1106.26 |
Benchmark MLPerf v6.0 llama3.1 8b :
| Configuration GPU | Hors ligne (Tokens/s) | Serveur (Tokens/s) |
|---|---|---|
| 4 x Arc Pro B60 Dual (192 Go) | 52.83 | 49.17 |
| 4 x Arc Pro B70 (128 Go) | 36.07 | 32.58 |
| 4 x Arc Pro B60 (96 Go) | 26.15 | 24.57 |
| 4 x Arc Pro B50 (64 Go) | 13.45 | 9.27 |
| 2 x Xeon 6 (128 Cœurs) | 9.61 | 3.68 |
Intel a également démontré des optimisations logicielles qui lui permettent d’atteindre une amélioration de 18 % sur des GPU existants comme l’Arc Pro B60.
En plus des GPU, Intel a soumis ses CPUs Xeon 6 à MLPerf Inference v6.0, offrant un gain de performance de 90 % pour la génération grâce à des fonctionnalités intégrées comme AMX et AVX-512.
Les systèmes GPU d’Intel, intégrant les nouveaux GPU Arc Pro B70/B65, répondent aux besoins modernes d’inférence AI et proposent une plateforme tout-en-un alliant hardware et logiciel validés. Avec une capacité mémoire améliorée, ils visent à simplifier l’adoption et l’utilisation via une solution conteneurisée conçue pour Linux, optimisée pour des performances d’inférence impressionnantes avec une montée en charge multi-GPU.
Intel reste le seul constructeur de processeurs serveurs à soumettre des résultats CPU autonomes pour les benchmarks d’inférence MLPerf, consolidant sa position de leader sur le marché. Les CPU Xeon 6 d’Intel affichent un gain de performance de 1,9x par rapport à la génération précédente, renforçant leur rôle central dans l’infrastructure AI.
Il est encourageant de voir Intel continuer d’optimiser ses GPU et CPU pour l’inférence, comme en témoigne les benchmarks de MLPerf Inference v6.0. L’Arc Pro est une carte performante pour l’IA, offrant 32 Go de VRAM pour moins de 1000 €.
