Modal : la plateforme double ses performances en passant au CPU Vera de NVIDIA

Le passage des plateformes x86 traditionnelles aux solutions basées sur architecture Arm n’est pas une mince affaire. Pour la startup Modal, ce changement d’écosystème vers le CPU Vera de NVIDIA a pourtant porté ses fruits, avec un gain de performance particulièrement marqué pour les charges de travail d’IA.

Un changement d’infrastructure qui porte ses fruits

Le CPU Vera de NVIDIA modifie peu à peu la perception du marché vis-à-vis des processeurs Arm pour l’IA agentique. Alors qu’Arm mettait déjà en avant les atouts de ses puces, l’offre de NVIDIA devient rapidement le choix de nombreuses entreprises qui utilisaient auparavant des puces x86.

Modal fait partie de ces sociétés. Basée à San Francisco, elle vient de recevoir ses premiers serveurs équipés du Vera CPU. Jusqu’ici, l’entreprise reposait exclusivement sur des systèmes x86 avec des puces d’AMD et d’Intel. La migration vers un écosystème Arm a donc nécessité des adaptations importantes de l’infrastructure et des systèmes d’image.

Malgré ces modifications complexes, Modal qualifie le résultat d’impressionnant. La firme constate un doublement du débit en IA dans ses sandboxs agentiques, décrivant le Vera comme une option extrêmement convaincante.

Dans la plupart des systèmes, débit et latence s’opposent.

• La latence correspond au temps écoulé entre le début et la fin d’une tâche.
• Le débit est la quantité de tâches terminées par unité de temps. Cela teste la capacité du système hôte à entrelacer des processus simultanément et à tous les faire progresser en parallèle.

Plus on entasse de tâches, plus le débit est élevé. Mais une fois le CPU pleinement utilisé, la latence de chaque tâche individuelle se dégrade en raison de la contention.

Pour notre planificateur Modal, il est toujours tentant de fonctionner avec une densité de packing plus élevée, pour tirer plus de jus des machines hôtes et offrir une échelle absolue plus grande aux utilisateurs. Mais tout comme les charges de travail sont irrégulières dans leurs conteneurs, l’échelle absolue des conteneurs dans notre cluster l’est aussi, ce qui nous expose au risque de surcharger les machines hôtes.

Pour tester le Vera, Modal a élaboré un ensemble de charges de travail représentatives et de benchmarks pour les sandboxs agentiques. Cela a impliqué le développement de l’Agentless Agent Bench, qui héberge une collection de 50 solutions et vérificateurs oracle Terminal-Bench. Ce benchmark présente à la fois les chiffres d’achèvement linéaire et de débit concurrent.

Les premiers tests ont montré une nette amélioration par rapport aux puces x86, mais ils ont été réalisés sans aucune charge, ce qui en faisait essentiellement un test de latence pure.

Sous charge, le CPU Vera de NVIDIA révèle un comportement totalement différent. En termes de débit, Vera a offert un gain multiplié par deux par rapport à une puce Intel Xeon Granite Rapids équivalente. Cet avantage vient du fait que, contrairement aux CPU x86, Vera ne ralentit pas à mesure que les travaux s’accumulent, mais traite chacun d’eux à sa cadence initiale.

Les résultats sont éloquents :

• Face au Xeon d’Intel : Jusqu’à deux fois plus de débit de tâches par cœur.
• Face à l’EPYC d’AMD : Plus de six fois le débit de tâches avec 150 conteneurs simultanés, chaque système utilisant 124 CPUs logiques.

La caractéristique principale du Vera est sa capacité à résister sous contention. Sa bande passante mémoire élevée permet de regrouper beaucoup plus de charges de travail conteneurisées par cœur, sans limitation du CPU. C’est ce qui explique pourquoi le Vera prend une telle avance sur les alternatives dans nos benchmarks.

Avec davantage de cœurs CPU, les autres options atteignent rapidement un palier de débit, tandis que le Vera continue de s’améliorer, suggérant que nous pourrions le pousser encore plus loin que le nœud auquel nous avons eu accès pour nos tests.

La transition de Modal vers les CPU Vera de NVIDIA, malgré les changements d’infrastructure et de build d’image nécessaires pour quitter l’architecture x86, a procuré un net doublement du débit dans les sandboxs d’IA agentique.

Sous charge, le Vera maintient des performances élevées sans subir les limitations typiques des CPU Intel et AMD, grâce à sa grande bande passante mémoire et sa capacité à gérer plus de charges de travail simultanées par cœur. Il en résulte une option Arm convaincante qui monte plus efficacement en charge pour les charges de travail agentiques denses et sujettes à la contention.