OpenAI affirme que sa puce IA Jalapeno offre des réponses plus rapides que ses rivales comme NVIDIA RTX

Chaque requête adressée à ChatGPT mobilise une puce dédiée pour fournir une réponse. OpenAI vient de publier de nouveaux résultats de benchmarks, affirmant que sa puce sur mesure Jalapeño, conçue avec Broadcom, accomplit cette tâche bien plus rapidement et efficacement que les puces concurrentes actuelles.

Quels sont les gains de performance de Jalapeño ?

OpenAI a testé Jalapeño en utilisant InferenceX, un benchmark indépendant de SemiAnalysis qui évalue la capacité d’une puce à gérer l’inférence, c’est-à-dire le processus d’exécution d’un modèle d’IA déjà entraîné pour générer des réponses.

Sur trois modèles d’IA différents, Jalapeño a fourni de 1,5 à 1,9 fois plus de travail par watt consommé, tout en réduisant la latence d’un facteur compris entre 1,7 et 3,6. Cela se traduit par des temps de réponse nettement plus rapides. Pour les tâches très interactives comme celles des agents IA, cet avantage grimpe jusqu’à 4,1 fois plus de performance.

La plupart des puces imposent un compromis entre vitesse et efficacité, mais OpenAI indique que Jalapeño gère les deux simultanément, en minimisant les mouvements de données nécessaires entre les différentes parties du système durant le traitement.

Pourquoi OpenAI s’est-il lancé dans la conception de sa propre puce ?

OpenAI a toujours dépendu fortement des GPU NVIDIA depuis ses débuts. Jalapeño représente sa première véritable incursion dans la conception matérielle maison. Il est intéressant de noter que les propres modèles d’IA d’OpenAI ont contribué à concevoir des portions de la puce. Cette même approche a permis à une petite équipe de porter trois modèles d’IA supplémentaires à des performances complètes en seulement deux mois.

Malgré ces résultats convaincants, OpenAI n’envisage pas d’abandonner NVIDIA de sitôt. En effet, Jalapeño ne gère que l’inférence, et non l’entraînement des nouveaux modèles, un processus distinct et très gourmand en calculs. La société prévoit de déployer sa puce en petits volumes d’ici la fin 2026, avec une montée en puissance significative prévue pour 2027. Une deuxième et une troisième génération de puces sont déjà en préparation.

OpenAI rejoint une liste croissante de sociétés d’IA développant leurs propres puces. Google possède sa gamme TPU, Amazon progresse dans le silicium sur mesure, et Anthropic a récemment confirmé des projets similaires. On rapporte que Samsung a utilisé Claude d’Anthropic pour accélérer ses propres travaux de conception de puces, suggérant que l’assistance de l’IA au développement matériel devient rapidement une norme industrielle, et pas seulement une expérience propre à OpenAI.