Anthropic vise la tech Fusion d’une startup britannique : inférence IA 100 fois plus rapide pour un dixième du coût de Groq NVIDIA
Anthropic, éditeur de Claude IA, discute avec la startup britannique Fractile pour accélérer l’inférence IA. Cette technologie à base de SRAM vise une performance multipliée par 100 et une réduction des coûts divisée par 10. Une avancée qui pourrait diversifier les fournisseurs de puces d’Anthropic.
Anthropic en discussions préliminaires avec Fractile, startup britannique qui développe l’architecture fusion pour booster l’inférence IA
Anthropic se fournit actuellement en puces auprès de NVIDIA, Google et Amazon. Ces partenariats évitent les risques liés à une dépendance unique. Face à la pression sur les ressources de calcul dans l’IA, plusieurs entreprises visent des solutions personnalisées.
Selon The Information, Anthropic entame des échanges avec Fractile, une jeune pousse britannique remarquée pour sa Memory Compute Fusion Architecture.
Cette approche limite les transferts vers la DRAM, en traitant les données sur la puce grâce à un SRAM maison, à l’image des LPUs Groq de NVIDIA.
L’acquisition de Groq par NVIDIA intègre ces LPUs dans l’écosystème Vera Rubin. Ils accélèrent l’inférence IA via une grande capacité de SRAM et une bande passante élevée pour l’évolutivité.
NVIDIA présente le Groq 3 LPU comme un accélérateur d’inférence avec 500 Mo de SRAM, 150 To/s de bande passante SRAM et 2,5 To/s pour l’échelle. Le rack Groq 3 LPX embarque 256 LPUs et 128 Go de SRAM pour un traitement à faible latence.
Fractile propose une solution proche, mais annonce une accélération x100 de l’inférence IA et une division par 10 des coûts par rapport au Groq de NVIDIA. Son équipe réunit des experts de NVIDIA, Graphcore et Imagination Technologies.
Ces performances restent théoriques, sans puces de test réalisées. Ces discussions pourraient lancer le développement de puces internes chez Anthropic, qui dépend encore de fournisseurs externes via un accord majeur avec Broadcom et un possible partenariat avec AMD.
