Un responsable d’OpenAI estime que les modèles open-weight comme Kimi K3 mènent au « communisme de l’IA »

La montée en puissance de l’open-source Kimi K3 fait réagir les géants américains. Face à ce modèle aux performances compétitives, OpenAI et Anthropic adoptent des stratégies défensives, l’un par des arguments idéologiques, l’autre par des restrictions d’accès.

Une architecture innovante pour des performances frontières

Moonshot a dévoilé son modèle Kimi K3, une architecture open-source multimodale à 2,8 billions de paramètres conçue pour une intelligence à grande échelle. Ce modèle se distingue par une fenêtre de contexte d’environ un million de tokens et affiche des performances compétitives, voire supérieures en rapidité, face à ses concurrents.

Bien qu’il s’inspire probablement de Claude d’Anthropic, Kimi K3 intègre une innovation d’architecture liée au cache KV, baptisée Kimi Delta Attention. Pour comprendre son apport, imaginez écrire une histoire avec une mémoire défaillante. À chaque mot, vous devez tout relire depuis le début. Le cache KV fonctionne comme une prise de notes séparée pour suivre ce qui est déjà écrit, accélérant considérablement le processus.

Contrairement à l’attention quadratique classique où le cache grossit linéairement avec le contexte, Kimi K3 utilise un mécanisme d’attention hybride linéaire. Il repose sur un ratio de 3 états récurrents pour 1 état d’interpolation hybride.

En clair, l’approche traditionnelle oblige à noter chaque phrase lue sur un Post-it, ce qui ralentit le traitement. Kimi K3, lui, emploie trois assistants qui résument l’essentiel sur une seule page. La taille du résumé reste constante, les informations anciennes étant effacées.

Cette méthode peut toutefois faire manquer un détail précis. Un quatrième assistant intervient alors : il capture un instantané global du contexte et le compresse, comme un fichier zip. Le modèle peut décompresser ce cliché pour y accéder momentanément.

1. Assistant 1 (KDA) : Maintient une note de synthèse rapide.
2. Assistant (KDA) : Maintient une note de synthèse rapide.
3. Assistant (KDA) : Maintient une note de synthèse rapide.
4. Assistant (Attention Globale) : Prend une photo littérale parfaite de tout.

Ce cycle se répète. Avec trois assistants sur quatre utilisant une couche mémoire ultra-rapide, le cache KV est drastiquement réduit.

Si la KDA rend Kimi K3 très efficace, l’utilisation globale de la HBM ne devrait pas diminuer grâce à une autre technique d’optimisation, WideEP.

Ces innovations représentent une menace directe pour OpenAI et Anthropic. Dean W. Ball, responsable des futurs stratégiques chez OpenAI, a réagi sur X, qualifiant les modèles open-source chinois de « décélérateurs » de CapEx. Il avance qu’un « monde dominé par des modèles open-source aboutirait à un communisme intégral de l’IA, ce que propose précisément la Chine : plutôt qu’un produit de marché, l’IA serait un « bien public » fourni par l’État. »

De son côté, Anthropic a choisi de réserver son modèle phare Fable 5 aux principaux abonnements payants, maintenant que Kimi K3 a éclipsé les performances d’Opus.