Moonshot défie Trump en cherchant d’autres GPU NVIDIA pour entraîner le modèle Kimi K4
L’entreprise chinoise Moonshot continue de jouer avec le feu en contournant les contrôles à l’exportation américains pour obtenir des GPU NVIDIA. Après le succès du modèle Kimi K3, elle cherche désormais à accéder à une puissance de calcul encore plus grande pour le Kimi K4, au risque de provoquer la colère de l’administration Trump.
Moonshot tente d’exploiter furtivement un stock encore plus important de ressources de calcul de NVIDIA pour entraîner son prochain modèle Kimi K4
Comme nous l’avons expliqué dans un récent article, Moonshot vient de dévoiler son tout nouveau modèle open-source Kimi K3, qui compte 2,8 billions de paramètres et a été spécialement conçu pour une intelligence de pointe.
Le modèle est multimodal, possède une fenêtre de contexte d’environ 1 million de tokens, et offre des performances compétitives et plus rapides que beaucoup de ses concurrents.
De plus, Kimi K3 est assez efficace à faire tourner sur du matériel à l’échelle d’un centre de données, grâce à son cache KV considérablement réduit et à des optimisations intégrées pour l’utilisation de la mémoire par token, obtenues en répartissant ses 896 experts sur un grand nombre de GPU.
Microsoft estime d’ailleurs qu’il pourrait économiser jusqu’à 600 millions € en coûts d’inférence en déplaçant Copilot des modèles OpenAI et Anthropic vers le Kimi K3 de Moonshot.
Bien sûr, Moonshot est récemment entré dans la lutte multidimensionnelle entre la Chine et les États-Unis, quand Anthropic et certains membres de l’administration Trump ont accusé Moonshot d’avoir distillé son modèle Kimi K3 à partir de Fable d’Anthropic.
Les États-Unis soupçonnent depuis longtemps les ingénieurs chinois d’emporter souvent leurs disques durs chargés de modèles vers des pays amis des États-Unis pour imprégner leurs modèles de capacités de pointe en utilisant des techniques d’apprentissage par renforcement sur des GPU NVIDIA de dernière génération.
Selon les accusations portées récemment par un responsable de l’administration Trump, Moonshot posséderait non seulement secrètement quelques serveurs NVIDIA GB300, mais aurait aussi pu accéder à des GB300 supplémentaires via la Thaïlande.
Notez que Fable a été dé-banni vers la fin juin, tandis que Moonshot a publié son modèle Kimi K3 autour de la mi-juillet. Le temps était tout simplement insuffisant pour que Moonshot distille un modèle aussi massif que Kimi K3, sans parler de ses exploits architecturaux uniques qui ne font pas partie de Fable. Moonshot a probablement affiné certaines réponses de son modèle en utilisant Fable.
Cela nous amène au cœur du problème. The Information vient de rapporter que Moonshot, après le succès universel de son modèle Kimi K3, cherche désormais à accéder à un stock encore plus important de GPU NVIDIA Blackwell pour le Kimi K4 de nouvelle génération, et semble prêt à défier les contrôles à l’exportation américains.
Cela ne signifie pas que l’entreprise n’utilise pas de puces IA nationales. Après tout, les ingénieurs de Moonshot ont réussi à relier plusieurs serveurs à huit puces à travers des centres de données chinois distincts pour entraîner le Kimi K3. Mais comme le Kimi K4 dépassera probablement les 2,8 billions de paramètres de son prédécesseur, Moonshot a désespérément besoin de puissance de calcul supplémentaire, et semble prêt à risquer la colère de l’administration Trump.
Pendant ce temps, l’administration Trump examine actuellement s’il faut interdire complètement les modèles open-weight en provenance de Chine. Pour ceux qui l’ignoreraient, les poids indiquent à un modèle l’importance qu’il doit accorder à un concept donné ou à une chaîne de mots. Ces poids commencent comme des nombres aléatoires, puis sont modifiés via des mises à jour itératives, où une mesure d’erreur évalue l’écart entre la prédiction et la valeur cible réelle après chaque passage avant. Les modèles open-weight, comme Kimi K3, divulguent leurs poids, démystifiant ainsi leur architecture globale, tandis que les modèles fermés, comme Claude d’Anthropic, ne le font pas.
Mais ici, les grands noms du monde de l’IA, dont NVIDIA, Microsoft, Meta, Dell, Perplexity, Palantir, Mistral AI et d’autres, ont publié une lettre appelant l’administration Trump à garantir la pérennité de l’écosystème des modèles open-weight.
