Les prouesses de l’IA locale ne cessent de nous surprendre. Après les smartphones, c’est au tour d’une imprimante de bureau de se prêter au jeu, exécutant un modèle de langage directement depuis son système interne. Cette expérience insolite démontre que même un équipement a priori très limité peut réaliser des calculs complexes.
Une imprimante de bureau exécute Gemma 3 avec seulement 14,1 Mo de mémoire
L’utilisateur Omar Sanseviero a partagé sur X qu’avec l’aide de Carbon, il a réussi à exécuter directement Gemma sur une imprimante de bureau. L’astuce ne repose sur aucune modification matérielle, mais exploite le langage PostScript, intégré aux imprimantes laser modernes et capable d’exécuter des programmes.
En utilisant Carbon, un moteur d’inférence léger, couplé à une version quantifiée du modèle Gemma 3 270M, un simple fichier d’impression PostScript a été créé. Pour éviter toute saturation de la mémoire, le système a utilisé un streaming dynamique des couches du modèle, maintenant la consommation de RAM à seulement 14,1 Mo sur les 244,6 Mo alloués au PostScript.
Les performances sont étonnantes : l’exécution de Gemma 3 270M a généré plus de 61 tokens par seconde sur le CPU de l’imprimante. L’exécution complète s’est déroulée dans l’interpréteur PostScript Level 3 de l’imprimante, à travers 18 couches de transformateur.
Le traitement d’une invite de quatre tokens a nécessité 184 secondes pour la phase de pré-remplissage, puis 0,1 seconde pour décoder un token généré. Une fois le calcul terminé, l’imprimante a physiquement imprimé la réponse en trois mots, prouvant ainsi qu’un équipement de bureau ordinaire peut dépasser les attentes lorsqu’on pousse les limites de son logiciel.



