Qwen3.8-27B exécuté sur un PC portable ancien en agrégeant la RAM de 4 appareils
Une expérience peu conventionnelle montre qu’il est possible de faire tourner un modèle d’intelligence artificielle exigeant sur du matériel limité. L’astuce ? Faire coopérer plusieurs appareils au sein d’un réseau local pour mutualiser leur mémoire vive.
Un exploit technique malgré des performances réduites
Pour exécuter une version quantifiée 4 bits de Qwen3.8-27B, un modèle d’IA, il faut généralement entre 15 et 17 Go de mémoire combinée (VRAM et RAM système). Un utilisateur a pourtant réussi à le lancer sur son PC portable Windows, qui ne dispose que de 12 Go, en répartissant la charge sur plusieurs machines.
La version non quantifiée de ce modèle nécessiterait en effet entre 55 et 60 Go, ce qui la rend inaccessible à la plupart des configurations. En utilisant le logiciel open source RAMDeck, l’expérimentateur a pu agréger la mémoire de quatre appareils différents sur son réseau local.
Le PC portable principal, doté de 12 Go de RAM, a alloué 3,4 Go au modèle. Un mini PC équipé d’une RTX 3060 a contribué avec 20 Go de mémoire combinée. Un Mac mini et un smartphone Android ont apporté respectivement 3,7 Go et 1 Go supplémentaires. Cette méthode permet de donner une seconde vie à du matériel ancien sans investissement supplémentaire.
Le compromis principal réside dans les performances. Le système atteint une vitesse de traitement de seulement 1,92 tokens par seconde, avec une latence de 25 ms. Pour un usage pratique, beaucoup considèrent qu’il serait plus judicieux d’opter pour une version quantifiée 2 bits du modèle, ou des modèles plus petits comme les versions 13B. Néanmoins, cette démonstration prouve qu’avec un peu d’ingéniosité, même du matériel modeste peut encore servir.
