GeForce RTX 3090 : son débit de tokens boosté jusqu’à 4,6x via l’optimisation de l’inférence

Une puissante RTX 3090 peut voir ses performances en IA multipliées par cinq sans matériel supplémentaire. Ce résultat spectaculaire est obtenu grâce à une optimisation logicielle poussée, dévoilée par un développeur qui a boosté un modèle de langage sur sa carte graphique.

Optimiser l’inférence pour libérer la puissance brute

La bande passante mémoire de 936.2 Go/s de la RTX 3090 la rend très capable pour le traitement de prompts et la génération de texte. Ses 24 Go de VRAM restent toutefois un facteur limitant. Un développeur exécutant le modèle Qwen3.8-27B sur cette carte obtenait 82 tok/s. En déployant un moteur d’inférence personnalisé, cette vitesse est passée à 382 tok/s, soit une amélioration de près de cinq fois grâce à des optimisations logicielles ciblées.

Le défi de la génération de texte

Pour comprendre la lenteur initiale, il faut savoir comment fonctionnent ces modèles. Un modèle génère un jeton à la fois, chaque nouveau dépendant du précédent. Pour chaque jeton, la RTX 3090 doit aller chercher l’immense ensemble de connaissances du modèle (ses poids) en mémoire. Cette opération d’accès, et non les calculs, constitue le principal goulot d’étranglement, laissant souvent la puissance de traitement de la carte inutilisée.

Pour contourner ce problème, un développeur a utilisé une technique appelée décodage spéculatif. Un « ébaucheur » rapide prédit plusieurs jetons à venir. Le modèle principal les vérifie ensuite en une seule passe, ne gardant que les bons. Ainsi, au lieu d’examiner un seul mot, c’est toute une phrase qui est vérifiée. Le modèle principal ayant toujours le dernier mot, la sortie reste identique. Le développeur rapporte que la précision sur un benchmark mathématique est restée stable à 96,5%.

Les vitesses de génération ont progressé par étapes. L’optimisation de la prédiction multi-jetons intégrée à Qwen3.8-27B a porté la vitesse à environ 114 tok/s. L’ajout d’un deuxième ébaucheur, « DFlash2 », proposant sept jetons à la fois, ainsi qu’un ébaucheur par « recherche » scrutant le texte déjà généré pour deviner la suite, a permis d’atteindre 138 tok/s.

Le développeur a ensuite réalisé que l’étape de vérification ne devait pas se limiter aux sept jetons de DFlash2. L’ébaucheur par recherche pouvait combler les emplacements supplémentaires sans coût. Le moteur vérifie désormais 16 jetons par étape. Quand le modèle cite un document, environ 15 de ces 16 propositions sont acceptées, propulsant la vitesse sur une tâche de 25 000 jetons de 260 à 382 tok/s. Dans un chat classique, cette modification donne environ 133 tok/s.

Cette approche a aussi permis d’étendre la fenêtre de contexte à 138 696 jetons en stockant la mémoire de travail du modèle dans un format plus compact. Cette méthode présente des inconvénients. L’étape de vérification allongée consomme la moitié des emplacements de requête et 8000 jetons de contexte, elle est donc optionnelle. Le format mémoire compact double le temps de lecture initial d’un document, mais convient parfaitement lorsqu’on charge un document une fois pour poser de nombreuses questions.

En dehors des tâches de répétition de texte, ce mode tourne à peu près à la moitié de la vitesse de la prédiction multi-jetons simple. Pour un chat quotidien, on peut s’attendre à environ 133 tok/s, ce qui reste une belle amélioration par rapport aux 82 tok/s initiaux. Ces résultats n’ayant pas été vérifiés de manière indépendante, ils sont à considérer avec prudence.