Un brevet Sony pour un contrôleur prédisant vos presses de boutons avec IA et caméra
Une innovation intrigante : Sony a récemment déposé un brevet utilisant l’intelligence artificielle pour réduire le décalage d’entrée dans les jeux vidéo. En combinant une caméra et un modèle d’IA, il est capable de prédire les mouvements du joueur avant même qu’ils ne soient réalisés, promettant ainsi une expérience de jeu plus fluide avec des commandes réactives.
Avenir prometteur : NVIDIA et AMD utilisent depuis un certain temps l’IA pour réduire le décalage d’entrée. Un nouveau brevet de Sony utilise également l’intelligence artificielle afin de diminuer la latence, mais de manière très originale : la technologie est associée à une caméra pour anticiper les pressions de boutons à l’avance.
Le brevet en question, intitulé WO2025010132 – LIBÉRATION D’INPUT/ACTION PAR TEMPS, a été repéré par Tech4Gamers. Il décrit l’utilisation de l’apprentissage automatique pour prédire les mouvements d’un joueur avant qu’il ne les réalise, ce qui pourrait théoriquement réduire le décalage d’entrée.
Le modèle d’IA et un capteur externe tel qu’une caméra travailleraient ensemble. La caméra surveille les doigts du joueur pour voir quel bouton est sur le point d’être pressé, et l’IA utilise ces données pour apprendre les mouvements des joueurs. Essentiellement, elle pourrait enregistrer une pression de bouton avant même que le joueur ne la réalise, ce qui devrait diminuer la latence.
Le système pourrait également détecter les mouvements de contrôleur incomplets et déterminer l’action prévue par le joueur, la complétant en son nom.
« Il peut y avoir un décalage entre l’action d’entrée de l’utilisateur et le traitement ultérieur et l’exécution de la commande par le système, » écrit Sony. « Cela entraîne à son tour une exécution retardée de la commande et des conséquences non intentionnelles dans le jeu lui-même. »
Une alternative possible à la perspective légèrement inquiétante d’avoir une caméra constamment braquée sur vos doigts serait d’intégrer le capteur directement dans les boutons du contrôleur, permettant ainsi de détecter lorsque le doigt est au-dessus.
La majorité des brevets ne deviennent pas des produits réels, donc il n’y a aucune garantie que celui-ci ira au-delà de la phase de planification. Cependant, Sony a reçu de nombreux éloges pour ses excellents contrôleurs DualSense de la PS5, il pourrait donc vouloir quelque chose d’aussi impressionnant dans la PlayStation 6. De plus, l’introduction de la PlayStation Spectral Super Resolution (PSSR) dans la PS5 Pro ajoute un petit peu de latence (environ 2 ms), que Sony pourrait vouloir corriger dans ses futures consoles.
NVIDIA a mis en avant des technologies de réduction de latence avec sa technologie Reflex. La dernière version, Reflex 2, qui a été dévoilée au CES, utilise également une IA prédictive pour diminuer la latence – de 75 %, selon NVIDIA.
Alors que Reflex 2 continue de synchroniser les tâches CPU et GPU, elle introduit également une fonction appelée Frame Warp. Cette fonction met à jour les images rendues en fonction des dernières entrées de la souris juste avant qu’elles ne soient affichées. Tandis que le GPU rend une image, le CPU calcule la position de la caméra de la prochaine image en utilisant les dernières données d’entrée. Frame Warp modifie alors l’image actuelle pour refléter cette position mise à jour, garantissant ainsi que les actions à l’écran correspondent plus étroitement aux entrées du joueur. Le processus implique une technique de prédiction de remplissage qui utilise des données de couleur et de profondeur des images précédentes pour combler les lacunes créées durant le warp d’image.
