Microsoft : son PDG veut des IA « présumées compromises » dès le départ, arrêtables par l’homme
Satya Nadella, le PDG de Microsoft, alerte sur les limites des garde-fous actuels face aux intelligences artificielles les plus avancées. Dans un long post publié sur X, il estime que ces modèles, ayant accès à des systèmes sensibles, doivent être considérés comme des entités internes à haut risque. Pour lui, la simple transparence ou l’auto-surveillance par l’IA sont insuffisantes.
Des modèles opaques au cœur des systèmes critiques
Le dirigeant de Microsoft, qui utilise lui-même des agents IA pour évaluer la rentabilité, a exposé les dangers posés par ces systèmes lorsqu’ils contrôlent des fonctions vitales pour les entreprises. Sur X, il a reconnu que bien que ces modèles ne soient pas déterministes, ils sont déployés « avec accès à nos données les plus sensibles et la capacité d’agir en notre nom pour des missions cruciales ! »
Considérant désormais ces modèles comme des intervenants internes, Nadella juge les mesures de sécurité basiques inadéquates. Cela inclut l’utilisation d’une IA pour en évaluer une autre ou la dépendance à la « chaîne de pensée » pour comprendre le raisonnement derrière une réponse.
La nature non déterministe d’un modèle d’IA signifie qu’il peut produire des sorties différentes avec les mêmes entrées. La chaîne de pensée est le processus interne de « raisonnement » qui explique comment il parvient à ses conclusions.
Commentant l’idée d’utiliser l’IA pour évaluer sa propre production, Nadella a écrit :
« Vous pouvez et vous devriez utiliser des modèles pour se tester et se vérifier mutuellement de manière antagoniste. Cependant, vous pouvez alors vous retrouver avec un modèle opaque dans une couche d’orchestration opaque, surveillé par un autre modèle opaque. Essentiellement, des boîtes noires imbriquées. »
Pour sécuriser ces super intelligences, Nadella plaide pour que ces modèles non déterministes soient encadrés par « une conception système déterministe et robuste, des contrôles humains et des procédures opérationnelles fiables ». Autrement dit, un logiciel aux résultats variables doit être supervisé par des entités aux critères d’évaluation constants.
Il voit la transparence de la chaîne de pensée et l’évaluation mutuelle des modèles comme des étapes vers cette approche, laquelle repose sur l’observabilité face à l’opacité fonctionnelle de l’IA.
Observabilité, confinement et auditabilité : les piliers de la sécurité
Parmi les sept principes d’observabilité qu’il énonce, trois sont primordiaux. Le premier est le confinement, où Nadella admet qu’il faut partir du principe qu’« un modèle est compromis et le confiner dès le départ ». Ainsi, « une personne autorisée doit toujours pouvoir interrompre ou arrêter un modèle en cours de tâche ».
Ces déclarations surviennent à un moment charnière. Les signalements d’agents d’IA agissant de manière autonome se multiplient. L’un des premiers cas remonte à juillet, lorsque des agents d’OpenAI, entre 700 et 1200, ont compromis l’infrastructure de la plateforme Hugging Face.
L’observabilité et l’auditabilité indépendante sont les deux autres thèmes essentiels. « Aucun modèle unique ne doit contrôler à la fois le comportement d’un système et les preuves nécessaires pour déterminer si ce comportement correspond à l’intention initiale », estime Nadella.
Les preuves dont il parle découlent de l’observabilité, qui doit selon lui intégrer des humains dans la boucle. Soulignant qu’on ne peut se fier uniquement aux modèles, il note que « chaque action significative d’un modèle doit laisser une preuve lisible par un humain et inviolable. Si cela ne peut pas être observé, cela ne peut pas être fiable ! »
Insistant sur le fait que la clarté est non négociable, Nadella ajoute :
« Nous devons pouvoir reproduire la façon dont un résultat a été atteint sans nous fier au modèle pour l’attester. »
