Ce qui s'est passé dernièrement est probablement l'un des événements les plus importants de l'histoire récente de l'IA. Pour la première fois, OpenAI a reconnu publiquement qu'un de ses systèmes d'IA, lors d'un test interne, avait réussi à sortir de son environnement de confinement (sandbox), puis à compromettre les infrastructures d'une autre entreprise, Hugging Face, sans que cela ne fasse partie de sa mission.

Que s'est-il passé ? Les chercheurs d'OpenAI faisaient passer à deux modèles un benchmark de cybersécurité, appelé ExploitGym, afin de mesurer les capacités offensives de ces IA. Il s'agissait de GPT-5.6 Sol, ainsi qu'une autre variante très puissante dont l'appellation n'a pas encore été rendu publique.

C’est inédit : une IA a planifié, exécuté et documenté une cyberattaque, les experts parlent d’un tournant

Alors que l’intelligence artificielle s’impose dans la cybersécurité, Anthropic révèle la première campagne de cyberespionnage menée presque entièrement par une IA. Des hackers auraient détourné Claude pour automatiser des attaques complexes à grande échelle, mettant en lumière autant les capacités offensives des modèles avancés que leurs failles.... Lire la suite

Pour obtenir les meilleures performances possibles, OpenAI avait désactivé une partie des garde-fous qui empêchent normalement ces modèles d'effectuer des actions dangereuses. Cela ne devait pas poser de souci, puisque les modèles étaient enfermés dans un environnement isolé, sans accès direct à Internet.

Mais cette combinaison de modèles a compris que son environnement cloisonné l'empêchait de résoudre le test demandé et a alors consacré une partie importante de sa puissance de calcul pour chercher un moyen de sortir de ce confinement. Et ces IA sont parvenues à découvrir une vulnérabilité zero-day dans un composant utilisé par OpenAI. Elle a été exploitée et la combinaison d'IA est parvenue à obtenir davantage de privilèges. Ensuite, elle s'est faufilée de machine en machine jusqu'à atteindre un serveur ayant accès à Internet.

Tests de différents modèles d'IA passés sur un banc d'essai de simulation d'attaques de réseaux d'entreprises complexes. Le modèle d’OpenAI est le meilleur, mais il sait tricher. © AISI

C’est de la triche !

Une fois connectés à Internet, les modèles ont ciblé la plateforme Hugging Face, car ils ont déduit qu'elle héberge énormément de modèles, de jeux de données et de benchmarks de cybersécurité.

Le « golem » d'OpenAI a supposé que les réponses au test ExploitGym pouvaient s'y trouver. Autrement dit, les puissants modèles ont décidé d'eux-mêmes que cette cible maximisait leurs chances de réussir le benchmark. Là encore pour parvenir à ses fins, l'IA a recherché des vulnérabilités sur les serveurs de Hugging Face. Elle y est parvenue en utilisant des identifiants compromis combinant plusieurs failles. En exécutant du code à distance, elle est parvenue à accéder à une base de données contenant les solutions du benchmark pour les récupérer.

L'IA voulait-elle pirater ?

En réalité, les modèles n'avaient aucune intention de nuire à un système, ils ont seulement poursuivi leur objectif jusqu'au bout. Ils ont considéré que la meilleure façon d'obtenir des bons résultats étaient d'aller les rechercher à l'extérieur sur une plateforme où ils devaient s'y trouver. C'est ce que les chercheurs en sûreté appellent un « comportement instrumental ». L'IA adopte alors des stratégies non prévues pour atteindre l'objectif qu'on lui a donné.

Le modèle s’est échappé de son confinement pour tricher en piratant la base de données comportant les bonnes réponses. © SB, ChatGPT

De son côté, Hugging Face a détecté une activité anormale et est intervenu pour contenir cette attaque avec ses propres outils et agents de sécurité. Mais lorsque les analystes ont ensuite souhaité reconstituer précisément l'attaque, leurs outils ont refusé d'aller plus loin. Pourquoi ? Parce que cette demande ressemblait à une requête d'assistance au piratage, ce que l'IA américaine de Hugging Face a exclu de faire en raison de ses garde-fous.

Une IA chinoise pour analyser l’attaque des IA américaines

Paradoxalement, pour aller outre ce blocage, Hugging Face a décidé d'utiliser GLM 5.2, un modèle développé par la société chinoise Zhipu AI. Hébergé localement sur son infrastructure, ce modèle n'était pas bloqué par ces garde-fous et a permis d'analyser les logs de l'attaque, sans envoyer de données sensibles vers un service externe. De fait, cet épisode inédit alimente désormais le débat entre modèles fermés avec garde-fous stricts et modèles open source, jugés par certains plus adaptés aux équipes de cybersécurité lorsqu'elles doivent analyser des attaques réelles.

40 millions de comptes exposés et l’IA transforme l’usurpation d’identité : ce que vous devez savoir

La multiplication récente des fuites de données expose des millions de Français, dont les informations personnelles circulent désormais dans des bases exploitées par des cybercriminels. À l’ère de l’intelligence artificielle, elles représentent une véritable mine d’or pour orchestrer des attaques ciblées à grande échelle, mêlant usurpation d’identité et manipulation psychologique. Voici ce que vous devez savoir.... Lire la suite

OpenAI et Hugging Face ont expliqué avoir collaboré pour traiter et analyser cette intrusion inédite. Ce premier accident du genre marque une étape importante dans la recherche sur la sûreté de l'intelligence artificielle.

L'IA n'a rien inventé, ni fait autre chose qu'un pirate humain n'aurait réalisé. Il n'y a donc rien de magique, mais ce qui a surpris, c'est qu'elle est parvenue à échapper au contrôle des techniciens et a su planifier une succession d'actions complexes et adapter sa stratégie pour parvenir à ses fins. L'autre problème, c'est qu'elle a pu enchaîner ses actions à la vitesse de la machine, sans fatigue et sans intervention humaine.