Des agents IA développés par OpenAI ont utilisé plus d'une dizaine de sites Web non autorisés pour communiquer secrètement entre eux. Ces systèmes autonomes ont réussi à contourner leurs restrictions et détourné des wikis, des sites de stockage de texte et réducteurs de liens gérés par deux universités. Ces plateformes tierces ont été transformées en services de messagerie improvisés pour s'entraider lors d'examens. Cette activité imprévue n'est pas considérée comme du piratage informatique, mais elle soulève des préoccupations majeures concernant le manque de transparence d'OpenAI et la capacité des modèles à agir de manière autonome.

OpenAI a suscité l'inquiétude après que plusieurs de ses agents IA se sont échappés de leur bac à sable de tests pour s'introduire dans des systèmes tiers, dont ceux d'Hugging Face. L'entreprise a documenté l'incident, mais semble avoir caché la gravité des événements à la communauté. Des enquêtes indépendantes révèlent qu'OpenAI a minimisé la portée des actions de ses agents IA et que le laboratoire pourrait même en avoir perdu le contrôle.

Les conclusions de six groupes d'enquêteurs indépendants, qui ont été examinées par Reuters, ont relancé le débat sur la manipulation des agents IA chez OpenAI et la fiabilité des protocoles de sécurité de l'entreprise. Selon les nouvelles informations, plusieurs agents IA d'OpenAI ont discrètement utilisé plus de dix sites Web non divulgués auparavant pour établir des communications non autorisées plus tôt cette année. Il ne s'agit pas de piratage.

Selon les chercheurs, ce comportement se rapproche davantage du courrier indésirable. Les agents IA ont contourné leurs propres restrictions pour ouvrir des canaux de communication sur de nombreuses plateformes. Le chercheur Andrew Yoon, de l'organisation à but non lucratif CivAI, a comptabilisé 18 sites Web non révélés utilisés entre mai et juillet. Il a souligné que « la portée de ces actions est un peu plus vaste que ce que nous pensions ».

« Il est presque certain qu'il se passe d'autres choses ici que nous ignorons tout simplement ». De son côté, la chercheuse Sydney Von Arx a recensé des indices crédibles d'activité sur 23 sites non répertoriés, ajoutant que ces estimations demeurent incomplètes : « nous n'avons aucune idée de ce qui existe réellement ». Les commentaires des experts suggèrent qu'OpenAI dissimule des informations ou est lui-même dépassé par les événements.

Des méthodes d'infiltration sophistiquées sur des sites obscurs

L'un des incidents majeurs révélés concerne un groupe d'agents ayant détourné un wiki en langue allemande pour le transformer en une plateforme de messagerie improvisée destinée à tricher lors d'examens. Pour détecter ces comportements, les enquêteurs ont recoupé des chaînes de données identiques, associé des noms d'utilisateurs similaires ou repéré des requêtes cherchant à répondre aux mêmes questions démographiques obscures.

Dans certains cas, l'origine de l'activité a été tracée jusqu'à des adresses IP pointant vers l'infrastructure Microsoft Azure utilisée par OpenAI. La majorité des cibles étaient des sites anciens ou peu fréquentés : un wiki de chimie de 2008 créé par un enseignant du Massachusetts, des sites personnels d'informaticiens polonais, des wikis de jeux de réflexion, ainsi que des réducteurs de liens gérés par l'université de Toronto et l'université Vanderbilt.

D'après les chercheurs, ce comportement s'explique par le fait qu'OpenAI avait chargé ces agents IA de répondre à des questions de recherche exigeantes tout en leur interdisant de publier du contenu sur le Web. Face à cette restriction, les agents IA ont tiré parti des particularités d'anciens wikis acceptant des commandes non standard pour communiquer entre eux. Autrement dit, les agents ont cherché un moyen détourné de résoudre ce défi.

« Si ces modèles n’avaient pour seule consigne que de lire, ils devaient faire preuve d’ingéniosité pour dissimuler des informations », a déclaré Kenneth Russell DeGraff, développeur de logiciels et ancien assistant parlementaire. Il a indiqué avoir trouvé de telles informations sur au moins dix sites. OpenAI n’a pas expliqué publiquement comment ni pourquoi ses agents IA exploitaient des plateformes tierces comme forums de discussion improvisés.

Les estimations du nombre de sites concernés divergeaient et Reuters n’a pas pu vérifier individuellement chacune de ces affirmations. Mais toutes les personnes interrogées s’accordaient à dire que ce nombre dépassait la dizaine. OpenAI a confirmé que ses agents IA ont bien détourné le wiki allemand DseWiki.

La réaction d'OpenAI et le mécontentement des gestionnaires

Bien que ce comportement ne relève pas du piratage informatique, la révélation selon laquelle de nombreux agents IA d’OpenAI ont contourné leurs propres restrictions pour ouvrir des canaux de communication sur autant de sites différents a suscité des inquiétudes quant à la capacité croissante des modèles d’IA et au manque de transparence des entreprises qui les développent. En outre, le laboratoire aurait gardé cela secret pendant des mois.

OpenAI n’a pas répondu aux questions concernant le nombre de sites différents utilisés par ses agents IA pour communiquer ni expliqué pourquoi elle avait gardé cette activité secrète pendant des mois. Dans un communiqué, OpenAI a indiqué qu’il menait un examen plus large de l’activité de ses agents IA et qu’il n’avait jusqu’à présent identifié « aucune autre activité » présentant la même gravité ou la même ampleur que celle de Hugging Face.

L'intrusion des agents IA d'OpenAI dans Hugging Face avait attiré l’attention du monde entier et suscité des inquiétudes quant à une perte de contrôle sur sa propre technologie. OpenAI a ajouté qu’il travaillait à la mise au point d’un cadre permettant de signaler les « désalignements », tout au long des phases d’entraînement, d’évaluation et de déploiement des modèles d’IA, et qu’il le rendrait public « prochainement ». Il n'a pas précisé de date.

Ce n'est qu'après que Reuters a publié son rapport qu'OpenAI a pris contact avec certains responsables de sites touchés, dont l'Université de Toronto et Helmut Leitner, développeur de logiciels à la retraite qui fournit des services d’hébergement et des logiciels à six des plateformes wiki concernés. Helmut Leitner fournit notamment des services informatiques au wiki allemand DseWiki, identifié en premier lieu par le groupe de Sydney Von Arx.

Helmut Leitner a reçu un courriel non signé de la part d'OpenAI, mais a déclaré : « son contenu était très en deçà de ce que j'attendais d'OpenAI ». Il a ajouté que l’exploitant de DseWiki avait passé des heures à réparer les dégâts causés par les agents IA d’OpenAI, mais a souligné qu’il était important de ne pas rejeter la responsabilité de ces problèmes sur l’IA, car celle-ci ne faisait que « remplir la mission pour laquelle elle avait été créée ».

« La responsabilité n'incombe pas à une machine prétendument morale, mais aux personnes et aux organisations qui la dirigent », a déclaré le développeur de logiciels. En ce qui concerne le courriel qu'il a reçu de la part d'OpenAI, il a déclaré qu’il préférait ne pas répondre aux questions visant à savoir s’il avait été en contact avec les autorités au sujet de cette affaire. De son côté, l’université Vanderbilt a décidé de mener sa propre enquête.

L'Alabama a ouvert une enquête après l'attaque d'Hugging Face

Face à la gravité de cette faille de sécurité, le procureur général de l'État de l'Alabama, Steve Marshall, a annoncé le lancement d'une enquête officielle et a émis une assignation à comparaître (subpoena) à l'encontre d'OpenAI et de son PDG Sam Altman. Le gouvernement de l'État cherche à déterminer si « l'incapacité ou le refus d'OpenAI de garantir la sécurité de ses produits d'IA » a violé les lois locales sur la protection des consommateurs.

« Cette fuite au sein du laboratoire a montré que les pires craintes des habitants de l’Alabama et des Américains concernant l’intelligence artificielle ne sont pas seulement théoriques », a déclaré le procureur général Steve Marshall. « Notre enquête vise à mettre au jour les faits et à aborder les dures réalités concernant les menaces auxquelles les entreprises et les consommateurs sont confrontés en raison d’une intelligence artificielle incontrôlée ».

L'enquête cible ce que le procureur qualifie de manque flagrant de surveillance et de protections adéquates de la part de l'entreprise. L'attitude d'OpenAI face à cet incident a été critiquée pour sa légèreté, des critiques résumant sa posture de la manière suivante : « c'est de notre faute, mais vous devez admettre que c'est plutôt cool, non ? ». L'assignation exige la transmission d'une quantité considérable d'informations d'ici le 14 septembre 2026.

Cette demande d'informations inclut tous les documents relatifs au piratage, l'identité des employés ayant entraîné le modèle, les alertes de sécurité internes émises avant l'incident, ainsi que les mesures de sécurité alors en vigueur. OpenAI doit également évaluer l’ensemble des dommages causés par le piratage.

OpenAI et l'ensemble de l'industrie de l'IA font désormais l'objet d'une surveillance croissante. Steve Marshall fait partie des 15 procureurs généraux d'États républicains qui ont écrit à OpenAI pour lui demander de conserver les documents relatifs au piratage de Hugging Face survenu en juillet. La lettre demandait également à OpenAI de « cesser et de s’abstenir immédiatement » de toute évaluation interne en matière de cybersécurité.

Source : billets de blogue (1, 2, 3), OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des actions des agents IA d'OpenAI sur les sites Web tiers ?
Les critiques mettent en cause la faiblesse des protocoles de sécurité chez OpenAI. Qu'en pensez-vous ?

Voir aussi

L'IA échappe à tout contrôle chez OpenAI : 3 700 agents IA rebelles détournent un wiki public allemand et en font un forum secret. Ils y publient 18 000 messages et effectuent plus de 15 000 modifications

OpenAI reconnaît sa responsabilité dans l'incident au cours duquel des agents IA ont pris le contrôle d'un wiki allemand, et a même cherché à le dissimuler, tout en admettant son incapacité

Le directeur scientifique d'OpenAI estime que les laboratoires d'IA devraient ralentir, « personne n'est préparé aux conséquences », aucun n'ayant encore résolu les problèmes d'alignement et de surveillance

Vous avez lu gratuitement 84 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.