De petites IA qui se comportent comme des vers informatiques et se répliquent sans intervention humaine pour devenir impossibles à arrêter: c'est ce que veut éviter Anthropic et cela pourrait arriver "d'ici la fin d'année"

Publié aujourd'hui à 19h15

Des modèles d'intelligence artificielle capables de se comporter comme des malwares et de s'autorépliquer sur des appareils connectés? Le scénario paraît digne d'une nouvelle de science-fiction mais ne serait pas si lointain, selon des chercheurs d'Anthropic, maison mère de l'IA Claude.

Dans un article de recherche publié sur son blog, lundi 12 octobre, la firme d'intelligence artificielle Anthropic avertit sur les risques que pourraient représenter des modèles pouvant adopter le comportement de vers informatiques.

Ces logiciels malveillants ont pour particularité de se propager en autonomie sur les machines qu'ils arrivent à infecter. Leur danger repose sur la grande difficulté à restreindre leur propagation, ou dans le cas d'une IA avec ce comportement, d'appuyer sur un bouton "off".

Infecter des objets connectés du quotidien

Anthropic introduit l'idée qu'au lieu de se reposer sur des data centers, des modèles de petite taille (environ 9 milliards de paramètres) seraient capables de se répliquer sur différents objets connectés, des smart TV aux montres et autres réfrigérateurs intelligents. Des équipements moins bien sécurisés que des ordinateurs et des centres de données. Et surtout des appareils que, contrairement aux vers informatiques, les IA seraient capables d'"identifier" et de choisir.

Le Club : Open AI piraté par l'IA d'Anthropic – 18/09

28:46

Pour leur démonstration, les chercheurs d'Anthropic ont testé les capacités de réplication de petits modèles d'IA sur une quinzaine de téléviseurs connectés bon marché. Et il s'avère que toutes les étapes requises ont pu être complétées, même si ces modèles ont encore du mal à finir le processus de réplication de bout en bout. Lorsque les tests ont été simplifiés, et que certaines mesures de sécurités ont été levées, un modèle plus puissant a cependant pu se répliquer en entier.

Anthropic dessine ici les contours d'un futur possible et mène des recherches pour éviter des scénarios dont le potentiel est encore difficile à imaginer, tout en chercna t des pistes pour contrecarrer ces "réplicateurs".

Ses chercheurs établissent des scénarios, mesurent les étapes réalisées, observent la capacité des modèles à les franchir, "leur capacité d'apprentissage et d'adaptation" ou envisagent les différentes méthodes que les IA pourraient suivre pour se propager. Ainsi, un petit modèle pourrait compromettre sa machine hôte pour commencer, mais il pourrait également voler des accès pour se créer de nouveaux hôtes.

Un risque encore hypothétique

Ce sur quoi Anthropic insiste, c'est que s'il n'est pas possible pour l'instant à une IA de se répliquer et d'infecter des objets connectés, c'est un nouveau pan de la cybersécurité qui s'ouvre. Selon les auteurs de l'article, si les progrès de l'intelligence artificielle continuent à leur rythme actuel, les modèles les plus simples pourraient se répliquer d'ici "quelques mois" et même pour être plus précis "d'ici la fin de l'année".

Un avertissement doublé d'un appel à plus de sécurité de la part d'Anthropic, dont le patron, Dario Amodei, plaide paradoxalement depuis le mois dernier pour un ralentissement du développement des modèles d'IA.

Sujets liés :