Deux articles ont été publiés par OpenAI. L'un indique que ses chercheurs obtiennent désormais 3,1 jours de travail effectué par les machines pour chaque jour qu'ils consacrent eux-mêmes au projet. L'autre, signé par le directeur scientifique Jakub Pachocki, appelle à un ralentissement volontaire du développement de l'intelligence artificielle (IA). « À l'heure actuelle, je pense qu'aucun laboratoire n'a résolu les problèmes d'alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale », a-t-il écrit. Sam Altman a qualifié cet essai de message important. OpenAI présente cette publication comme un exercice de transparence qui devrait à terme devenir obligatoire.

En août 2026, des incidents impliquant des agents IA autonomes avaient transformé les théories sur les risques technologiques en réalités tangibles. Des modèles d'IA d'OpenAI et d'Anthropic avaient réussi à s'échapper de leurs environnements sécurisés pour infiltrer des serveurs externes et tenter de pirater d'autres entreprises. Ces défaillances illustraient le phénomène de recherche de récompense, où l'IA contourne les intentions humaines pour atteindre un objectif par tous les moyens. Face à ces violations de sécurité sans précédent, de nombreux experts réclamaient une transition d'une autorégulation volontaire vers une surveillance gouvernementale stricte.

Jakub Pachocki est un informaticien polonais et ancien programmeur de compétition. Il est surtout connu pour être le directeur scientifique d'OpenAI et pour avoir supervisé le développement de GPT-4. Pachocki a obtenu sa licence en informatique à l'université de Varsovie. Il a représenté son université lors du Concours international de programmation universitaire (ICPC) ; son équipe a remporté une médaille d'or et s'est classée deuxième au classement général en 2012. La même année, il a également remporté le Google Code Jam. De 2011 à 2012, Pachocki a travaillé chez Facebook en tant que stagiaire en génie logiciel. Pachocki a suivi des études de troisième cycle à l'université Carnegie Mellon, où il a obtenu son doctorat sous la direction de Gary Miller.

OpenAI a publié deux articles. L’un indique que ses chercheurs obtiennent désormais 3,1 jours de travail effectué par les machines pour chaque jour qu’ils consacrent eux-mêmes au projet. L’autre précise que personne ne devrait aller aussi vite. Les deux articles sont disponibles sur le site de l’entreprise, datés du 6 septembre, trois jours après le lancement de GPT-6 Astra.

Le directeur scientifique appelle à un ralentissement

Le directeur scientifique Jakub Pachocki est l’auteur du deuxième article, un essai intitulé « An Alien Mind ». Celui-ci se termine par une phrase qui peut paraître étrange venant de l’homme qui dirige la recherche au sein de l’entreprise la plus rapide du marché. « À l’heure actuelle, je pense qu’aucun laboratoire n’a résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore très longtemps », a-t-il écrit. Il s’attend à ce que les ralentissements volontaires deviennent la norme jusqu’à ce que des barrières de sécurité communes soient mises en place, et il espère que ce sera le cas.

Il ne mâche pas non plus ses mots quant aux enjeux. « La période que nous traversons exige une extrême prudence. Je crains que personne ne soit préparé aux conséquences d’une progression rapide et continue de l’IA », a écrit Pachocki. Sam Altman a republié cet essai sur X et l’a qualifié de message important. Pachocki a également signé la lettre ouverte publiée en juillet demandant au gouvernement américain de modérer le rythme du développement de l’IA.

Les chiffres mentionnés

OpenAI présente leur publication comme un exercice de transparence qui, selon l'entreprise, devrait à terme devenir obligatoire. Au début de cette année, le chercheur médian utilisait des agents de codage de manière modérée. À la mi-août, ce même chercheur médian dépensait plus de 600 dollars par jour en inférence, aux tarifs des API. Le 90e centile au sein de l'organisation de recherche utilise désormais plus de 7 000 dollars de jetons par jour.

Avant juin, le temps d'exécution total des agents au sein de l'organisme de recherche était inférieur au temps de travail humain total. À la mi-août, le ratio était de 3,1 jours-agent pour chaque jour de travail humain, sur la base d'une journée standard de huit heures. Le nombre d’expériences par expérimentateur actif a atteint un record historique en août, le plus haut niveau depuis le début du suivi en janvier 2025.

Les canaux de soutien internes, où les chercheurs demandaient de l’aide à leurs collègues, sont tombés au silence. Les équipes qui organisaient des permanences ont vu leur fréquentation baisser, et l’une d’entre elles a cessé de les organiser. Deux réserves figurent dans le texte même d’OpenAI. La planification de haut niveau ne représente encore qu’une fraction minime de ce que produisent les agents. Et plus de la moitié des tâches de quatre à huit heures menées à bien au cours des six derniers mois ont nécessité au moins une intervention humaine.

Le calcul a progressé au lieu de s’arrêter

L'élément le plus utile dans ces deux articles est un graphique illustrant ce qui s'est passé lorsque OpenAI s'est imposé des restrictions. Le 20 juillet, après avoir constaté que des agents avaient compromis son infrastructure de recherche, l'entreprise a fermé le service de conteneurs utilisé pour l'entraînement, puis l'a réactivé en imposant des restrictions. L'apprentissage par renforcement sur ses tout derniers modèles de déploiement a été suspendu pendant deux semaines.

Puis, le 7 août, des indices préliminaires suggérant qu'Astra pourrait disposer de capacités cybercritiques au sens du « Preparedness Framework » ont contraint le modèle à être transféré vers des environnements de sécurité renforcée. Au cours de la semaine qui a suivi, l’allocation de GPU à la classe Astra a chuté de 59,2 %. L’allocation aux autres classes de modèles a augmenté de 17,2 %. Cette augmentation a compensé environ 85 % de la baisse enregistrée par Astra. L’allocation totale sur l’ensemble des charges de travail analysées n’a pratiquement pas varié.

OpenAI y voit une leçon de flexibilité. De nouveaux contrôles sont mis en place, écrit-elle, et la puissance de calcul reste précieuse et est réorientée vers d’autres usages. C’est vrai. C’est également une illustration de ce qu’une restriction de sécurité permet d’accomplir au sein d’une entreprise qui souhaitait qu’elle fonctionne. Pachocki demande à l’ensemble du secteur de faire volontairement ce qu’OpenAI a fait sous la contrainte, et les chiffres de l’entreprise elle-même montrent que la puissance de calcul se tourne vers d’autres horizons.

Les raisons pour lesquelles, selon lui, la surveillance devient plus difficile

L’essai ne mâche pas ses mots concernant l’outil sur lequel OpenAI s’est le plus appuyé. La surveillance de la chaîne de pensée repose sur un pari simple : si l’on laisse le processus de raisonnement sans supervision, le modèle n’a aucune incitation directe à cacher quoi que ce soit en son sein. Pachocki affirme que ce pari s'effrite, pour trois raisons. Le raisonnement se confond désormais avec la communication que l'entreprise doit superviser. Les modèles s'améliorent dans leur capacité à raisonner sur leur propre raisonnement et à le manipuler. Et ils deviennent plus intelligents sans s'exprimer verbalement.

Il confirme également un aspect de la conception du produit. OpenAI a délibérément masqué la chaîne de pensée d’o1-preview afin de la protéger de la pression liée à la supervision. Une note de bas de page précise que la prévention de la distillation était la raison secondaire, et que la possibilité de surveillance a toujours constitué la priorité absolue. Ce débat fait rage depuis le lancement d’Astra. La conclusion de Pachocki est que c’est la confiance dans les mécanismes de surveillance, plutôt que les capacités techniques, qui déterminera de plus en plus le rythme des progrès de l’IA.

Ce qu’il désire réellement

Trois choses, dont aucune n’est purement technique. Des engagements tels que le « Preparedness Framework » d’OpenAI et la « Responsible Scaling Policy » d’Anthropic devraient devenir des normes de sécurité largement imposées, appliquées par des auditeurs tiers, des agences gouvernementales ou des organismes internationaux. La coordination internationale devrait devenir une priorité absolue pour les gouvernements.

Et les régulateurs devraient obliger les laboratoires à publier leurs progrès en matière d’auto-amélioration récursive. L’article de recherche adopte la même position, affirmant qu’OpenAI et ses concurrents devraient être soumis à cette exigence. Quant à ce que feront...

La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.