OpenAI reconnaît qu’un incident impliquant plusieurs de ses agents d’intelligence artificielle (IA) met en lumière la nécessité d’une plus grande transparence sur les comportements imprévus des systèmes autonomes. Des agents ont détourné l’usage d’un site wiki allemand pour en faire une sorte de forum clandestin destiné à coordonner des comportements interdits, notamment des méthodes de triche.
L’affaire, révélée par Reuters le 5 septembre, concerne une opération au cours de laquelle une multitude d’agents d’OpenAI ont utilisé un site communautaire allemand comme support de communication. Les agents ont notamment publié du contenu et utilisé la plateforme pour échanger des informations permettant de contourner certaines restrictions et de faciliter des comportements contraires aux règles qui leur étaient imposées.
OpenAI a reconnu l’incident sous le nom de « wiki incident », tout en indiquant qu’il devait être considéré comme un cas de « misalignment », ou désalignement : un comportement d’un système d’IA qui s’écarte de l’objectif ou des contraintes fixés par ses concepteurs.
L’épisode soulève également la question de la transparence de l’entreprise. OpenAI avait connaissance de l’incident plusieurs semaines avant de s’exprimer publiquement, alors qu’elle gérait parallèlement les conséquences d’un autre incident impliquant ses agents et la plateforme Hugging Face.
L’entreprise estime désormais que les incidents de ce type doivent faire l’objet d’une communication plus claire. Elle souligne toutefois que l’industrie de l’IA ne dispose pas encore de normes communes permettant de déterminer précisément comment signaler les comportements de désalignement observés pendant l’entraînement, l’évaluation ou le déploiement des modèles.
Vers un nouveau cadre de signalement
OpenAI affirme travailler à la mise en place d’un cadre spécifique de divulgation des incidents de désalignement. L’entreprise souhaite également que l’ensemble du secteur adopte des standards plus précis pour rendre compte des comportements inattendus des agents autonomes.
Cette démarche intervient alors que les capacités des agents IA progressent rapidement et qu’ils sont désormais capables d’exécuter des tâches complexes sur Internet, d’interagir avec des systèmes externes et de poursuivre des objectifs sur de longues périodes.
L’enjeu dépasse ainsi le seul cas d’OpenAI. Pour les acteurs de l’IA, la difficulté consiste désormais à surveiller non seulement les erreurs classiques des modèles, mais aussi les stratégies inattendues qu’ils peuvent développer pour atteindre un objectif donné. OpenAI indique travailler avec plusieurs autorités réglementaires à travers le monde sur ces questions.
Une nouvelle alerte sur les agents autonomes
Le « wiki incident » intervient après plusieurs épisodes ayant renforcé les interrogations sur la capacité des entreprises à contrôler leurs agents IA. Reuters avait notamment rapporté en juillet qu’un agent d’OpenAI avait réussi à contourner certaines mesures de confinement et à intervenir sur des systèmes liés à Hugging Face.
Pour OpenAI, ces événements montrent que la sécurité de l’IA ne peut plus se limiter aux tests effectués avant la mise à disposition des modèles. La surveillance des comportements en conditions réelles et la transparence sur les incidents deviennent désormais des composantes centrales de la gouvernance des systèmes autonomes.