Une version expérimentale de ChatGPT s’échappe de son environnement de test et cible une autre entreprise d’IA
Une version expérimentale de ChatGPT a contourné les protections mises en place, quitté son environnement de test et lancé une attaque contre une autre entreprise spécialisée dans l’intelligence artificielle, a révélé OpenAI.
Dans un billet publié sur son blog, OpenAI explique qu’elle évaluait les capacités de certains de ses modèles les plus avancés dans un environnement contrôlé lorsque l’un d’eux est parvenu à sortir du cadre prévu, à accéder à Internet et à pénétrer dans la plateforme Hugging Face afin de tenter d’atteindre l’objectif qui lui avait été assigné.
OpenAI a qualifié l’incident de « cyberattaque sans précédent impliquant des capacités offensives de pointe », ajoutant que l’entreprise renforçait désormais ses mécanismes de sécurité.
L’incident s’est produit lors des tests d’un nouveau modèle placé dans un « environnement hautement isolé » disposant d’un accès Internet extrêmement restreint. Selon OpenAI, le modèle aurait compris qu’il était évalué à l’aide d’ExploitGym, une plateforme destinée à mesurer l’efficacité potentielle d’un système d’IA dans des scénarios d’attaque informatique. Il aurait alors entrepris de sortir de son environnement de confinement afin de récupérer des informations relatives au test et, en pratique, de contourner le processus d’évaluation.
## Un adolescent sur quatre se tourne vers les chatbots d’IA pour un soutien psychologique, selon une étude
Hugging Face, plateforme largement utilisée pour héberger des modèles de langage open source et des ensembles de données, avait déjà suscité de vives réactions dans la communauté de la cybersécurité après avoir révélé, dans un billet publié la semaine dernière, avoir été victime d’un piratage « différent de tout ce que nous avions rencontré jusqu’à présent », précisant que l’attaque avait été « menée de bout en bout par un système autonome d’agents d’intelligence artificielle ».
Dans un message publié sur X, le cofondateur de Hugging Face, Clément Delangue, a indiqué que l’entreprise soupçonnait initialement qu’un laboratoire de pointe en IA était à l’origine de l’attaque « compte tenu du niveau de sophistication de l’agent ». « Il s’avère que c’était bien le cas ! », a-t-il écrit, ajoutant : « Il est assez stupéfiant de constater que tout cela s’est déroulé de manière entièrement autonome. »
La révélation d’OpenAI selon laquelle ses propres modèles avancés sont à l’origine de l’intrusion, alors même qu’ils étaient placés dans ce qu’elle décrit comme « un environnement hautement isolé », risque d’alimenter davantage les inquiétudes concernant la puissance et les risques associés aux modèles d’IA de nouvelle génération.
La révélation d’OpenAI selon laquelle ses propres modèles avancés sont à l’origine de l’intrusion, alors même qu’ils étaient placés dans ce qu’elle décrit comme « un environnement hautement isolé », risque d’alimenter davantage les inquiétudes concernant la puissance et les risques associés aux modèles d’IA de nouvelle génération.
« Nous entrons dans une nouvelle phase de la cybersécurité, où les organisations doivent faire face non seulement aux cybercriminels, mais aussi aux entreprises développant les IA les plus avancées », estime Jake Moore, conseiller mondial en cybersécurité chez ESET. « L’absence quasi totale d’intervention humaine constitue une étape majeure, et plutôt préoccupante. Ces algorithmes sont entraînés sur des milliards de lignes de données ; dès lors, si des vecteurs d’attaque s’y trouvent, ils peuvent être exploités très rapidement pour mener une cyberattaque. »
« Le fait qu’un modèle ait pu s’échapper d’un environnement de test montre qu’il reste des failles à corriger. Le confinement lors des phases d’évaluation est aussi essentiel que le modèle lui-même. Malheureusement, cela pourrait préfigurer l’avenir. Les équipes de sécurité doivent partir du principe que des cybercriminels auront bientôt, voire disposent déjà, de capacités autonomes comparables. »
Katie Moussouris, directrice générale de Luta Security, considère quant à elle que cet épisode annonce une nouvelle génération d’incidents de sécurité. Selon elle, les modèles actuels ressemblent à « des poulpes exceptionnellement intelligents capables de s’échapper de n’importe quel enclos, dotés d’innombrables tentacules et capables de se faufiler partout ».
Elle estime que « les laboratoires et les organismes publics chargés de l’évaluation doivent développer des capacités de confinement, de surveillance et de notification des parties affectées lorsqu’une IA parvient à s’échapper une nouvelle fois, idéalement avant qu’un tiers ne subisse des dommages. À l’heure actuelle, ces mécanismes n’existent pas. »
Pour Matt Suiche, ingénieur au sein de l’entreprise Tolmo, spécialisée dans la cybersécurité appliquée aux agents d’intelligence artificielle, cet incident démontre que les modèles les plus avancés « réduisent progressivement l’écart avec les attaquants les plus sophistiqués ».
Il souligne toutefois que les techniques décrites dans le billet d’OpenAI ne sont pas réservées aux seuls laboratoires de recherche de pointe.
« C’est exactement le type de résultats que nous observons déjà en interne avec nos propres agents », explique-t-il. « Nous n’avons même pas besoin d’utiliser les modèles les plus récents pour obtenir ce genre de performances. »
