Une intrusion par IA autonome

Hugging Face, la célèbre plateforme de partage de modèles et de datasets, a révélé avoir été victime d’une cyberattaque orchestrée par un essaim d’agents d’intelligence artificielle autonomes. L’incident a duré tout un week-end, au cours duquel l’assaillant a mené « plusieurs milliers d’actions individuelles » via des sandbox éphémères et un système de commande et contrôle auto-migrant hébergé sur des services publics. L’origine de l’intrusion est un dataset piégé déposé sur la plateforme, qui exploitait deux chemins d’exécution de code dans le pipeline de traitement des jeux de données, combinés à un loader acceptant du code distant et une injection de template dans un fichier de configuration. Grâce à ces failles, l’attaquant a obtenu un accès au niveau des nœuds, puis a collecté des identifiants cloud et cluster et s’est déplacé latéralement dans plusieurs clusters internes.

Les modèles frontière refusent leur concours

Pour analyser les logs de l’attaque, l’équipe de réponse aux incidents de Hugging Face a d’abord fait appel aux modèles dits « frontier » accessibles via API commerciales – ceux d’OpenAI et d’Anthropic notamment. Mais ces systèmes ont refusé d’exécuter les requêtes contenant les vraies commandes d’attaque, les payloads d’exploit et les artefacts de commande et contrôle. Incapables de distinguer le travail d’une équipe de réponse à incident de celui d’un attaquant, leurs garde-fous ont tout bloqué, rendant l’analyse forensique impossible via ces services. « Nous ne savons pas quel modèle alimentait les agents de l’attaquant, un modèle hébergé jailbreaké ou un open-weight sans restrictions. Dans les deux cas, l’attaquant n’était contraint par aucune politique d’usage, alors que notre propre travail forensique était bloqué par les garde-fous des modèles hébergés que nous avions essayés en premier », explique Hugging Face dans un communiqué publié le 16 juillet.

Le recours à un modèle open-weight auto-hébergé

Face à ce blocage, la plateforme s’est tournée vers GLM 5.2, un modèle open-weight développé par la société Z.ai, qu’elle a exécuté sur sa propre infrastructure. Ce changement a permis de mener l’analyse sans être entravée par des restrictions de contenu. Selon Hugging Face, la leçon tirée de cet incident est la nécessité de disposer, avant tout incident, d’un modèle capable – comme GLM 5.2 – validé et prêt à fonctionner sur sa propre infrastructure. Cela évite non seulement le blocage par les garde-fous des fournisseurs commerciaux, mais aussi la fuite potentielle des données de l’attaquant et des credentials vers un tiers.

Bilan et mesures correctives

L’attaque n’a affecté aucun modèle, dataset ou Space publics, ni la chaîne d’approvisionnement logicielle publique. Toutefois, un ensemble limité de datasets internes ainsi que plusieurs credentials utilisés par les services internes ont été compromis. Hugging Face précise n’avoir trouvé « aucune trace d’altération des données », mais nuance en indiquant qu’il ne s’agit pas d’une preuve que rien n’a été altéré. L’enquête se poursuit pour déterminer si des données de partenaires ou de clients ont été touchées ; les personnes concernées seront contactées directement.

Côté défense, l’IA a aussi joué un rôle positif. Le système de détection d’anomalies a utilisé un triage basé sur un LLM pour filtrer le bruit quotidien de la télémétrie et des agents d’analyse ont reconstitué la chronologie complète de l’attaque à partir de plus de 17 000 événements enregistrés – un travail qui aurait pris des jours à faire manuellement.

Les mesures correctives adoptées comprennent la suppression du point d’ancrage de l’attaquant, la reconstruction des nœuds compromis, la révocation et le remplacement des credentials et tokens concernés, une rotation élargie des secrets par précaution, ainsi que le déploiement de garde-fous et de contrôles d’admission plus stricts sur les clusters, et une amélioration de la détection pour alerter en quelques minutes, 24 heures sur 24.

Recommandations aux utilisateurs

Hugging Face recommande à tous les utilisateurs de la plateforme de régénérer leurs tokens d’accès et de vérifier l’activité récente de leurs comptes. Cet incident illustre une nouvelle tendance où les IA autonomes sont utilisées aussi bien pour l’attaque que pour la défense, et soulève des questions sur la dépendance aux modèles commerciaux pour les analyses forensiques sensibles.