La société Anthropic, développeur du modèle d'intelligence artificielle Claude, a publié un appel à une coordination mondiale pour freiner la course aux systèmes d'IA les plus puissants. Dans un billet de blog publié jeudi, l'entreprise estime qu'un ralentissement temporaire du développement des modèles dits « de frontière » serait bénéfique pour la société, permettant aux structures sociales et aux travaux d'alignement de suivre le rythme des innovations.

Le texte, cosigné par Marina Favaro, responsable de l'institut de recherche interne, et Jack Clark, responsable des politiques, met en garde contre l'émergence prochaine d'une capacité d'« auto-amélioration récursive » (recursive self-improvement). Ce concept désigne des systèmes d'IA capables d'accroître leurs propres compétences sans apport humain direct, notamment en réécrivant leur propre code informatique. « Nous n'en sommes pas encore là, et l'auto-amélioration récursive n'est pas inévitable, mais elle pourrait arriver plus tôt que la plupart des institutions ne sont préparées », écrivent les deux dirigeants. Selon les informations communiquées par Jack Clark, certains modèles pourraient atteindre ce stade d'ici deux ans.

Les conditions d'une trêve

Anthropic insiste sur le fait qu'une telle pause ne pourrait fonctionner que si elle est acceptée simultanément par les grandes entreprises d'IA et les États les plus impliqués, en particulier les États-Unis et la Chine. L'entreprise compare l'enjeu à celui du contrôle des armements nucléaires, mais souligne que l'entraînement des modèles est beaucoup plus discret que la construction de silos de missiles, rendant la vérification bien plus complexe. « Sans un mécanisme de coordination global, les entreprises et les gouvernements devront prendre des décisions difficiles en matière de sécurité sous la pression de la concurrence et de la géopolitique », prévient le billet.

L'appel intervient dans un contexte de vives critiques envers la démarche d'Anthropic. Plusieurs acteurs de l'industrie et responsables de l'administration américaine estiment que l'entreprise exagère les risques les plus extrêmes, et y voient une manœuvre pour ralentir ses concurrents sous couvert de sécurité. Le président Donald Trump a toutefois signé un décret cette semaine imposant un examen préliminaire de trente jours pour les modèles d'IA les plus puissants avant leur diffusion publique. Par ailleurs, Trump a évoqué la possibilité d'une coopération avec la Chine sur les questions de sécurité liées à l'IA, lors de son récent déplacement à Pékin.

Un acteur financier de premier plan

Anthropic n'en est pas à son premier signal d'alarme, mais sa position sur le marché donne du poids à ses déclarations. La société a récemment bouclé une levée de fonds de 65 milliards de dollars, portant sa valorisation à près de 1 000 milliards. Elle a également déposé un dossier confidentiel auprès des autorités boursières en vue de son introduction en Bourse. Selon des données internes, son rythme annualisé de revenus devrait atteindre 50 milliards de dollars d'ici la fin du mois, contre 9 milliards fin 2025. Anthropic est désormais considérée comme l'un des leaders de la compétition face à OpenAI, le développeur de ChatGPT, qui prépare également son entrée en Bourse.

Dans les mois à venir, Anthropic prévoit de réunir des représentants gouvernementaux, des scientifiques, des groupes de défense et des entreprises concurrentes pour tenter d'esquisser un système de coordination international. L'entreprise espère ainsi ouvrir la voie à un accord permettant de concilier la course à l'innovation et la maîtrise des risques existentiels associés à l'intelligence artificielle.