Les entreprises font face à une escalade vertigineuse des coûts liés à l'intelligence artificielle, les dépenses pour l'utilisation d'API de modèles de langage pouvant doubler en quelques semaines. Ce phénomène a été illustré par un témoignage lors de la conférence FinOps X, tenue en juin. Selon Mike Eisenstein, responsable mondial de la pratique FinOps chez Accenture, un directeur informatique a rapporté que sa facture pour l'API Claude était passée de 250 000 dollars par jour à 400 000 dollars par jour en l'espace d'un seul mois. Cette donnée, bien que portant sur un cas particulier, reflète une tendance plus large qui inquiète les directions financières des grandes organisations.

Un cadre technologique traditionnel dépassé

Cette explosion des coûts s'explique en partie par l'inadaptation des infrastructures existantes aux charges de travail de l'IA. Les plateformes d'ingénierie de première génération (Platform Engineering 1.0) avaient été conçues pour des applications conteneurisées, des workflows centrés sur les développeurs et un rythme humain. Or, l'IA introduit des défis inédits. Tout d'abord, les prompts et les contenus récupérés deviennent des canaux d'entrée vivants et imprévisibles, ce qui fragilise les mécanismes traditionnels d'isolation des données. Ensuite, les charges de travail d'IA s'exécutent simultanément sur plusieurs plans : API SaaS, modèles hébergés affinés, inférence sur site, couches de récupération et agents outillés qui plongent dans les systèmes existants. Les plateformes n'avaient pas été conçues pour gouverner de manière cohérente un tel écosystème hétérogène.

Un déplacement de la frontière de confiance

Le troisième obstacle, et non des moindres, est le déplacement de la frontière de confiance. Celle-ci ne se situe plus au niveau de l'application, mais dans l'interaction entre modèles, outils, sources de données, humains et agents non humains qui les pilotent. Il ne s'agit pas d'une faille qu'un correctif logiciel pourrait combler, mais d'un problème structurel. À ces enjeux de sécurité et de gouvernance s'ajoute une fragmentation opérationnelle : les équipes adoptent indépendamment différents modèles, outils, approches de récupération et pratiques d'observabilité, rendant la maîtrise des coûts encore plus complexe.

Vers une nouvelle génération d'ingénierie des plateformes

Face à cette situation, Broadcom, en collaboration avec PlatformEngineering.org, a présenté un nouveau cadre intitulé « Platform Engineering 2.0 ». Ce cadre vise à permettre aux entreprises de construire, gouverner, isoler et exploiter les charges de travail d'IA sur des infrastructures qui n'étaient pas conçues pour elles, sans avoir à remplacer entièrement leurs investissements existants. Selon Broadcom, le framework s'appuie sur l'expérience collective de l'entreprise en matière d'IA, de logiciels et d'infrastructure cloud privé. Il se veut une évolution naturelle des fondations posées par la première génération d'ingénierie des plateformes, plutôt qu'une rupture.

Les observateurs du secteur suivent avec attention cette initiative, alors que de nombreuses entreprises cherchent des solutions pour endiguer la hausse des dépenses sans freiner l'innovation. L'enjeu est de taille : concilier l'adoption rapide de l'IA générative avec une gestion financière et opérationnelle rigoureuse. Le nouveau cadre pourrait offrir une piste de réponse, à condition que les organisations parviennent à le déployer à grande échelle.