Lors du SAP Sapphire 2026 à Madrid, Philipp Herzig, le directeur technique (CTO) de SAP, a livré une analyse détaillée des défis que représente le déploiement de l’intelligence artificielle générative dans des environnements critiques pour les entreprises. Contrairement aux usages grand public où une approximation peut être tolérée, les processus métier comme une clôture financière ou la maintenance d’éoliennes exigent des résultats exacts et déterministes. Pour répondre à cette exigence, SAP a développé une architecture sur mesure qui dépasse le simple couplage entre un grand modèle de langage (LLM) et les données de l’entreprise.

Le Knowledge Graph comme rempart contre les hallucinations

Selon Philipp Herzig, connecter directement un LLM tel que Gemini ou Claude à un système SAP comprenant environ 10 000 interfaces de programmation (API) est voué à l’échec. « Brancher un LLM seul ne fonctionne pas. Ça hallucine comme pas possible », a-t-il déclaré. « Peut-être que cela va marcher pour un ou deux résultats, mais les résultats ne sont pas viables à grande échelle. » Pour pallier ce problème, SAP mise sur un « Knowledge Graph » (graphe de connaissances) d’une ampleur colossale. Ce graphe agit comme une couche intermédiaire qui structure et relie les informations de l’entreprise, permettant au LLM de fournir des réponses précises sans divaguer.

La mémoire d’entreprise pour ancrer l’IA dans le contexte métier

Au cœur de ce dispositif se trouve également la « Company Memory » (mémoire d’entreprise), un composant qui stocke et contextualise les connaissances spécifiques à chaque organisation. Cette architecture en plusieurs couches vise à assurer que l’IA générative ne produise pas de résultats inventés, un risque majeur lorsque l’on utilise un modèle probabiliste seul. En encadrant le LLM par un graphe de connaissances et une mémoire d’entreprise, SAP entend transformer l’IA générative en un outil fiable pour les décisions commerciales sensibles.

Les défis de l’ingénierie derrière l’IA d’entreprise

L’approche de SAP illustre la complexité de l’ingénierie nécessaire pour intégrer l’IA dans des progiciels de gestion (ERP). Alors que les modèles de langage généralistes progressent rapidement, leur application dans un contexte professionnel nécessite des adaptations profondes. Le CTO de SAP a insisté sur le fait que l’approximation statistique intrinsèque aux LLM doit être compensée par des mécanismes de vérification et de structuration des données. Cette stratégie positionne SAP comme un acteur capable d’exploiter la puissance des modèles préexistants tout en garantissant la rigueur exigée par le monde de l’entreprise.

Une architecture pensée pour la fiabilité à grande échelle

Avec environ 10 000 API à gérer, la simple exposition d’un LLM à l’ensemble des données SAP se heurte à des problèmes de passage à l’échelle et de cohérence. Le Knowledge Graph joue ici un rôle clé en fournissant un schéma organisé qui guide le modèle vers les bonnes informations, réduisant drastiquement les risques d’hallucination. De son côté, la Company Memory enregistre les particularités de chaque client, rendant l’IA capable de raisonner sur des données spécifiques plutôt que de se contenter de connaissances générales. Ces deux briques, combinées, forment une infrastructure que Philipp Herzig juge indispensable pour que l’IA générative devienne un outil de confiance dans les processus critiques.

Ces explications, données en marge du SAP Sapphire 2026, confirment la direction prise par l’éditeur allemand pour faire de l’IA un levier de productivité sans sacrifier la précision. Alors que le secteur entier cherche à industrialiser l’IA générative, le retour d’expérience de SAP montre que la route passe par une ingénierie lourde plutôt que par l’ajout hâtif d’un LLM sur des systèmes existants.