La mémoire, nouveau goulot d'étranglement de l'IA : une analyse de 2007 prédisait la crise actuelle

Alors que l'industrie de l'intelligence artificielle (IA) est secouée par l'essor soudain de modèles chinois économiques et des craintes de dumping technologique, un autre débat émerge, plus fondamental, sur les véritables limites de cette technologie. Un essai publié en 2007, intitulé « Ce que tout programmeur devrait savoir sur la mémoire », rédigé par Ulrich Drepper, un développeur du noyau Linux, refait surface et éclaire d'un jour nouveau la crise actuelle. Son constat est simple : la puissance de calcul n'est pas le principal frein aux progrès de l'IA ; le vrai goulot d'étranglement est la bande passante mémoire.

Une prédiction vieille de près de vingt ans

Dans cet essai, Drepper décrivait ce qu'il appelait le « mur de la mémoire » (Memory Wall). Il expliquait que la vitesse des processeurs (CPU) augmentait de manière exponentielle, tandis que celle de la mémoire ne suivait pas. L'écart entre ce que le processeur pouvait calculer et ce qu'il pouvait recevoir en données se creusait chaque année. Pour lui, le lieu où résident les données (cache, RAM, disque dur) détermine la vitesse d'exécution d'un programme. Cette analyse, conçue à une époque où l'IA se limitait à des moteurs d'échecs, s'applique aujourd'hui directement aux architectures modernes de l'IA.

Aujourd'hui, la hiérarchie de la mémoire s'est déplacée. Pour les GPU (processeurs graphiques) qui font tourner les modèles d'IA, la Hiérarchie se décline en HBM (High Bandwidth Memory) et en SRAM (Static Random Access Memory) intégrée au GPU. Le HBM agit comme la mémoire vive principale, tandis que la SRAM joue le rôle de cache. Chaque fois qu'un modèle génère un nouveau token (unité de base d'un mot), il doit déplacer des gigaoctets de poids du HBM vers la SRAM, des millions de fois par seconde. Ce mouvement de données est devenu le facteur limitant, à la fois en termes de temps et de consommation d'énergie.

La puissance de calcul ne suffit pas

L'essai de Drepper suggère que l'industrie de l'IA s'est concentrée sur le mauvais indicateur. Les sauts en puissance de calcul brute (TFLOPS) sur les nouvelles puces, comme la Blackwell de Nvidia, dépassent de loin les gains en bande passante mémoire. Les opérations de multiplication de matrices, que les experts suivent de près, sont devenues relativement bon marché ; le coût réel réside dans le déplacement des données pour effectuer ces calculs. Ainsi, la « pénurie de calcul » qui a dominé les discussions des entreprises ce printemps n'était, en grande partie, qu'une pénurie de bande passante mémoire déguisée.

Les solutions existent déjà

Les chercheurs et les ingénieurs ont trouvé des solutions qui, rétrospectivement, suivent les principes de Drepper. L'une des avancées les plus significatives, l'attention flash (FlashAttention), n'a pas réduit la complexité mathématique des modèles, mais a réécrit la façon dont l'attention est calculée. Cette méthode permet de garder les données dans la SRAM du GPU aussi longtemps que possible, minimisant les allers-retours vers la HBM, plus lente. C'est une application directe du concept de « localité des références » que prônait Drepper en 2007.

Parallèlement, la tendance aux petits modèles de langage (Small Language Models, SLM), comme les gammes Llama, Phi ou Mistral, qui fonctionnent sur du matériel standard, reflète la même logique. Si vous ne pouvez pas déplacer un modèle de 70 milliards de paramètres sur le bus assez rapidement, vous réduisez la taille du modèle jusqu'à ce qu'il tienne dans la hiérarchie de cache. Pour un ingénieur logiciel travaillant sur le terrain, des modèles comme Sonnet et Opus sont efficaces non pas parce qu'ils sont plus intelligents que les modèles de pointe, mais parce que ces derniers sont trop gourmands en mémoire pour être déployés à l'échelle que le marché exige.

Implications pour l'avenir

« Les lois de la physique du matériel dictent les limites du logiciel », écrivait Ulrich Drepper. Cette phrase, que l'industrie de l'IA semble redécouvrir aujourd'hui, implique que les entreprises qui domineront la prochaine décennie ne seront pas celles qui posséderont le plus grand nombre de FLOPS, mais celles qui internaliseront la leçon de 2007. Les puces ont changé, mais le mur de la mémoire, lui, est resté.