Un développeur indépendant a mis au point un moteur d’inférence léger permettant de faire tourner le modèle de langage GLM-5.2, pourtant très volumineux, sur un ordinateur portable modeste. Le projet, baptisé Colibrì, repose sur une approche originale qui contourne les besoins matériels habituellement exigés par ce type de modèle.

GLM-5.2 est un modèle de type Mixture-of-Experts (MoE) comptant 744 milliards de paramètres au total. En temps normal, une telle taille nécessite plusieurs GPU ou des serveurs dotés de grandes quantités de mémoire. L’auteur de Colibrì a cherché à savoir s’il était possible de faire fonctionner ce modèle sur sa machine personnelle, un ordinateur à douze cœurs et 25 Go de RAM, sans carte graphique dédiée.

Une architecture conçue pour la frugalité

Le secret de Colibrì réside dans une gestion fine de la mémoire et du stockage. GLM-5.2 n’active qu’environ 40 milliards de paramètres par jeton traité, dont seulement 11 Go changent d’un jeton à l’autre (les experts routés). Le développeur a exploité cette propriété en conservant en mémoire vive la partie dense du modèle (attention, experts partagés, embeddings) après l’avoir convertie en précision int4, soit environ 9,9 Go. Les 21 504 experts routés, répartis sur 75 couches MoE, sont stockés sur le disque (environ 370 Go) et chargés à la demande via un système de cache LRU, avec la possibilité d’une « hot-store » optionnelle. Le cache du système d’exploitation sert de second niveau gratuit.

Le moteur lui-même tient dans un unique fichier C d’environ 1 300 lignes, sans dépendance à BLAS, Python ou GPU. L’auteur précise qu’il n’a testé son logiciel que sur son propre matériel, faute de disposer de machines plus puissantes pour des benchmarks étendus.

Des performances très faibles mais une preuve de concept

Sur ce laptop de 25 Go de RAM, le débit atteint 0,1 token par seconde à froid, et certainement pas plus élevé en régime établi. Le développeur reconnaît que ce rythme est extrêmement lent, mais il souligne que l’important était de démontrer la faisabilité technique. « Je voulais que cela fonctionne à tout prix, même lentement », explique-t-il. Il a été impressionné par les capacités du modèle GLM-5.2, qu’il juge comparables à celles de modèles comme Claude ou GPT, et souhaitait vérifier si l’inférence locale était envisageable sans matériel spécialisé.

Colibrì est un projet open-source, hébergé sur GitHub sous le nom d’utilisateur JustVugg. L’auteur invite les personnes intéressées à contribuer en partageant des résultats de benchmarks obtenus sur leur propre matériel, en signalant des problèmes, ou en soutenant le développement. Il espère ainsi pouvoir améliorer le moteur, par exemple en testant des caches plus grands ou des évaluations de qualité pour d’autres formats de quantification (int2, int3) sur des benchmarks réels.

Un pas vers la démocratisation des grands modèles

Même si les performances brutes sont très loin des solutions GPU actuelles, ce projet illustre une voie possible pour rendre accessibles des modèles de très grande taille sur du matériel grand public. En utilisant le streaming depuis le disque et en minimisant l’empreinte mémoire, Colibrì repousse les limites de ce qui peut être fait avec un simple ordinateur portable. Le développeur note que toute contribution, qu’il s’agisse d’une donnée de benchmark ou d’un don de matériel, peut faire progresser le plafond des possibles.

Ce travail s’inscrit dans la lignée des efforts visant à ouvrir l’accès aux modèles de langage avancés, au-delà des seuls centres de données ou des machines haut de gamme.