GLM-5.2 : une précision quasi humaine dans la préparation de déclarations de TVA, pour un coût infime

Un nouveau banc d’essai réalisé par la société Vineyard Finance apporte un éclairage concret sur les capacités du modèle d’intelligence artificielle ouvert GLM-5.2, développé par Z.ai. Les auteurs de l’étude ont soumis le modèle à la tâche de préparer une déclaration de TVA (value-added tax) pour une petite entreprise britannique au titre du premier trimestre 2026, une obligation comptable courante au Royaume-Uni.

Le test portait sur 59 transactions, représentant un trimestre complet de l’activité de Vineyard Finance (janvier à mars 2026). Les écritures comptables avaient été au préalable établies par des humains selon un processus en double validation. GLM-5.2 a dû traiter chaque transaction à l’aide d’un outil en ligne de commande branché sur un logiciel de comptabilité hébergé dans le cloud. Le modèle disposait d’un accès à Internet et à la plateforme comptable, mais était isolé sur une instance Google Cloud Platform pour éviter toute consultation des données de référence.

Critères de notation stricts

Chaque transaction a été évaluée sur six critères : le type d’opération (achat, frais bancaire, vente, apport en capital, etc.), la catégorie comptable, le traitement de la TVA, le montant de la TVA (avec une tolérance de 0,02 livre sterling), l’éventuelle TVA intracommunautaire (reverse charge), et la présence de la pièce justificative au format PDF. Seules deux transactions sur cinquante-neuf étaient accompagnées d’une note utilisateur – l’une mentionnant « founder shares » (actions du fondateur) et l’autre « personal car hire » (location personnelle de véhicule) –, le modèle devant déduire le contexte comptable à partir du flux bancaire et des reçus.

Résultats obtenus

GLM-5.2 a bouclé l’ensemble du traitement en 68 minutes, mobilisant 112 appels API et 137 appels d’outils. Le volume total de tokens s’est élevé à 5,73 millions de tokens en entrée (dont 93 % étaient mis en cache) et 193 483 tokens en sortie. Le coût brut de l’inférence, facturé via le fournisseur Fireworks AI, s’est établi à 2,73 dollars américains.

La déclaration produite par l’IA s’est avérée « essentiellement correcte », selon les termes des auteurs du test. Le montant net de TVA dû (case numéro 5 du formulaire) n’affichait qu’un écart de 7 pence par rapport à la vérité terrain, soit environ 10 cents américains. Les erreurs constatées portaient sur des détails mineurs de catégorisation ou de traitement de TVA, sans incidence majeure sur le résultat final.

Comparaison avec la comptabilité humaine

Les auteurs soulignent que le travail humain de référence était plus large que la tâche confiée à la machine : les comptables avaient dû rechercher les factures dans les courriels ou auprès des fournisseurs, et raisonner sur des situations non déductibles des seuls relevés bancaires. Le coût d’une déclaration trimestrielle confiée à un cabinet comptable extérieur se situe typiquement entre 750 et 2 100 livres sterling (1 000 à 2 800 dollars). Le modèle, lui, atteint une qualité comparable pour moins de 1 % de ce montant.

Limites et précautions

L’audit du raisonnement et de l’utilisation des outils par le modèle n’a révélé aucune tricherie flagrante. La seule connexion Internet non strictement nécessaire concernait la recherche d’informations sur le traitement de la TVA intracommunautaire dans le logiciel utilisé. Les auteurs notent toutefois que le modèle était conscient d’être évalué : à un moment, il a écrit en commentaire « la tâche teste si j’ai bien compris la TVA… quelle est la réponse attendue ». Ce biais potentiel incite à la prudence dans la généralisation des résultats.

Autre limite : la version de GLM-5.2 utilisée ne dispose pas de capacités de vision. L’ensemble des reçus et factures étaient des PDF contenant du texte, ce qui a permis de contourner cette absence. Dans un environnement réel où les documents comptables comportent souvent des éléments visuels, le modèle pourrait rencontrer des difficultés supplémentaires.

Implications pour les PME

Ce banc d’essai suggère que les modèles de langage ouverts comme GLM-5.2 pourraient bientôt assumer des tâches de conformité fiscale jusqu’ici réservées à des professionnels qualifiés, à un coût dérisoire. Les délais légaux de dépôt des déclarations de TVA (cinq semaines après la fin du trimestre) et les pénalités en cas de retard rendent l’automatisation particulièrement attractive. Toutefois, les experts appellent à ne pas négliger les aspects réglementaires et de responsabilité : un écart de quelques pence peut être acceptable, mais une erreur plus importante engagerait la responsabilité de l’entreprise.

L’étude complète, publiée par Vineyard Finance, fournit des détails méthodologiques sur le protocole de test et la liste des erreurs commises par le modèle. Elle confirme que GLM-5.2, dont le poids a été ouvert sous licence MIT en juin 2026, continue de faire l’objet d’évaluations variées dans des domaines spécialisés, de la comptabilité aux performances juridiques.