Le modèle de langage GLM-5.2, développé par la startup chinoise Z.ai, a obtenu un score de 7,5 % (taux de réussite intégrale) sur le benchmark Harvey LAB-AA, une performance qui le place à égalité avec Claude Opus 4.8 d'Anthropic, d'après les résultats publiés par la plateforme indépendante Artificial Analysis.

Ce benchmark, conçu par la société de legaltech Harvey, évalue la capacité des agents d'intelligence artificielle à réaliser des travaux juridiques authentiques. Contrairement à des tests portant sur des questions de droit isolées, Harvey LAB-AA confie à l'agent une instruction similaire à celle d'un associé d'un cabinet d'avocats, ainsi qu'un ensemble de documents de dossier à l'intérieur d'un bac à sable. L'agent doit lire les pièces, les exploiter et produire un livrable juridique (note de service, planning de divulgation, résumé de déposition, etc.).

Chaque livrable est évalué critère par critère selon une grille propre à la tâche, par un seul modèle de langage jouant le rôle de correcteur. Le score principal est le « taux de réussite intégrale » (all-pass rate), qui correspond à la proportion de tâches pour lesquelles l'ensemble des critères sont satisfaits, sans aucun crédit partiel. Un second indicateur, le taux de réussite par critère, mesure la part des critères individuels remplis.

Classement et scores

Selon le classement établi par Artificial Analysis, le modèle Claude Fable 5 (avec raisonnement adaptatif, effort maximal et recours à Opus 4.8 en cas d'échec) domine le leaderboard avec un taux de réussite intégrale de 14,2 %. Viennent ensuite, ex æquo à 7,5 %, Claude Opus 4.8 (raisonnement adaptatif, effort maximal) et GLM-5.2 (max).

Les résultats détaillés montrent également le coût moyen par tâche, le nombre de tokens de sortie utilisés, le temps d'exécution, ainsi que le nombre moyen de « tours » (actions, appels d'outils, cycles d'itération) nécessaires à chaque modèle pour achever les tâches. GLM-5.2, bien qu'à égalité avec Claude Opus 4.8 sur la performance brute, pourrait afficher des différences sur ces métriques annexes, mais les données publiées ne permettent pas de conclure sur ce point.

Un benchmark représentatif du travail réel

Harvey LAB-AA repose sur un ensemble de 120 tâches privées couvrant 24 domaines de pratique juridique. Le jeu de données a été constitué par Harvey à partir de dossiers réels. La mise en œuvre du benchmark par Artificial Analysis utilise son propre harnais d'agent, nommé Stirrup, et les évaluations sont conduites de manière indépendante par la plateforme.

Cette nouvelle performance de GLM-5.2 intervient alors que le modèle avait déjà été remarqué dans plusieurs classements ouverts, notamment en codage et en agents. Il s'agit toutefois de la première apparition du modèle chinois sur un benchmark spécialisé dans le droit, un domaine où les enjeux de précision, de respect des consignes et de manipulation de documents longs sont particulièrement élevés.

La capacité de GLM-5.2 à égaler Claude Opus 4.8 sur ce terrain suggère que les progrès des modèles ouverts commencent à rattraper ceux des modèles propriétaires les plus avancés, du moins sur certains segments. Reste à savoir si cette performance se confirmera sur d'autres benchmarks juridiques ou dans des déploiements réels chez des clients du secteur.