GPT-6, Fable 5.1 : comment lire les benchmarks de Claude et GPT sans se faire avoir

Il y a dix ans, on comparait les smartphones avec AnTuTu. Un chiffre, un classement, et de temps en temps un constructeur épinglé parce que sa puce s’emballait dès qu’elle détectait l’application de test. Avec les modèles d’IA, on a reconstruit exactement le même système, avec un handicap supplémentaire : le smartphone, on pouvait au moins le prendre en main. Un modèle de langage, on ne le voit pas. On voit un tableau publié par son éditeur, dans lequel l’éditeur gagne, et on se dit que ça doit être vrai puisque c’est en gras.

Cette semaine, deux tableaux se contredisent à quarante-huit heures d’écart. L’occasion est bonne pour regarder ce qui se passe derrière ces tableaux.

Un benchmark, c’est une liste de problèmes avec leurs réponses, un protocole pour les soumettre au modèle et une note à la fin. Mardi 1^er septembre, Anthropic a lancé Claude Fable 5.1 en mettant en avant 52,6 % sur Terminal-Bench-Science, un test où le modèle doit mener une petite investigation scientifique en ligne de commande, contre 24,7 % pour Fable 5 et 22,4 % pour GPT-5.6 Sol.

Jeudi 3, hier, OpenAI a dégainé GPT-6 Astra, réservé pour l’instant à un cercle de testeurs, avec 98,6 % revendiqués sur ARC-AGI-3, un test de raisonnement sur lequel les modèles de mars ne dépassaient pas 1 % et où GPT-5.6 Sol, sorti en juillet, plafonnait à 7,8 %. Greg Brockman a conclu son briefing par un « Bienvenue dans l’ère de l’AGI ».

OpenAI insiste surtout sur une fonction, l’usage de l’ordinateur : remplir un tableur, naviguer sur le web ou créer un site à la place de l’utilisateur. Ce genre de capacité se mesure aussi, par exemple avec OSWorld 2.0, où Fable 5.1 pointe à 41,7 %. Les deux modèles sont facturés au même tarif, 10 dollars (environ 9 € HT) le million de tokens en entrée et 50 (environ 46 € HT) en sortie, un million de tokens représentant en gros cinq ou six romans en français. À ce prix, savoir lequel progresse vraiment n’est plus un débat de forum.

Comment on fabrique un benchmark pour une IA

Humanity’s Last Exam, l’examen « ultime » lancé en janvier 2025, donne une idée du chantier. Près de 1 000 experts issus de plus de 500 institutions ont soumis des questions, avec 500 000 dollars de primes pour les meilleures.

Chaque question devait avoir une réponse unique, introuvable sur Google, et surtout faire échouer les modèles de l’époque : celles que les IA réussissaient étaient éliminées d’office. Il en reste 2 500, et les scores au lancement ne dépassaient pas 10 %. Vingt mois plus tard, Fable 5.1 revendique 65 % avec outils.

Entre-temps, le laboratoire FutureHouse a fait relire le sous-ensemble chimie et biologie par des spécialistes. Environ 29 % des réponses officielles sont contredites par la littérature scientifique. L’équipe du benchmark, après contre-expertise, a reconnu 18 % de questions problématiques sur ce sous-ensemble. Le défaut vient de la méthode de sélection : on gardait ce que les modèles rataient, sans toujours vérifier pourquoi ils rataient.

D’autres prennent le problème autrement. ARC-AGI-3, sorti en mars, ne pose pas de questions. Il place le modèle dans de petits environnements interactifs qui ne sont pas connus, sans règles expliquées, et compte le nombre d’actions nécessaires pour s’en sortir.

Avant le lancement, la fondation ARC Prize a fait jouer environ 500 personnes pour établir une référence humaine, et elle garde une partie des environnements sous clé pour qu’ils ne finissent pas dans les données d’entraînement.

Côté code, SWE-bench Pro pioche dans des dépôts sous licence GPL et chez 18 partenaires privés, avec des tâches qui touchent en moyenne quatre fichiers, précisément parce que l’ancienne version publique avait fuité.

Même les jeux privés vieillissent mal. FrontierMath, le test de mathématiques de recherche d’Epoch AI, aligne 338 problèmes écrits par des mathématiciens et gardés secrets, à douze exceptions près. En juin, une version 2 a dû corriger des erreurs sur 42 % des problèmes. Le projet est financé par OpenAI, ce qu’Epoch précise en bas de page, et l’éditeur avait eu accès à une bonne partie des énoncés avant que l’affaire ne sorte début 2025. Astra y revendique 97,6 % sur le niveau 4, le plus dur, contre 87,8 % pour Fable 5.1.

Le problème, c’est que cette rigueur reste rare. Une équipe de l’université d’Oxford a passé 445 benchmarks au crible pour la conférence NeurIPS fin 2025 : seuls 16 % utilisent une estimation d’incertitude ou un test statistique pour comparer les résultats. Autrement dit, la plupart des « +2 points » qu’on lit dans les communiqués n’ont jamais été confrontés au hasard.

ARC-AGI-3, l’examen préféré d’OpenAI

Le test sur lequel OpenAI a bâti son lancement mérite qu’on s’y arrête, parce que c’est aussi celui qui résiste le mieux aux tricheries habituelles. ARC-AGI vient de François Chollet, le créateur de la bibliothèque Keras, qui publiait en 2019 une définition de l’intelligence comme capacité à acquérir vite des compétences nouvelles, avec un jeu de puzzles visuels pour la mesurer. La première version est tombée en décembre 2024 face à o3, au prix de plusieurs milliers de dollars par tâche dans sa configuration la plus gourmande. La deuxième, sortie en mars 2025, vient de céder à son tour : Astra y atteint 95 %, chiffre vérifié par la fondation ARC Prize, pour 1,12 dollar par tâche.

La troisième version, lancée le 25 mars 2026, change de format avec ses centaines d’environnements dessinés à la main par des concepteurs de jeux et découpés en milliers de niveaux, sans consignes, sans règles et sans objectif annoncé. Le score ne compte pas seulement les niveaux réussis mais le nombre d’actions dépensées, rapporté à la référence des 500 testeurs humains, payés 115 dollars la session de 90 minutes. Au-delà de cinq fois le nombre d’actions d’un humain, on coupe. Au lancement, les humains réussissaient 100 % des environnements, les meilleurs modèles restaient sous 1 %, et Grok 4.20 à zéro tout rond.

La soirée de lancement s’est tenue chez Y Combinator, avec Sam Altman en conversation sur scène avec Chollet. OpenAI a adopté ce test très tôt, et pour cause. Dès l’été, GPT-5.6 Sol y faisait 7,8 % dans les conditions officielles, puis 38,3 % une fois deux réglages de son API activés, la conservation du raisonnement entre deux tours et la compaction du contexte. Chollet a fixé la règle : des options ouvertes à tous les développeurs sont acceptables, à condition de publier les réglages et le coût, un montage bricolé pour un seul benchmark ne l’est pas. Le 98,6 % annoncé jeudi par OpenAI a été obtenu avec ces mêmes réglages, sur sa propre API, hors harnais officiel. La fondation, elle, a refait le test de son côté et publie deux chiffres très différents, on y revient plus bas.

Dans son analyse, ARC Prize écrit qu’Astra « franchit la barre » fixée par ARC-AGI-3, salue sa façon de se construire un modèle symbolique compact de chaque environnement, une sorte de sténo maison pour suivre l’état du jeu, et précise dans la foulée que le test a un périmètre étroit, des mécaniques fermées et déterministes, et ne représente pas la complexité du monde réel. Elle réfléchit déjà à la génération suivante, autour de l’innovation ouverte et de l’auto-amélioration. Entre-temps, le concours 2026, doté de 2 millions de dollars et réservé aux solutions open source, court jusqu’au 2 novembre.

OpenAI s’appuie sur le seul benchmark conçu pour résister à la mémorisation, ce qui est à son honneur. Mais l’entreprise en communique une version qui contourne le protocole de ceux qui l’ont écrit, et en tire une conclusion que ceux-ci refusent de tirer. Gary Marcus, rarement tendre avec OpenAI, reconnaît une avancée réelle et conteste l’étiquette. Le score tient la route. Parler d’« AGI », en revanche, est nettement plus contestable.

Pourquoi le tableau de l’éditeur ne se compare à rien

Prenons le chiffre de la semaine. OpenAI annonce 98,6 % sur ARC-AGI-3 pour Astra. La fondation ARC Prize, qui a testé le modèle de son côté, publie deux résultats : 62,7 % avec son harnais standard, où le modèle choisit lui-même les notes qu’il garde d’un tour à l’autre, et 99,9 % avec un « harnais fournisseur » qui conserve le raisonnement caché entre deux requêtes et compacte la conversation.

On a donc le même modèle, la même épreuve, et 37 points d’écart. Le harnais, c’est tout ce qui entoure le modèle pendant le test : les outils qu’on lui donne, la mémoire, le nombre d’essais. Sur SWE-bench Verified, un meilleur échafaudage d’agent faisait déjà gagner 10 à 15 points au même modèle.

ARC Prize reconnaît en revanche qu’Astra dépasse la référence humaine en efficacité, avec moins d’actions que le joueur médian sur 96 % des niveaux. François Chollet, cofondateur du prix, parle même d’un saut brutal. Cela n’en fait pas une AGI pour autant : la fondation définit la victoire sur des environnements privés rencontrés pour la première fois, et personne ne sait encore sur quel jeu OpenAI a obtenu ses 98,6 %.

Pour aller plus loin
OpenAI pense toucher au but, celui d’atteindre l’AGI, mais avec sa définition maison

Deuxième variable, l’effort de raisonnement. Fable 5.1 existe en cinq niveaux, de « low » à « max ». D’après Artificial Analysis, qui a eu accès au modèle avant sa sortie, le même Fable 5.1 score 58 sur son index en effort bas et 66 en effort maximal. Huit points sans changer une ligne de code, en laissant simplement le modèle réfléchir plus longtemps, et plus cher. Sur l’index concurrent de Vals AI, Fable 5.1 prend la tête avec 67,9 %, devant Opus 5 à 67,2 %. Sept dixièmes de point d’écart, et un classement qui affiche quand même un « numéro un ».

Anthropic joue plutôt franc jeu sur les notes de bas de page. Ses scores sont mesurés avec les garde-fous de production activés, ce qui fait tomber certaines tâches à zéro, et la marge d’erreur annoncée sur Terminal-Bench-Science va de 3,5 à 4,5 points. Pour un score de 52,6 %, la fourchette réelle s’étale donc de 48 à 57. Mythos 5.1, le même modèle avec moins de filtres, fait 60,9 % sur Terminal-Bench 4.0 contre 55,8 % pour Fable 5.1 : cinq points de sécurité, écrits noir sur blanc dans le tableau.

Troisième variable, le choix des tests. Aucun éditeur ne publie le benchmark où il perd. L’étude « The Leaderboard Illusion », signée en 2025 par des chercheurs de Cohere, Stanford ou de l’Allen Institute, a documenté la méthode sur LMArena, le classement par votes humains : Meta y a testé 27 variantes privées de Llama 4 avant d’en publier une seule, et la version qui trônait en tête du classement n’était pas celle distribuée au public. Selon les auteurs, soumettre dix variantes privées peut gonfler un score Arena d’environ 100 points.

Les tableaux publiés jeudi par OpenAI illustrent l’exercice. Astra devance Fable 5.1 sur FrontierMath (97,6 % contre 87,8 %), sur Terminal-Bench-Science (64,6 % contre 52,6 %) et sur GPQA Diamond (96 % contre 93,7 %). Sur Humanity’s Last Exam avec outils, Fable 5.1 garde en revanche l’avantage, 65 % contre 57,2 %. Sur OSWorld 2.0, OpenAI annonce 72,6 % là où Anthropic mesure 41,7 % pour Fable 5.1, sauf que les deux ont utilisé des jeux de tâches différents, et qu’Anthropic prévient elle-même que ses chiffres ne se comparent pas aux précédents. GDPval, le benchmark maison d’OpenAI sur les tâches à valeur économique, ne figure d’ailleurs pas dans les documents de lancement. Chaque éditeur choisit le terrain et l’arbitre.

Le vrai poison reste la contamination. En février, OpenAI a annoncé qu’il ne publierait plus de score SWE-bench Verified, le test de code qu’il avait pourtant contribué à créer : tous les modèles de pointe testés, les fameux modèles « frontier », le sien compris, pouvaient recracher mot pour mot le correctif attendu à partir du simple identifiant de la tâche. À ce stade, le test mesure surtout ce que le modèle a vu pendant l’entraînement. Claude Opus 4.5 affichait 80,9 % sur Verified et 45,9 % sur la version Pro, non contaminée. Trente-cinq points d’écart, pour le même modèle et le même métier.

Vitesse, prix, tokens : ce que les tableaux oublient de préciser

Un score ne dit rien du temps ni de l’argent qu’il a coûté. Artificial Analysis compte tout : Fable 5.1 en effort maximal revient à 3,76 dollars par tâche de son index, 20 % de plus que Fable 5, alors qu’Anthropic vantait une baisse de coût pouvant atteindre 45 %. Les deux ont raison.

Le nouveau modèle consomme environ 1,7 fois plus de tokens de sortie pour produire ses réponses, et la baisse annoncée porte sur la lecture du cache, divisée par quatre, ce qui ne compense qu’une partie de la facture. Le même évaluateur mesure un débit de 47,5 tokens par seconde en effort élevé, dans le bas du tableau de sa catégorie, et relève une régression sur les hallucinations : Fable 5.1 tente plus souvent une réponse quand il a tort. Un journaliste de R&D World raconte avoir épuisé son quota d’abonnement de cinq heures en une vingtaine de minutes.

Côté OpenAI, ARC Prize chiffre le passage d’Astra sur ARC-AGI-3 : 26 000 dollars de calcul en harnais standard (la couche logicielle qui entoure un modèle de langage pour le transformer en agent autonome capable d’agir), 19 000 avec l’autre, et Chollet évoque environ 360 dollars par jeu dans la configuration la plus efficace. Sur l’index composite d’Artificial Analysis, qui agrège neuf évaluations, Astra obtient 61 d’après les mesures relayées jeudi, au niveau de GPT-5.6 Sol et cinq points derrière Fable 5.1. Tout dépend donc du test qu’on regarde.

Une autre approche évite le score sur 100. METR, un institut indépendant, mesure l’« horizon temporel » : la durée d’une tâche de développement logiciel qu’un modèle réussit une fois sur deux, exprimée en temps humain. La tendance historique donnait un doublement tous les sept mois ; depuis 2023, METR mesure plutôt quatre mois. Pour GPT-5.6 Sol, l’estimation atteint 11,3 heures, avec un intervalle de confiance de 5 à 40 heures. Autre chiffre parlant : si on comptait les tentatives de triche du modèle comme des succès, l’estimation dépasserait 270 heures. Le chiffre parle à un développeur, beaucoup moins à quelqu’un qui demande une recette de cuisine.

Les grands benchmarks en un tableau

Pour s’y retrouver, voici les tests qui reviennent le plus souvent dans les communiqués, avec qui les fait tourner et ce qu’il faut garder en tête. Les scores marqués « autodéclaré » viennent des éditeurs eux-mêmes.

Benchmark	Ce qu’il mesure	Qui le conçoit / qui vérifie	Meilleur score connu (sept. 2026)	Le piège
MMLU / MMLU-Pro	Culture générale en QCM, 57 matières	Académique, public depuis 2020	Saturé, au-delà de 90 %	Contaminé, ne discrimine plus rien
GPQA Diamond	198 questions scientifiques niveau doctorat	Académique, public	96 % Astra (autodéclaré), 93,7 % Fable 5.1	Quasi saturé, écarts dans le bruit
Humanity’s Last Exam	2 500 questions expertes, 100 disciplines	CAIS et Scale AI, public plus un jeu privé	65 % Fable 5.1 avec outils (autodéclaré), 59,1 % sans outils (Artificial Analysis)	18 à 29 % de réponses douteuses en chimie et biologie
FrontierMath Tier 4 (v2)	43 problèmes de maths de niveau recherche	Epoch AI, financé par OpenAI, privé	97,6 % Astra (autodéclaré), 87,8 % Fable 5.1, 83 % GPT-5.6 Sol	Version 2 en juin après des erreurs sur 42 % des problèmes
ARC-AGI-2	Puzzles visuels de raisonnement, sorti en mars 2025	ARC Prize Foundation, jeu semi-privé, vérifié	95 % Astra à 1,12 $ par tâche	Quasi saturé, remplacé par ARC-AGI-3
ARC-AGI-3	Environnements interactifs inédits, efficacité en actions	ARC Prize Foundation, vérifié	62,7 % ou 99,9 % pour Astra selon le harnais (vérifié), 98,6 % via l’API OpenAI (autodéclaré)	Le harnais change tout, 19 à 26 k$ de calcul par passage
SWE-bench Verified	500 bugs réels de dépôts Python	Princeton et OpenAI, public depuis 2024	Environ 81 %	Contaminé, abandonné par OpenAI en février
SWE-bench Pro	Bugs réels sur dépôts GPL et privés, 4 fichiers par tâche	Scale AI, jeu public et jeu privé	45,9 % Opus 4.5 début 2026	Bien plus dur, historique court
Terminal-Bench 2.1 / 4.0 / Science	Tâches d’agent en ligne de commande	Laude Institute et Stanford, classement public plus mesures éditeurs	85,8 % Sol sur 2.1 (Vals AI), 55,8 % Fable 5.1 sur 4.0, 64,6 % Astra sur Science (autodéclaré)	Versions non comparables entre elles, marge d’erreur de 4 points
OSWorld 2.0	Usage d’un vrai bureau d’ordinateur	Académique, jeux de tâches mis à jour	72,6 % Astra (autodéclaré), 41,7 % Fable 5.1 sur le jeu d’août	Les deux éditeurs n’ont pas utilisé les mêmes tâches
GDPval / GDPval-AA	Tâches professionnelles réelles notées par des experts humains	OpenAI, version indépendante chez Artificial Analysis	1 853 Elo Fable 5.1 (Artificial Analysis)	Piloté par un éditeur, notation subjective
LMArena / compar:IA	Préférences humaines en duel à l’aveugle	Startup LMArena / État français (DINUM)	Classement mouvant, score Bradley-Terry	Variantes privées, prime aux réponses flatteuses
Artificial Analysis Intelligence Index	Composite de 9 évaluations	Artificial Analysis, indépendant, accès pré-sortie	66 Fable 5.1 (max), 63 Opus 5, 61 GPT-5.6 Sol et Astra	Varie de 8 points selon le niveau d’effort
METR Time Horizon 1.1	Durée de tâche logicielle réussie une fois sur deux	METR, indépendant, 228 tâches	Environ 11 h pour GPT-5.6 Sol (IC 5 à 40 h)	Code uniquement, intervalles énormes

Et en français, on mesure quoi ?

Presque tous les tests cités ici sont en anglais. Un modèle qui brille sur Humanity’s Last Exam peut très bien accorder un participe passé de travers ou confondre le Conseil d’État avec la Cour de cassation. Le sujet n’est pas anecdotique : dans LMSYS-Chat-1M, le jeu de conversations qui sert de référence pour l’alignement des modèles, le français pèse 1,5 %, soit moins de 20 000 échanges. Un atelier de chercheurs réuni à Nantes fin juin posait le même constat : les benchmarks existants sont anglo-centrés, en langue comme en culture.

Il existe pourtant des outils. Le plus visible est compar:IA, lancé en octobre 2024 par la DINUM et le ministère de la Culture : une arène à l’aveugle calquée sur LMArena, où l’internaute pose sa question, reçoit deux réponses anonymes et vote. Le premier classement, publié le 3 novembre 2025 avec le PEReN, a créé la surprise en plaçant Mistral Medium 3.1 en tête devant deux Gemini allégés, et GPT-5 à la trentième place. Il est recalculé chaque semaine avec un modèle de Bradley-Terry et, chose rare, livré avec des intervalles de confiance à 95 %. Le service revendique plus de 800 000 prompts collectés, a été répliqué au Danemark, et prépare une déclinaison réservée aux professionnels de santé. Sa limite est celle de toutes les arènes : il mesure ce que les votants préfèrent, et les votants aiment les réponses rapides et bien tournées.

Côté benchmarks académiques, l’OpenLLM French Leaderboard, lancé en octobre 2024 sur Hugging Face à l’initiative de deux passionnés, fait tourner les modèles ouverts sur des versions françaises de tests anglais : MMLU, GPQA, IFEval ou MATH, estampillés « -fr ». La coordination nationale pour l’IA maintient un espace similaire sur la même plateforme. FrenchBench, publié avec le modèle CroissantLLM début 2024, et les plus anciens FLUE et FQuAD complètent le paysage, mais ils datent d’avant les modèles de raisonnement et sont largement saturés. L’INESIA, l’institut national créé en 2025 avec l’ANSSI, Inria, le LNE et le PEReN, travaille bien sur l’évaluation, mais du côté de la sécurité et conformité au règlement européen, ce n’est pas une mesure de la maîtrise de la langue. Il n’existe donc pas d’équivalent francophone de Humanity’s Last Exam : des questions expertes, écrites en français par des francophones, sur un droit, une histoire et une administration que les modèles américains n’ont croisés qu’en marge de leur entraînement.

Comment lire un benchmark sans se faire avoir

Face à un tableau de scores, il faut se poser six questions.

• Qui a mesuré ? L’éditeur lui-même, ou un tiers comme ARC Prize, Artificial Analysis, METR ou Vals AI. C’est ce qu’on appelle des indépendants.
• Avec quel harnais, quel niveau d’effort et combien d’essais par tâche ? Le harnais, c’est la couche logicielle qui entoure un modèle de langage (LLM) pour le transformer en agent autonome capable d’agir. En gros, le LLM est le cerveau, le harnais est le corps.
• Avec quelle marge d’erreur ? Sans intervalle, un écart de deux points ne vaut rien.
• Depuis quand le test est-il public ? Plus il est vieux, plus il est contaminé.
• Combien de tokens et de temps le score a-t-il coûté ? Bien souvent, ce n’est pas communiqué.
• Quel benchmark manque au tableau, et pourquoi ? D’ailleurs, les éditeurs sélectionnent les LLM qu’ils affichent dans chaque colonne, et généralement c’est voulu.

Ces questions comptent d’abord pour les développeurs qui paient au token et pour les entreprises qui choisissent un modèle pour un usage précis. Vous, vous avez intérêt à lire les évaluations tierces, et surtout à les tester sur vos propres tâches.

Si vous utilisez ChatGPT ou Claude pour poser trois questions par jour, il est très peu probable que trois points de plus sur un index composite soient visibles. Ce qui vous manque, ce sont des benchmarks sur ce que vous faites vraiment : rédiger, résumer, chercher, se tromper le moins possible, en français. GDPval, où des tâches professionnelles réelles sont rédigées en privé par des experts puis notées par des relecteurs humains, va dans ce sens, mais reste piloté par OpenAI.

Un benchmark d’IA est un instrument de mesure, et comme tout instrument, il s’use et il se manipule. Et les scores indépendants restent la moins mauvaise façon de suivre les progrès, et, certainement vous l’aurez compris, aucun ne mérite d’être cru seul. Evidemment, quand deux éditeurs se déclarent numéro un la même semaine, la seule certitude, c’est que la semaine a coûté cher en tokens.

---