ARC-AGI-3 : le benchmark qui mesure l’intelligence agentique des IA
ARC-AGI-3 teste la capacité d’une IA à explorer un environnement inconnu sans instruction. Les humains atteignent 100 %, tandis que GPT-6 Astra monte à 99, 9 % avec un harnais optimisé.
En mars 2026, l'ARC Prize Foundation a lance ARC-AGI-3, un benchmark qui change la maniere de mesurer l'intelligence artificielle. Fini les grilles statiques a completer : ici, l'IA doit explorer un jeu inconnu sans aucune instruction, comprendre ses regles toute seule, et gagner. Les humains reussissent dans 100% des cas. Les meilleurs modeles de mars 2026 plafonnaient a 0, 51%. En septembre 2026, GPT-6 Astra d'OpenAI a atteint 99, 9% dans une configuration de test optimisee. Voici ce que ca signifie vraiment.
D'ou vient ARC-AGI-3 ?
ARC-AGI (Abstraction and Reasoning Corpus for AGI) est une serie de benchmarks creee par Francois Chollet, reprise par l'ARC Prize Foundation. Le principe : mesurer la capacite d'un systeme a s'adapter a des situations nouvelles, sans entrainement prealable specifique.
- ARC-AGI-1 (2019) : des grilles d'entree/sortie ou l'IA doit deduire la regle de transformation. Resolu en 2024 par des modeles de raisonnement.
- ARC-AGI-2 (2024) : des grilles plus difficiles, avec des regles plus complexes.
- ARC-AGI-3 (2026) : un changement radical. Ce n'est plus une grille statique, mais un environnement interactif ou l'agent doit agir, explorer, et apprendre en temps reel.
L'ARC Prize 2026, dote de 2 millions de dollars de recompenses, comporte deux competitions sur Kaggle : une sur ARC-AGI-3 et la derniere sur ARC-AGI-2 (dont le grand prix de 1M$ est garanti cette annee).
Comment fonctionne ARC-AGI-3 ?
ARC-AGI-3 est un ensemble de centaines d'environnements de jeu originaux, chacun concu a la main par des concepteurs humains. Il n'y a aucune instruction, aucune regle ecrite, aucun objectif annonce. L'agent decouvre tout par l'interaction.
L'agent voit un ecran de jeu, effectue des actions, l'environnement reagit. Il doit :
- Explorer : essayer des actions pour comprendre ce qui se passe.
- Modeliser : construire une representation interne des regles du jeu.
- Se fixer un objectif : identifier ce qui constitue une victoire sans qu'on le lui dise.
- Planifier et executer : enchaner les actions pour atteindre cet objectif, en s'adaptant aux surprises.
Ces quatre competences sont les piliers de l'intelligence agentique selon l'ARC Prize Foundation.
La metrique RHAE : pourquoi l'efficacite compte plus que la reussite
ARC-AGI-3 ne se contente pas de mesurer si un agent gagne ou perd. Il mesure l'efficacite d'action relative a l'humain via la metrique RHAE (Relative Human Action Efficiency).
Le calcul :
- Pour chaque niveau, on releve le nombre d'actions de l'humain median.
- On compte les actions de l'IA.
- Le score du niveau est : (actions humaines / actions IA) au carre.
- Le score final est la moyenne de tous les niveaux.
Exemple : si l'humain median resout un niveau en 10 actions et l'IA en 100, le score est (10/100)2 = 0, 01, soit 1%.
Un score de 100% signifie que l'IA est aussi efficace (ou plus) que l'humain median sur tous les niveaux. Le passage au carre rend la metrique tres sensible aux faibles performances : un ecart modeste en actions se traduit par un score beaucoup plus bas.
Cette non-linearite est voulue : elle penalise fortement les agents qui "bricolent" par essais-erreurs plutot que de raisonner efficacement.
Pourquoi les humains font 100% et les IA plafonnaient
Avant integration, chaque environnement ARC-AGI-3 a ete teste sur au moins 10 participants humains. Seuls les environnements qu'au moins 2 personnes (independamment) pouvaient resoudre integralement du premier coup ont ete retenus (source : technical paper). Tous sont "faciles pour un humain".
Pour une IA, c'est une autre histoire. En mars 2026, le meilleur modele (GPT-5.6 Sol avec le harnais standard) ne depassait pas 0, 51% (source : ARC Prize Foundation, annonce de lancement, 25 mars 2026).
Pourquoi un tel ecart ?
- Les IA sont entrainees a suivre des instructions explicites. ARC-AGI-3 n'en donne aucune.
- Les IA peinent a explorer efficacement sans savoir ce qu'elles cherchent.
- Le harnais standard reinitialise le raisonnement prive a chaque action.
- Les IA ne savent pas se fixer des objectifs intermediaires par elles-memes.
GPT-6 Astra : le bond a 99, 9%
Le 3 septembre 2026, OpenAI annonce GPT-6 Astra. Sur ARC-AGI-3, les resultats sont les meilleurs jamais observes :
| Configuration | Score | Cout estime |
|---|---|---|
| Standard harness (max) | 62, 7% | 26 098 $ |
| Provider Adapter (high) | 99, 9% | 18 817 $ |
Source : ARC Prize Foundation, analyse publique (arcprize.org/blog/astra), 3 sept 2026.
Deux points essentiels :
- Le Provider Adapter harness preserve l'etat de raisonnement opaque du modele entre les actions et utilise la compaction pour gerer les longs historiques. OpenAI avait montre en juillet 2026 que les deux memes reglages triplaient les scores de GPT-5.6 Sol (de 13, 3% a 38, 3% sur le public set). Pour Astra, cela permet d'atteindre 99, 9%.
- Astra depasse l'efficacite humaine dans cette configuration : moins d'actions que l'humain median sur 96% des niveaux, et 51, 7% d'actions en moins en moyenne.
Pourquoi 99, 9% est remarquable
- Cinq mois plus tot, les meilleurs modeles faisaient 0, 51%. Le chemin parcouru entre mars et septembre 2026 est considerable.
- 99, 9% signifie qu'Astra est aussi efficace qu'un humain sur la quasi-totalite des niveaux, la ou les IA precedentes peinaient a resoudre un seul niveau.
- Astra developpe son propre langage interne. Les chercheurs d'ARC Prize ont observe que le modele creait une notation algebrique compacte pour representer les mecanismes de jeu sous forme de regles logiques (source : ARC Prize Foundation). Un comportement d'abstraction jamais vu a cette echelle.
Greg Kamradt, de l'ARC Prize Foundation, commente : "Astra a depasse notre reference d'efficacite d'action humaine sur 96% des niveaux, atteignant la parite humaine sur le benchmark. C'est le meilleur modele que nous ayons jamais teste."
Mais l'ARC Prize Foundation ajoute aussitot une mise en garde : "Nous avons indique clairement que saturer le benchmark ne representerait pas une preuve d'AGI. Nous n'affirmons pas qu'il s'agit de l'AGI." (source : ARC Prize Foundation, blog Astra).
Les nuances : ce que 99, 9% ne prouve pas
Un benchmark n'est pas une preuve d'intelligence generale. ARC-AGI-3 a des limites que ses createurs reconnaissent :
- Perimetre ferme : les environnements ont des mecanismes deterministes et des objectifs fermes. Ce n'est pas l'ouverture du monde reel.
- Echelle limitee : quelques centaines d'environnements, c'est peu face a la diversite des situations reelles.
- Harnais optimise : le score de 99, 9% depend du Provider Adapter harness. Avec le Standard harness (conditions plus equitables entre modeles), Astra fait 62, 7% -- impressionnant, mais pas parfait.
- Pas de generalisation garantie : exceller sur ARC-AGI-3 ne garantit pas qu'un modele sache s'adapter a n'importe quelle situation inedite.
- Cout : 19 000 $ pour une session de benchmark, ce n'est pas anodin. L'efficacite economique n'est pas encore au rendez-vous.
Comme le dit l'ARC Prize Foundation : "ARC-AGI-3 a un perimetre limite et des mecanismes deterministes. Il ne represente pas la complexite et l'ouverture du monde reel."
Ce que ARC-AGI-3 mesure vraiment
ARC-AGI-3 mesure la capacite d'un systeme a apprendre par exploration et a agir efficacement dans un environnement inconnu mais structure.
Il ne mesure pas :
- La capacite a utiliser des connaissances generales (le benchmark exclut volontairement le langage et la connaissance externe).
- La capacite a interagir avec des humains.
- La capacite a gerer l'incertitude ou l'ambiguite reelles.
- La creativite ou l'innovation de rupture.
Ce qui fait d'ARC-AGI-3 un bon benchmark n'est pas qu'il soit "AGI-proof", mais qu'il resiste a l'optimisation directe. Il ne peut pas etre resolu par simple memorisation ou ingestion des donnees d'entrainement. Pour progresser, il faut ameliorer la capacite d'exploration et d'adaptation.
Pourquoi c'est important pour l'IA agentique
ARC-AGI-3 mesure ce qui fait la difference entre un modele qui suit des instructions (aussi bon soit-il) et un agent qui explore et apprend par lui-meme. C'est exactement la competence cle pour deployer des agents autonomes dans des environnements professionnels ou chaque situation est unique.
Un agent qui s'adapte sans documentation prealable, sans guide etape par etape, sans prompt geant : voila ce qu'ARC-AGI-3 evalue. Et c'est aussi ce que des produits comme Atako cherchent a mettre a portee des entreprises : des agents capables de naviguer l'inattendu.
Le chemin est encore long. Mais le passage de 0, 51% a 99, 9% en cinq mois montre que la direction est bonne. La prochaine etape : faire aussi bien avec un harnais standard, et a un cout qui passe de quelques milliers de dollars a quelques dollars.
Sources et notes methodologiques
Cet article a ete redige a partir des sources suivantes, toutes verifiees le 11 septembre 2026 :
- ARC Prize Foundation, Announcing ARC-AGI-3, 25 mars 2026. https://arcprize.org/blog/arc-agi-3-launch
- ARC Prize Foundation, ARC-AGI-3 benchmark. https://arcprize.org/arc-agi/3
- ARC Prize Foundation, GPT-6 Astra on ARC-AGI-3, 3 sept 2026. https://arcprize.org/blog/astra
- Technical paper : ARC-AGI-3, arXiv:2603.24621. https://doi.org/10.48550/arxiv.2603.24621
- OpenAI, How two settings tripled scores on ARC-AGI-3, 29 juillet 2026. https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
- BenchLM leaderboard : https://benchlm.ai/benchmarks/arcagi3
Faits verifies : les scores des modeles sur ARC-AGI-3, la methodologie RHAE, les conditions de test, les dates de lancement et les declarations publiques sont issus des publications officielles.
Analyse editoriale : l'interpretation des scores, les implications pour les entreprises, la mise en perspective par rapport a l'AGI.
Limites : les scores des differents modeles ne sont pas tous obtenus dans des conditions strictement identiques (Standard vs Provider Adapter). Le score de 99, 9% est celui du Provider Adapter harness, pas du Standard. Le cout estime des sessions est fourni par l'ARC Prize Foundation.