BLOG

GPT-6 prétend inaugurer l'ère de l'AGI : après avoir démonté les benchmarks, la force est réelle, mais l'AGI n'est que du discours

Kael Zhang
IAGPT-6Benchmark
广告 · Advertisement

Ouverture : à la sortie de GPT-6, tout le monde crie « l’ère de l’AGI est arrivée »

Le 3 septembre, OpenAI a dévoilé son nouveau modèle phare, GPT-6 Astra. Son président Greg Brockman a déclaré qu’il « pourrait finalement être considéré comme l’arrivée de l’AGI », et les médias ont directement traduit cela par « bienvenue dans l’ère de l’AGI ».

Puis vient le scénario familier : des captures d’écran de benchmarks envahissent les réseaux, la nouvelle d’un score de 98,6 % sur ARC-AGI-3 circule partout, et dans les commentaires, la moitié crie « l’AGI est arrivée » tandis que l’autre moitié dénonce « un nouveau concept surfait ».

Shiwen : Cette vague de GPT-6, est-ce une véritable percée ou juste du langage de conférence de presse ? Yongliang : En une phrase : la force est réelle, mais l’AGI n’est que du discours. Shiwen : Très bien, alors séparons d’abord ce qui est « réellement fort » de ce qui est « exagéré ».


Q1 : En quoi GPT-6 est-il réellement plus fort ? Ces progrès sont-ils vrais ?

Yongliang : La force est réelle, et elle se manifeste dans des domaines très concrets, pas dans du vent.

Commençons par plusieurs avancées majeures, chacune vérifiable sur la page officielle et dans des évaluations tierces :

Premièrement, computer use — il peut vraiment « utiliser votre ordinateur ». C’est la capacité phare de GPT-6 : vous lui donnez un objectif, et il peut manipuler lui-même la souris et le clavier, ouvrir des logiciels, remplir des formulaires et accomplir tout un processus en plusieurs étapes. Auparavant, c’était un domaine que tout le monde vantait mais qui était très peu abouti en pratique ; cette fois, c’est un véritable pas en avant.

Deuxièmement, agentic coding — la capacité d’« agent » pour écrire du code. Sur DeepSWE v1.1, un benchmark de programmation par agent de 113 tâches, Astra a obtenu 74,1 %, dépassant les 72,7 % de la génération précédente GPT-5.6 Sol. Ne sous-estimez pas cet écart de deux points — on est déjà dans une fourchette de scores très élevés, et chaque point gagné est difficile.

Troisièmement, un contexte extrêmement long. Une fenêtre de contexte de 1,1 million de tokens : il peut ingérer d’un coup un contenu de plusieurs centaines de milliers de caractères pour travailler dessus, sans avoir à le morceler.

Quatrièmement, l’échelle de l’entraînement. Pour la première fois, plus de 100 000 GPU ont été utilisés pour le pré-entraînement, la plus grande opération de l’histoire d’OpenAI. C’est le résultat d’investissements massifs.

Dans le graphique de comparaison globale officiel d’OpenAI, Astra atteint 59,3 %, contre 55,5 % pour Claude Opus 5 et 53,6 % pour Sol, la génération précédente. Il est réellement plus fort, ce n’est pas un simple changement d’enveloppe. Sur ce point, je dois dire la vérité sur OpenAI : cette fois, il y a du vrai.


Q2 : Avec 98,6 % sur ARC-AGI-3, l’AGI est-elle vraiment arrivée ?

Yongliang : Non. Et ce chiffre de 98,6 % comporte déjà une part d’exagération.

Décomposons d’abord ce score. Pour le benchmark ARC-AGI-3, l’organisme ARC Prize a utilisé deux configurations lors de ses tests : l’une où le modèle répond avec l’historique complet de la conversation, l’autre où il ne dispose que de notes. Résultat pour le même GPT-6 : une configuration donne 99,9 %, l’autre seulement 62,7 % — pour le même benchmark, un changement de paramètre crée un écart de 37 points.

Qu’est-ce que cela signifie ? Que « 98,6 % » n’est pas une mesure objective de capacité, mais un chiffre obtenu dans une configuration spécifique. Changez le harness, et le score chute de manière significative. Les médias retiennent toujours le chiffre le plus élevé, mais la limite réelle oscille entre 62,7 % et 99,9 %.

Décomposons maintenant l’AGI elle-même. Que mesure réellement ARC-AGI-3 ? Selon les propres termes d’ARC Prize, il mesure l’« intelligence agentique » : la capacité d’un modèle à explorer un environnement nouveau et abstrait, à deviner l’objectif et à construire son propre modèle interne. Cela mesure « sait-on réfléchir dans un nouvel environnement », pas « s’agit-il d’une intelligence générale ». Prendre cela comme un verdict sur l’AGI, c’est un abus de langage.

Parlons aussi de la définition de l’AGI par OpenAI — ils disaient auparavant qu’il s’agissait de « pouvoir accomplir tous les travaux à valeur économique, aussi bien voire mieux qu’un humain ». GPT-6 en est-il à ce stade ? Il ne peut même pas garantir la stabilité de son propre service (il y a eu une panne généralisée la veille de sa sortie), il est encore très loin de « tous les travaux ».

Enfin, un point le plus souvent ignoré : à l’époque d’ARC-AGI-2, GPT-5.4 n’obtenait que 0,26 %, contre 100 % pour les humains. Cette génération bondit soudain à 98,6 % — un saut aussi grand mérite qu’on se demande s’il ne s’agit pas d’un surentraînement ciblé sur le benchmark. Le score est réel, mais la « valeur de la capacité » derrière ce score est à relativiser.

Donc ma conclusion est directe : la force est réelle, mais l’AGI n’est que du discours. Présenter la « force » comme de l’« AGI », c’est du langage de conférence de presse, pas du langage technique.


Q3 : 100 000 GPU, recurrent depth, capacités de cybersécurité restreintes, prix multiplié par 2,5 — sur quoi OpenAI parie-t-il, et de quoi a-t-il peur ?

Yongliang : Ces signaux mis ensemble montrent qu’OpenAI parie d’un côté, et a peur de l’autre.

Sur quoi parie-t-il ? Sur l’échelle de la puissance de calcul. 100 000 GPU pour l’entraînement, un prix multiplié par 2,5, un contexte de 1,1 million de tokens — c’est un pari sur le fait que la voie « plus de ressources pour plus de capacité » fonctionne toujours, et que si elle fonctionne, on peut vendre au prix fort. GPT-6 est le modèle d’API public le plus cher de l’histoire d’OpenAI : 10 $ par million de tokens d’entrée, 50 $ par million de tokens de sortie. Il ne parie pas sur « suffisamment bon », mais sur « les personnes qui veulent le plus fort paieront pour le plus fort ».

De quoi a-t-il peur ? Il a peur de perdre le contrôle des capacités. Trois détails :

Premièrement, le recurrent depth « cache » le processus de raisonnement. GPT-6 utilise une nouvelle technique de raisonnement qui masque une partie de la chaîne de pensée du modèle : on ne voit pas comment il arrive à sa réponse. The Information a directement pointé cela comme un risque de sécurité — plus un modèle est fort, moins on voit comment il pense, et cela mérite à lui seul la vigilance.

Deuxièmement, les capacités de cybersécurité sont verrouillées. GPT-6 a obtenu 100 % sur des benchmarks de sécurité comme ExploitBench, et son taux d’exécution de code arbitraire dépasse largement celui de la génération précédente. Ça semble être une bonne nouvelle ? Mais un modèle capable d’écrire du code d’attaque aussi vite, s’il est ouvert à tous, devient un outil d’attaque prêt à l’emploi. Donc OpenAI a d’abord réservé ses capacités de cybersécurité les plus puissantes à un petit groupe de testeurs approuvés. Il a lui-même freiné la diffusion.

Troisièmement, cette sortie a déjà été retardée. En juillet, OpenAI a eu un incident de sécurité sur Hugging Face, après quoi il a spécifiquement retardé la sortie pour renforcer les mesures de sécurité. Si GPT-6 voit le jour aujourd’hui, c’est après avoir freiné tout du long.

Mettez tout cela ensemble, et vous comprendrez la position réelle d’OpenAI : il veut que vous croyiez que l’AGI est arrivée (pour sa valorisation et la concurrence), mais il sait parfaitement que plus la capacité est grande, plus il faut la maîtriser. Ces deux états d’esprit coexistent au sein de la même entreprise.


Q4 : Puisque les modèles crient « AGI », de quoi les professionnels devraient-ils vraiment s’inquiéter ?

Yongliang : La grande majorité des gens s’inquiètent dans la mauvaise direction.

À chaque sortie de modèle, le commentaire le plus fréquent est « fini, l’AGI arrive, est-ce que je vais être remplacé ». Mais avez-vous bien vu ? — ce n’est pas parce que GPT-6 est fort que les personnes qui l’utilisent sont fortes.

Avec le même couteau, un cuisinier prépare un festin impérial, tandis qu’une personne ordinaire se coupe. C’est la même chose pour l’IA : la montée en puissance du modèle ne fait que relever le plafond ; si vous pouvez atteindre ce plafond dépend de vos propres capacités.

Donc ce dont les professionnels devraient vraiment s’inquiéter, ce n’est pas « le modèle est trop fort », mais ces trois choses :

Premièrement, vous ne savez que « l’utiliser », pas « juger son résultat ». Quand vous demandez à l’IA d’écrire une proposition ou du code, osez-vous dire « ceci est utilisable, ceci ne l’est pas » ? Plus l’IA est forte, plus il faut des personnes pour vérifier — les personnes qui osent juger et qui peuvent assumer les conséquences deviennent au contraire plus précieuses.

Deuxièmement, votre capacité ne peut pas être « prouvée ». Un recruteur vous demande « savez-vous utiliser l’IA ? », vous répondez « oui », et puis quoi ? Si vous ne pouvez pas expliquer une démarche structurée, vous vous trahissez. L’état « je crois savoir utiliser l’IA » est le plus dangereux.

Troisièmement, vous ne consommez que des contenus fragmentés. Vous regardez un tutoriel ici, une vidéo là, vous avez des centaines de contenus dans vos favoris, mais rien de structuré dans votre tête. L’apprentissage fragmenté est le moins efficace à l’ère de l’IA — parce que le modèle lui-même peut vous fournir des fragments ; ce qui vous manque, ce ne sont pas des fragments, c’est un système.

En une phrase : plus les modèles sont forts, plus l’écart entre les professionnels passe de « qui sait utiliser l’outil » à « qui peut prouver qu’il sait l’utiliser, qui peut l’utiliser pour résoudre de vrais problèmes ».


Q5 : Puisque les modèles sont de plus en plus puissants, comment les professionnels doivent-ils apprendre et prouver qu’ils savent utiliser l’IA ?

Yongliang : Trois règles, il suffit de les appliquer.

Premièrement, ne courez pas après le dernier modèle, courez après des « capacités prouvables ». GPT-6 est sorti, le mois prochain il y aura peut-être GPT-6.5. Vous ne rattraperez jamais les versions, et ce n’est pas nécessaire. Ce que vous devez vraiment poursuivre, c’est « est-ce que je peux utiliser l’IA pour accomplir du début à la fin les tâches de mon poste » — si vous y arrivez, c’est une capacité ; sinon, le modèle aussi nouveau soit-il ne sert à rien.

Deuxièmement, organisez les fragments en un système. Plutôt que de regarder 100 tutoriels épars, suivez complètement un fil d’apprentissage structuré : de « que peut faire l’IA » à « comment mettre en œuvre des scénarios concrets dans mon poste », pour finalement répondre à une question : « comment utiliser tout ça dans mon travail ». Ce que vous avez organisé et que vous pouvez expliquer, c’est ce qui vous appartient.

Troisièmement, rendez vos compétences vérifiables et livrables. Je recommande de suivre une formation complète et d’obtenir une certification. Attention, la valeur d’une certification n’est pas le papier, c’est qu’elle vous oblige à structurer vos expériences éparses en un système — après l’avoir suivie, vous pouvez expliquer « ce que j’ai appris, ce que je peux faire, dans quels scénarios ça a été vérifié », au lieu de dire « j’ai regardé beaucoup de tutoriels ». Sur un CV, écrire « maîtrise de l’IA » vaut moins qu’une certification vérifiable ; pour les employeurs, « structuré et vérifiable » est un atout qui fait la différence sur les CV.

Ne considérez pas la certification comme « une fois obtenu, mon salaire augmente » — c’est de l’arnaque. Considérez-la comme « une contrainte solide pour moi-même afin d’organiser mes capacités en un système », c’est là sa véritable valeur.


Épilogue

Shiwen : Pour finir, un résumé en une phrase ? Yongliang : Les modèles sont encore loin de l’AGI, mais la distance qui vous sépare de « savoir utiliser l’IA » est plus courte que vous ne le pensez — la clé n’est pas de courir après le dernier modèle, mais de transformer ce que vous savez en quelque chose de prouvable. Shiwen : Cette phrase, nous la dédions à tous. À la prochaine.


[Profondeur technique] Pourquoi ne faut-il pas croire aveuglément les scores de benchmark ?

Nous avons parlé à plusieurs reprises de « décomposer les scores » dans cet épisode, alors approfondissons ce point technique : pourquoi pour un même modèle, les scores peuvent-ils varier autant ?

Premièrement, la méthodologie du harness. Pour un même ARC-AGI-3, le fait que le modèle dispose ou non de l’historique complet de la conversation, de quelle quantité de « brouillon » il dispose, change tout le résultat. Les 62,7 % et 99,9 % de GPT-6 sont le produit de cette différence de méthodologie. Le « score » n’est jamais une constante objective, c’est un résultat obtenu dans un cadre expérimental spécifique. Les médias ne rapportent que le score le plus élevé, c’est comme s’ils ne vous montraient que votre meilleur profil.

Deuxièmement, l’overfit (surentraînement sur le benchmark). Le problème des benchmarks publics, c’est que les équipes de développement connaissent les types de questions et peuvent entraîner le modèle de manière ciblée. ARC-AGI-2 était si difficile ? GPT-5.4 n’avait que 0,26 %. Moins d’un an plus tard, ARC-AGI-3 atteint directement 98,6 %. Est-ce que la capacité a vraiment autant augmenté ? Une partie est réelle, mais une grande part vient du fait que « le modèle a appris les astuces de ce concours ». C’est pourquoi dans le milieu, on réclame déjà « de nouveaux benchmarks fermés ».

Troisièmement, les benchmarks se « saturent », donc on change sans cesse. Quand ARC-AGI-2 a été surentraîné jusqu’à quasi 100 %, on a sorti ARC-AGI-3 avec un nouveau format. Le 98,6 % que vous voyez aujourd’hui sera probablement remis en cause l’année prochaine par un nouveau benchmark. Les scores courent après les benchmarks, pas après l’« intelligence ».

Pour les personnes ordinaires, il suffit de retenir une règle : pour juger si un modèle est bon, ne regardez pas le score le plus élevé en titre, regardez comment il se comporte sur vos propres tâches réelles. Demandez à GPT-6 de vous aider à écrire votre rapport hebdomadaire, à faire un tableau, à chercher des informations — s’il est pratique ou non, c’est plus fiable que n’importe quel benchmark.


Tableau de vérification des faits

Affirmation dans l’articleSource factuelle
GPT-6 Astra a été publié en limited preview le 3/9, accès public le 5/9Article Wikipédia « GPT-6 Astra »
Premier entraînement avec plus de 100 000 GPU (Stargate, Texas)Wikipédia citant les propos d’Aidan Clark, VP recherche d’OpenAI
Fenêtre de contexte de 1,1 million de tokensllm-stats.com / ComputingForGeeks, etc.
Prix 10 $/M entrée + 50 $/M sortie, environ 2,5 fois celui de SolOfficiel OpenAI + overchat.ai (Sol à 4 $/M)
Comparaison globale : 59,3 % (Astra) vs 55,5 % (Opus 5) vs 53,6 % (Sol)Page de publication officielle OpenAI
DeepSWE v1.1 : Astra 74,1 % vs Sol 72,7 %Vellum (citant le tableau Coding officiel d’OpenAI)
Deux scores différents (62,7 % et 99,9 %) sur le même benchmark ARC-AGI-3 (méthodologie du harness)ofox.ai / officiel ARC Prize
ARC-AGI-3 mesure l’« intelligence agentique » (explorer de nouveaux environnements, déduire les objectifs)Documentation officielle arcprize.org
À l’époque d’ARC-AGI-2, GPT-5.4 n’avait que 0,26 % (humains 100 %)happycapyguide citant les données ARC
Brockman a dit « pourrait finalement être considéré comme l’arrivée de l’AGI »Article Wikipédia
« Bienvenue dans l’ère de l’AGI »Titre d’Axios (pas les propos officiels d’OpenAI)
Le recurrent depth masque une partie de la chaîne de raisonnement, suscitant des inquiétudes sur la surveillabilitéWikipédia + The Information
Capacités de cybersécurité restreintes (testeurs Daybreak Blue)Wikipédia + CNBC
100 % sur ExploitBench, taux d’exécution de code arbitraire largement supérieur à la génération précédentegptunnel / page de publication officielle OpenAI
Sortie retardée après l’incident Hugging Face de juilletArticle Wikipédia
La certification est « un atout sur le CV, un tremplin, un apprentissage structuré », pas « garanti / augmentation de salaire »Point de vue personnel de l’invité, conforme aux règles de conformité


Différences pour la version Zhihu

  • Titre modifiable : « Le 98,6 % de GPT-6 comporte-t-il de l’exagération ? Démontons le piège des benchmarks de l’« ère de l’AGI » » (mots-clés pour le référencement longue traîne)
  • Déplacer la section Profondeur technique vers le haut : les lecteurs de Zhihu apprécient les raisonnements de fond ; on peut placer la partie « méthodologie du harness / overfit / saturation des benchmarks » de [Profondeur technique] après Q2, et ajouter une discussion méthodologique sur « pourquoi les benchmarks fermés sont difficiles à protéger contre le surentraînement »
  • Ajouter une perspective critique : ajouter dans Q2 une phrase sur « l’essence du langage de conférence de presse vs le langage technique » — pourquoi les entreprises d’IA aiment généralement utiliser des termes comme AGI, jalons, etc. : parce que l’attention équivaut au financement, ce qui explique l’exagération systématique à chaque sortie
  • Ajouter à la fin « Ce qui précède représente mon point de vue personnel,仅供 référence »

Notes de mise en page pour la version WeChat

  • Mettre en gras et en évidence sur le premier écran la phrase d’accroche « la force est réelle, mais l’AGI n’est que du discours », pour garantir un temps de lecture de 3 secondes
  • Conserver les phrases clés en gras : « plus un modèle est fort, moins on voit comment il pense », « les personnes qui osent juger et qui peuvent assumer les conséquences deviennent au contraire plus précieuses », « la valeur d’une certification n’est pas le papier, c’est qu’elle vous oblige à structurer vos expériences »
  • Les quatre points de « force » de Q1 peuvent être présentés sous forme d’une carte « liste des vraies compétences de GPT-6 », et le « 62,7 % vs 99,9 % » de Q2 sous forme d’un graphique comparatif, pour faciliter la lecture sur mobile
广告 · Advertisement