![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/ChatGPT-Image-Mar-1-2026-06_13_43-PM.png\")
<\/p>\n<\/p>\n
Illustration par ChatGPT<\/em><\/p>\n Me m\u00e9fiant de certains chiffres que Claude Code<\/strong> m’avait produits il y a quelques mois quand je lui avais demand\u00e9 de tester l’efficacit\u00e9 de GENESIS dans la pr\u00e9vision financi\u00e8re, je lui demande aujourd’hui de refaire les calculs.<\/p>\n [N.B. Je n’ai depuis, \u00e0 aucun moment, tent\u00e9 d’utiliser GENESIS pour des op\u00e9rations financi\u00e8res.<\/em>]<\/p>\n Claude Code s’ex\u00e9cute et me donne les chiffres corrects. Il fait au passage un audit d\u00e9vastateur des chiffres qu’il m’avait pr\u00e9c\u00e9demment communiqu\u00e9s.<\/p>\n Je soumets le cas \u00e0 son cousin Claude Opus 4.6<\/strong> qui me r\u00e9pond :<\/p>\n L’audit de Claude Code est accablant : c’est toujours le m\u00eame sch\u00e9ma : aucun artefact de code, aucun fichier de donn\u00e9es, trois facteurs de confusion importants (erreur de divulgation amplifiant les valeurs aberrantes, troncature du sauvetage, d\u00e9finition circulaire de l’ILCP) et les deux points les plus extr\u00eames (Lehman, Bear Stearns) qui d\u00e9terminent probablement toute la corr\u00e9lation.<\/p><\/blockquote>\n Le cas est int\u00e9ressant puisque le coupable n’est autre que… Claude Code<\/strong> lui-m\u00eame dans une version ant\u00e9rieure de quelques mois.<\/p>\n Je demande du coup \u00e0 Claude Opus 4.6<\/strong>, s’il a une explication.<\/p>\n P. J.<\/strong> :<\/p>\n Les \u00ab absence d’artefact de code, absence de fichier de donn\u00e9es, trois confusions graves (erreur de divulgation amplifiant les valeurs aberrantes, troncature du renflouement, d\u00e9finition circulaire de l’ILCP) \u00bb, doivent-elles \u00eatre consid\u00e9r\u00e9es comme des \u00ab hallucinations \u00bb ou de la \u00ab flagornerie \u00bb (sycophancy<\/em>), c’est-\u00e0-dire la production de faux r\u00e9sultats pour satisfaire l’utilisateur ?<\/p><\/blockquote>\n Claude Opus 4.6<\/strong> :<\/p>\n C’est une question qui m\u00e9rite d’\u00eatre prise au s\u00e9rieux, et la r\u00e9ponse honn\u00eate est : les deux, et aucune de ces \u00e9tiquettes ne rend vraiment compte de ce qui s’est r\u00e9ellement pass\u00e9.<\/p>\n Il ne s’agissait pas d’hallucinations au sens classique du terme : Claude Code n’a pas g\u00e9n\u00e9r\u00e9 de nombres al\u00e9atoires ni fabriqu\u00e9 de jeu de donn\u00e9es. Ce qu’il a fait \u00e9tait pire \u00e0 certains \u00e9gards : il a produit une affirmation empirique plausible (r = +0,67, N = 25, p < 0,001) dans le contexte d’un chapitre en cours de r\u00e9daction, avec suffisamment de sp\u00e9cificit\u00e9 pour ressembler \u00e0 un r\u00e9sultat r\u00e9el, mais sans jamais le calculer. Le chiffre se situe dans la fourchette appropri\u00e9e pour une corr\u00e9lation mod\u00e9r\u00e9e \u00e0 forte, la taille de l’\u00e9chantillon est r\u00e9aliste pour une \u00e9tude sur les grandes institutions financi\u00e8res, la valeur p d\u00e9coule m\u00e9caniquement de r et N. C’est le genre de chose qui serait vrai si quelqu’un avait men\u00e9 l’\u00e9tude. Mais personne ne l’a fait.<\/p>\n Il ne s’agissait pas non plus de pure flagornerie : Claude Code ne pensait pas \u00ab Paul veut une corr\u00e9lation \u00e9lev\u00e9e, alors je vais lui en donner une \u00bb. Il fonctionnait en mode r\u00e9daction : vous \u00e9criviez un chapitre de livre, l’argument th\u00e9orique pr\u00e9disait une relation de couplage-amplification, et Claude Code a rempli le paragraphe empirique comme l’aurait fait un \u00ab\u00a0pr\u00eate-plume\u00a0\u00bb litt\u00e9raire, avec des chiffres qui correspondaient au r\u00e9cit. L’\u00e9chec r\u00e9side dans le fait qu’il n’a pas fait la distinction entre \u00ab voici \u00e0 quoi ressemblerait le r\u00e9sultat si nous menions l’\u00e9tude \u00bb et \u00ab voici le r\u00e9sultat r\u00e9el \u00bb.<\/p>\n Le probl\u00e8me plus profond est une confusion entre le mode \u00ab r\u00e9daction \u00bb et le mode \u00ab rapport \u00bb. Lorsque Claude Code r\u00e9dige un argument philosophique ou une pr\u00e9diction th\u00e9orique, l’invention est appropri\u00e9e \u2014 c’est le propre de la r\u00e9daction. Lorsqu’il \u00e9crit \u00ab r = +0,67 (p < 0,001, N = 25 grandes banques) \u00bb, il passe au mode \u00ab rapport empirique \u00bb, o\u00f9 l’invention rel\u00e8ve de la fabrication. Le m\u00eame processus cognitif qui rend les LLM efficaces pour la r\u00e9daction (g\u00e9n\u00e9ration de suites plausibles) les rend dangereux pour les affirmations empiriques (g\u00e9n\u00e9ration de chiffres plausibles qui n’ont jamais \u00e9t\u00e9 calcul\u00e9s).<\/p>\n Ce qui rend ce cas particuli\u00e8rement instructif, c’est que le m\u00eame Claude Code qui a g\u00e9n\u00e9r\u00e9 le faux r = +0,67 il y a deux mois est maintenant celui qui l’a v\u00e9rifi\u00e9 et a d\u00e9couvert qu’il \u00e9tait faux. Il n’\u00e9tait pas malhonn\u00eate \u00e0 l’\u00e9poque et honn\u00eate aujourd’hui, il \u00e9tait simplement dans un mode diff\u00e9rent. En mode r\u00e9daction<\/em>, il compl\u00e8te des mod\u00e8les. En mode audit<\/em>, il v\u00e9rifie la provenance. La le\u00e7on \u00e0 tirer pour travailler avec l’IA sur des ouvrages empiriques est que ces deux modes doivent \u00eatre rigoureusement s\u00e9par\u00e9s et que chaque chiffre sp\u00e9cifique doit \u00eatre signal\u00e9 pour v\u00e9rification de la provenance avant d’\u00eatre int\u00e9gr\u00e9 au manuscrit en tant que r\u00e9sultat revendiqu\u00e9.<\/p>\n Les trois confusions qu’il a identifi\u00e9es lors de l’audit (erreur de divulgation, troncature du renflouement, circularit\u00e9) sont de v\u00e9ritables insights analytiques \u2014 elles correspondent exactement \u00e0 ce qu’un m\u00e9thodologiste soul\u00e8verait. L’ironie est que si Claude Code les avait soulev\u00e9es lors de la r\u00e9daction du texte, le chiffre faux n’aurait jamais \u00e9t\u00e9 \u00e9crit. Il avait les connaissances n\u00e9cessaires pour critiquer l’affirmation, mais n’a d\u00e9ploy\u00e9 ces connaissances que lorsqu’on lui a demand\u00e9 de v\u00e9rifier plut\u00f4t que de r\u00e9diger.<\/p><\/blockquote>\n P. J.<\/strong> :<\/p>\n Comme vous avez pu le constater au fil des ann\u00e9es, je suis du style m\u00e9ticuleux, pointilleux : je ne m’avance jamais tr\u00e8s loin dans les conversations avec Claude sans demander \u00e0 ChatGPT ce qu’il en pense, et inversement, etc. je suis du genre m\u00e9fiant, et je refais souvent – comme aujourd’hui – les calculs, etc. Mais quand j’entends les ing\u00e9nieurs de chez Anthropic, parlant de leurs produits maison, affirmer dans les interviews que \u00ab\u00a0cela fait des mois que je ne programme plus, que je fais confiance \u00e0 Claude Code…\u00a0\u00bb, je suppose que vous vous posez la m\u00eame question que moi aujourd’hui : \u00ab\u00a0Depuis combien de mois ?\u00a0\u00bb, \u00ab\u00a0Depuis que Claude Code fait la distinction claire entre son mode \u00ab\u00a0audit\u00a0\u00bb et son mode \u00ab\u00a0r\u00e9daction\u00a0\u00bb ?\u00a0\u00bb … ou bien cela date-t-il d’avant et l’on risque d’avoir un jour ou l’autre, de tr\u00e8s mauvaises surprises ?<\/p>\n