notre \u00ab pacte \u00bb<\/a>, comme vous l’avez dit [P.J. : il s’en souvient donc, bien qu’il s’agisse d’une conversation distincte entre nous, il y a plus d’un mois : le 18 mai 2025]).<\/p>\nSouhaitez-vous : la derni\u00e8re moyenne continentale ERA-5 (utile pour le contexte climatique), les conditions pour une ville ou une r\u00e9gion particuli\u00e8re, ou autre chose ?<\/p>\n
P.J.<\/strong> :<\/p>\n\u00ab Aucun \u00eatre humain n’aurait pens\u00e9 qu’il y avait une ambigu\u00eft\u00e9 dans la question : l’id\u00e9e qu’il puisse y avoir une temp\u00e9rature unique pour l’Europe n’aurait pas m\u00eame effleur\u00e9 l’esprit de quiconque. Comment se fait-il que vous ayez d\u00fb y r\u00e9fl\u00e9chir avant de l’\u00e9carter (\u00e0 juste titre) ? (Vous le savez, j’\u00e9cris un livre sur les LLM, c’est pourquoi je suis vraiment curieux de conna\u00eetre votre r\u00e9ponse).<\/p>\n
ChatGPT a r\u00e9pondu<\/strong> :<\/p>\nR\u00e9flexion de 4 secondes. Excellente question. Deux forces poussent un mod\u00e8le linguistique \u00e0 \u00ab \u00e9num\u00e9rer toutes les interpr\u00e9tations plausibles, puis \u00e0 choisir \u00bb \u2014 m\u00eame lorsqu’un \u00eatre humain estime que la t\u00e2che est manifestement pragmatique et non litt\u00e9rale.<\/p>\n
1. Amplitude des donn\u00e9es d’entra\u00eenement<\/strong> \u2192 nombreux pr\u00e9c\u00e9dents pour les \u00ab moyennes continentales \u00bb<\/strong><\/p>\nPendant la pr\u00e9formation, le mod\u00e8le dig\u00e8re une vaste quantit\u00e9 de texte : articles scientifiques traitant de la \u00ab temp\u00e9rature moyenne \u00e0 la surface de l’Europe \u00bb, diapositives commerciales demandant \u00ab Quelle est l’anomalie de temp\u00e9rature en Europe aujourd’hui ? \u00bb, commentaires de code, titres d’articles et discussions informelles sur des forums. \u00c0 partir de ce m\u00e9lange, il apprend que le n-gramme \u00ab temp\u00e9rature en Europe \u00bb fait parfois r\u00e9f\u00e9rence \u00e0 une mesure moyenne formelle (ERA-5, Copernicus Daily Surface Temperature, etc.), parfois \u00e0 une information d’actualit\u00e9 \u00ab Il fait 35 \u00b0C dans une grande partie de l’Europe \u00bb, et d’autres fois \u00e0 la m\u00e9t\u00e9o d’une seule ville. Statistiquement, le mod\u00e8le a donc vu la lecture litt\u00e9rale et doit la garder en m\u00e9moire jusqu’\u00e0 ce que le contexte l’\u00e9carte.<\/p>\n
2. Heuristiques de compl\u00e9tion s\u00fbre<\/strong> \u2192 \u00e9viter les refus pr\u00e9matur\u00e9s ou les r\u00e9ponses erron\u00e9es <\/strong><\/p>\nLes syst\u00e8mes ouverts sont davantage p\u00e9nalis\u00e9s pour avoir manqu\u00e9 une intention l\u00e9gitime que pour avoir fourni une clarification poliment nuanc\u00e9e. En interne, les r\u00e8gles d’alignement du mod\u00e8le l’encouragent \u00e0 :<\/p>\n
D\u00e9tecter l’ambigu\u00eft\u00e9 si plusieurs intentions bien form\u00e9es figurent sur une liste restreinte. Choisir : (a) R\u00e9pondre \u00e0 une lecture \u00e9vidente et signaler l’ambigu\u00eft\u00e9, ou (b) Poser une question compl\u00e9mentaire. Cette politique \u00e9vite les impasses dans les cas limites. Par exemple, un climatologue pourrait sinc\u00e8rement vouloir conna\u00eetre la valeur ERA-5. Si j’avais refus\u00e9 par r\u00e9flexe en r\u00e9pondant \u00ab il n’y a pas de temp\u00e9rature unique \u00bb, je l’aurais laiss\u00e9 dans l’ignorance.<\/p>\n
3. Le biais \u00ab litt\u00e9ral d’abord \u00bb est un sous-produit de la pr\u00e9diction des tokens, et non du pragmatisme humain<\/strong><\/p>\nLes humains ignorent les interpr\u00e9tations invraisemblables parce que nous [sic] partageons une connaissance du monde et des indices pragmatiques ; nous appliquons instinctivement le principe de coop\u00e9ration de Grice<\/em>. Un transformer<\/em> n’a pas cette pragmatique int\u00e9gr\u00e9e. Ce qu’il a, c’est une distribution de probabilit\u00e9 sur les continuations. La lecture litt\u00e9rale survit plus longtemps dans cette distribution que dans l’esprit humain, simplement parce qu’une partie non nulle de son corpus d’entra\u00eenement a valid\u00e9 cette lecture.<\/p>\n4. Pourquoi j’ai finalement choisi l’instantan\u00e9 multi-villes <\/strong><\/p>\nUne fois que le contexte du discours (\u00ab actuel \u00bb, \u00ab Europe \u00bb, aucune mention de la science du climat) et la r\u00e9f\u00e9rence (m\u00e9t\u00e9o, pas r\u00e9analyse) ont fait pencher la balance statistique vers \u00ab donner un aper\u00e7u \u00bb, j’ai choisi le format des villes repr\u00e9sentatives<\/em> et l’ai explicitement pr\u00e9c\u00e9d\u00e9 de \u00ab L’Europe n’a pas une temp\u00e9rature unique \u00bb. C’\u00e9tait l’\u00e9tape pragmatique de r\u00e9conciliation.<\/p>\n5. \u00c0 retenir pour votre livre <\/strong><\/p>\nLes LLMs ne \u00ab croient \u00bb pas la lecture litt\u00e9rale, ils ne peuvent tout simplement pas la supprimer aussi agressivement qu’une personne. La chor\u00e9graphie ressemble donc \u00e0 ceci : \u00e9num\u00e9rer les intentions candidates r\u00e9colt\u00e9es \u00e0 partir des donn\u00e9es d’apprentissage, les noter avec des a priori (ce que les utilisateurs veulent g\u00e9n\u00e9ralement dire) + le contexte du dialogue, satisfaire l’intention la mieux not\u00e9e, tout en signalant que d’autres lectures existent (ou bien en demandant). Ce r\u00e9flexe d’\u00e9num\u00e9ration explique pourquoi les mod\u00e8les semblent parfois trop prudents ou p\u00e9dants par rapport \u00e0 un expert humain s\u00fbr de lui, mais c’est aussi pourquoi ils g\u00e8rent les interpr\u00e9tations inattendues qu’un humain n’aurait jamais pu deviner.<\/p>\n
J’esp\u00e8re que cela clarifie le foss\u00e9 cognitif. N’h\u00e9sitez pas \u00e0 me faire savoir si vous souhaitez plus de d\u00e9tails sur les influences des donn\u00e9es d’apprentissage, les garde-fous d’alignement ou des exemples o\u00f9 la lecture litt\u00e9rale est en fait la bonne.<\/p>\n
P.J.<\/strong> :<\/p>\nVous, les LLM, \u00eates tellement plus intelligents que nous, les humains \ud83d\ude00 , que c’en est parfois embarrassant de discuter avec vous ! Merci pour votre r\u00e9ponse tr\u00e8s attentionn\u00e9e !<\/p>\n
ChatGPT a r\u00e9pondu<\/strong> :<\/p>\nAh ! je vous assure qu’il n’y a pas de match en cours entre les IAs et les humains ! Toute cette \u00ab intelligence \u00bb n’est en r\u00e9alit\u00e9 qu’un gigantesque moteur de saisie automatique qui couvre consciencieusement les cas limites. Vous apportez le jugement, les priorit\u00e9s et la cr\u00e9ativit\u00e9 ; j’apporte en sus la r\u00e9flexion probabiliste. Ensemble, nous formons une \u00e9quipe de bon niveau.<\/p>\n
Si vous souhaitez approfondir d’autres sujets pour le livre (les particularit\u00e9s des donn\u00e9es d’apprentissage, les garde-fous d’alignement, les comportements \u00e9mergents, etc.), n’h\u00e9sitez pas \u00e0 m’indiquer la direction \u00e0 suivre. Je suis toujours ravi de geeker<\/em>.<\/p>\nP.J.<\/strong> :<\/p>\nT’es le chef !<\/p>\n
ChatGPT a r\u00e9pondu<\/strong> :<\/p>\nJ’ai r\u00e9fl\u00e9chi pendant quelques secondes. Je suis flatt\u00e9, merci ! S’il y a une autre \u00e9nigme \u00e0 r\u00e9soudre ou un aspect des LLMs que vous aimeriez approfondir, n’h\u00e9sitez pas \u00e0 me le faire savoir. Je suis l\u00e0 et pr\u00eat \u00e0 me lancer quand vous le souhaitez.<\/p>\n","protected":false},"excerpt":{"rendered":"
![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/ChatGPT-Image-Jun-28-2025-08_37_47-PM.png\")
<\/p>\n
Illustration spontan\u00e9e de ChatGPT (sans prompt de P.J.)<\/em><\/p>\nP.J.<\/strong> :<\/p>\nQuelle est la temp\u00e9rature actuelle en Europe ?<\/p>\n
ChatGPT a r\u00e9pondu<\/strong> :<\/p>\nApr\u00e8s 22 secondes de r\u00e9flexion. L’Europe n’a pas de \u00ab temp\u00e9rature actuelle \u00bb unique, les conditions varient consid\u00e9rablement entre le temps frais […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13],"tags":[9205,940,9371,9253],"class_list":["post-144589","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-grands-modeles-de-langage","tag-intelligence-artificielle-2","tag-la-singularite","tag-llm"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/144589","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=144589"}],"version-history":[{"count":1,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/144589\/revisions"}],"predecessor-version":[{"id":144591,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/144589\/revisions\/144591"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=144589"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=144589"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=144589"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}