![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-07-26-11.47.40-The-cat-is-on-the-sofa-as-digital-art.png\")
<\/p>\n<\/p>\n
Illustration par DALL-E (+PJ)<\/em><\/p>\n Pour celles et ceux, rares, qui l\u2019ignoreraient encore, \u00ab\u00a0ChatGPT\u00a0\u00bb est en effet le nom commercial d\u2019une Intelligence Artificielle produite par la firme californienne OpenAI. L\u2019appellation d\u00e9signe plus sp\u00e9cifiquement la lign\u00e9e des logiciels diffus\u00e9s \u00e0 partir de la version 3.5 publi\u00e9e le 30 novembre 2022. La version 4, consid\u00e9rablement plus puissante fut lanc\u00e9e elle le 14 mars 2023, \u00e0 peine trois mois et demi plus tard. Lorsque l\u2019on \u00e9voque la \u00ab\u00a0Singularit\u00e9\u00a0\u00bb, c\u2019est \u00e0 propos de GPT-4. ChatGPT appartient \u00e0 la famille des IA qualifi\u00e9es de \u00ab\u00a0Large Language Models\u00a0\u00bb (LLM), les Grands Mod\u00e8les de Langage. J\u2019utiliserai l\u2019acronyme \u00ab\u00a0LLM\u00a0\u00bb par la suite.<\/p>\n Le pr\u00e9fixe \u00ab\u00a0chat\u00a0\u00bb, mot qui signifie \u00ab\u00a0bavarder\u00a0\u00bb en anglais, renvoie \u00e0 l\u2019expression \u00ab\u00a0chatbot\u00a0\u00bb dont le suffixe \u00ab\u00a0bot\u00a0\u00bb est emprunt\u00e9 lui au mot \u00ab\u00a0robot\u00a0\u00bb : un chatbot<\/i> est un logiciel avec lequel l\u2019utilisateur peut s\u2019entretenir. Un chatbot <\/i>est en g\u00e9n\u00e9ral li\u00e9 \u00e0 un usage particulier, \u00eatre par exemple l\u2019interface-consommateur d\u2019un organisme ou d\u2019une firme. La particularit\u00e9 de ChatGPT est que l\u2019utilisateur obtient de lui au contraire une information tr\u00e8s compl\u00e8te sur un sujet quelconque ou peut recourir \u00e0 ses services pour des t\u00e2ches diverses telles que commander un repas.<\/p>\n Quel que soit le sujet sur lequel on l\u2019interroge, ChatGPT g\u00e9n\u00e8re en r\u00e9ponse, un texte. L\u2019utilisateur lui soumet une question et, aussit\u00f4t celle-ci entr\u00e9e, le logiciel imprime sur l\u2019\u00e9cran, un mot \u00e0 la fois mais \u00e0 vive allure, un expos\u00e9 \u00e0 la fois circonstanci\u00e9 et synth\u00e9tique de ce qui est su \u00e0 ce sujet.<\/p>\n Le format est celui absolument classique de la dissertation : dans un premier temps, l\u2019opinion dominante est pr\u00e9sent\u00e9e, dans un deuxi\u00e8me temps est \u00e9nonc\u00e9e la liste des objections majeures \u00e9mises \u00e0 son encontre, tandis que, dans un troisi\u00e8me temps, est expliqu\u00e9 pourquoi il est raisonnable de ne pas adopter telle quelle, l\u2019opinion dominante, et dans quelle mesure il est l\u00e9gitime, dans une perspective de recherche du juste milieu, de tenir compte des objections soulev\u00e9es ici et l\u00e0. L\u2019opinion propos\u00e9e en mati\u00e8re de conclusion est une synth\u00e8se de celle dominante et d\u2019un choix de critiques qui lui ont \u00e9t\u00e9 int\u00e9gr\u00e9es du fait qu\u2019elles apparaissent justifi\u00e9es. ChatGPT rappelle g\u00e9n\u00e9ralement, aussi bien en conclusion que dans son introduction, les limitations qui sont les siennes en mati\u00e8re de savoir. Ces remarques apparaissent le plus souvent obs\u00e9quieuses et involontairement condescendantes, tant les connaissances du LLM sont clairement sup\u00e9rieures \u00e0 celles de l\u2019utilisateur moyen qui l\u2019interroge.<\/p>\n La fa\u00e7on dont ChatGPT op\u00e8re est indiqu\u00e9e par la seconde partie de son nom, \u00ab\u00a0GPT\u00a0\u00bb est en effet l\u2019acronyme de Generative Pre-trained Transformer<\/i> : transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9. \u00ab\u00a0G\u00e9n\u00e9ratif\u00a0\u00bb parce qu\u2019il g\u00e9n\u00e8re des phrases, \u00ab\u00a0pr\u00e9-entra\u00een\u00e9\u00a0\u00bb parce que son savoir a \u00e9t\u00e9 acquis par un long apprentissage fond\u00e9 sur des milliards de phrases, et \u00ab\u00a0transformateur\u00a0\u00bb parce que son moteur est le \u00ab\u00a0transformer\u00a0\u00bb un m\u00e9canisme invent\u00e9 en 2017 dont la fonction est de comprendre le sens des phrases, des paragraphes et de textes entiers (mais d\u2019une longueur maximale), en combinant le sens de leurs mots.<\/p>\n Pour se constituer un vocabulaire et disposer d\u2019une information pertinente \u00e0 communiquer quand on le consulte, ChatGPT a pr\u00e9alablement encod\u00e9 en tant que poids associ\u00e9s aux liens qui connectent entre eux les neurones du r\u00e9seau neuronal qui constitue sa m\u00e9moire, un nombre consid\u00e9rable de faits glan\u00e9s ici et l\u00e0, essentiellement sur la toile mais aussi sous la forme du contenu de l\u2019ensemble des livres ayant \u00e9t\u00e9 num\u00e9ris\u00e9s. C\u2019est cela que l\u2019on appelle le pre-training<\/i> : <\/i>l\u2019apprentissage pr\u00e9alable : l\u2019encodage de ces milliards de poids permettant de g\u00e9n\u00e9rer des phrases pertinentes en sortie. Ce \u00e0 quoi ChatGPT aura eu acc\u00e8s a bien \u00e9videmment \u00e9t\u00e9 d\u00e9termin\u00e9 par ceux de ses programmeurs qui d\u00e9finissent la cadre de son corpus d\u2019apprentissage, \u00e9tant entendu qu\u2019\u00e0 leurs yeux, le plus s\u2019identifie globalement au<\/span> mieux.<\/p>\n Son acc\u00e8s quasi illimit\u00e9 \u00e0 l\u2019Internet aura permis \u00e0 ChatGPT de se constituer un capital de savoir d\u2019un volume incomparable en taille \u00e0 celui auquel nous, acteurs humains individuels, avons la capacit\u00e9 d\u2019acc\u00e9der. Les informations qu\u2019il a assimil\u00e9es lui sont d\u2019autant plus pertinentes qu\u2019elles lui auront \u00e9t\u00e9 transmises \u00e0 de nombreuses reprises et sous de multiples formes, leur fr\u00e9quence \u00e0 chacune \u00e9tant spontan\u00e9ment interpr\u00e9t\u00e9e par le logiciel comme le degr\u00e9 de leur confirmation.<\/p>\n Vous aurez lu sans doute que ChatGPT est \u00ab\u00a0purement probabiliste\u00a0\u00bb, m\u00eame des vulgarisateurs assez talentueux r\u00e9p\u00e9tant cela, qui nous expliquent que les LLM, dont ChatGPT est l\u2019un des repr\u00e9sentants, produisent des phrases alignant \u00e0 la queue-leu-leu derri\u00e8re le mot qui vient d\u2019\u00eatre prononc\u00e9 celui que l\u2019on rencontre le plus souvent \u00e0 sa suite dans la langue. Si c\u2019\u00e9tait effectivement le cas, \u00e0 la question \u00ab\u00a0O\u00f9 est le chat\u00a0?\u00a0\u00bb, ChatGPT r\u00e9pondrait : \u00ab\u00a0Le chat est sur le canap\u00e9\u00a0\u00bb. Or ce n\u2019est pas cela que le LLM r\u00e9pond, il dit ceci :<\/p>\n \u00ab\u00a0En tant que mod\u00e8le de langage bas\u00e9 sur l’intelligence artificielle, je n’ai pas la capacit\u00e9 de percevoir le monde r\u00e9el ni de conna\u00eetre des informations sp\u00e9cifiques en temps r\u00e9el. Par cons\u00e9quent, je ne suis pas en mesure de vous dire o\u00f9 se trouve un chat sp\u00e9cifique \u00e0 un moment donn\u00e9. Si vous cherchez votre propre chat, je vous sugg\u00e8re de v\u00e9rifier les endroits o\u00f9 il aime se cacher ou de le chercher dans la maison. Si vous faites r\u00e9f\u00e9rence \u00e0 un chat virtuel ou \u00e0 une image de chat, veuillez pr\u00e9ciser votre demande.\u00a0\u00bb<\/p>\n Il n\u2019est question dans cette r\u00e9ponse, ni de canap\u00e9, ni de sofa, ni de fauteuil ou de carpette, et l\u2019on conviendra ais\u00e9ment que le mot le plus commun dans la langue apr\u00e8s chat n\u2019est pas, comme on le voit ici dans cette r\u00e9ponse, \u00ab\u00a0sp\u00e9cifique\u00a0\u00bb ou \u00ab\u00a0virtuel\u00a0\u00bb.<\/p>\n D\u2019o\u00f9 vient alors cette id\u00e9e d\u2019un ChatGPT \u00ab\u00a0purement probabiliste\u00a0\u00bb\u00a0? Du fait que son comportement par d\u00e9faut consiste bien \u00e0 r\u00e9gurgiter l\u2019\u00ab\u00a0opinion modale\u00a0\u00bb, c\u2019est-\u00e0-dire le plus souvent exprim\u00e9e, o\u00f9 chaque mot affich\u00e9 \u00e0 l\u2019\u00e9cran est suivi de celui le plus souvent rencontr\u00e9 \u00e0 sa suite dans l\u2019\u00e9chantillon de savoir que les donn\u00e9es d\u2019apprentissage ont constitu\u00e9. Mais, contrairement \u00e0 ce qu\u2019a cru comprendre un public peu averti, ce comportement par d\u00e9faut n\u2019est pas la m\u00e9thode qui a \u00e9t\u00e9 retenue, cette formule de cr\u00e9ation de s\u00e9quences o\u00f9 chaque mot g\u00e9n\u00e9r\u00e9 est suivi de son successeur le plus fr\u00e9quent ne produisant, on l\u2019imagine ais\u00e9ment, que des textes d\u2019une consternante banalit\u00e9.<\/p>\n Le concept effectivement central aux LLM agit seulement comme un c\u0153ur sur lequel viennent se greffer ensuite un nombre \u00e0 ce point consid\u00e9rable d\u2019autres \u00e9l\u00e9ments que le principe probabiliste central devient \u00e0 proprement parler m\u00e9connaissable, comme on l\u2019a vu dans le cas de la r\u00e9ponse de ChatGPT \u00e0 \u00ab\u00a0O\u00f9 est le chat\u00a0?\u00a0\u00bb.<\/p>\n Le c\u0153ur probabiliste de ChatGPT, c\u2019est une carte que le LLM a \u00e9tablie au cours de son apprentissage du corpus de mots dont il a ma\u00eetris\u00e9 le sens, autrement dit, la multiplicit\u00e9 de leurs usages. Sur cette carte, les concepts : les mots de \u00ab\u00a0contenu\u00a0\u00bb, par opposition aux mots d\u2019 \u00ab\u00a0armature\u00a0\u00bb que sont les articles, les pronoms, les pr\u00e9positions ou les conjonctions, sont situ\u00e9s selon la proximit\u00e9 qu\u2019ils entretiennent, \u00e0 savoir la probabilit\u00e9 qu\u2019il soit aussit\u00f4t question de l\u2019un s\u2019il a \u00e9t\u00e9 question de l\u2019autre, probabilit\u00e9 que l\u2019on calcule selon le principe statistique g\u00e9n\u00e9ral d\u00e9rivant de la \u00ab\u00a0loi des grands nombres\u00a0\u00bb, comme extrapolation de la fr\u00e9quence observ\u00e9e de leur association. Sur cette carte, la distance entre \u00ab\u00a0pomme\u00a0\u00bb et \u00ab\u00a0poire\u00a0\u00bb, par exemple, est plus courte que celle entre l\u2019un et l\u2019autre de ces mots et \u00ab\u00a0carburateur\u00a0\u00bb. On con\u00e7oit facilement que si ChatGPT fonctionnait de mani\u00e8re purement probabiliste, il devrait \u00e9puiser la liste enti\u00e8re des fruits avant de pouvoir \u00e9voquer le carburateur dans ses propos.<\/p>\n L\u2019information apprise ayant automatiquement \u00e9t\u00e9 r\u00e9pertori\u00e9e selon sa fr\u00e9quence, la machine pourra r\u00e9gurgiter des opinions qui diff\u00e8rent dans un degr\u00e9 pr\u00e9cis de l\u2019opinion modale o\u00f9 chaque mot est suivi de son successeur le plus fr\u00e9quemment rencontr\u00e9. Ce degr\u00e9 d\u2019\u00e9cart est ce qu\u2019on appelle la \u00ab\u00a0temp\u00e9rature\u00a0\u00bb du LLM. Les chercheurs ont d\u00e9termin\u00e9 par t\u00e2tonnement qu\u2019une temp\u00e9rature de 0,8 (le maximum de 1 \u00e9tant celui de l\u2019\u00ab\u00a0opinion modale\u00a0\u00bb) est celle qui s\u2019av\u00e8re la plus inventive et donc la plus susceptible de surprendre favorablement l\u2019utilisateur. Des temp\u00e9ratures beaucoup plus faibles que 0,8 g\u00e9n\u00e8rent elles des propos trop fantaisistes.<\/p>\n Rien n\u2019a \u00e9t\u00e9 con\u00e7u donc pour que ChatGPT invente de toutes pi\u00e8ces ce qu\u2019il avance : il se contente de puiser dans l\u2019\u00e9quivalent d\u2019une base de donn\u00e9es qui s\u2019est retrouv\u00e9e inscrite par apprentissage dans le r\u00e9seau neuronal qui lui tient office de m\u00e9moire. \u00c0 proprement parler, par rapport \u00e0 ce qui existait en mati\u00e8re d\u2019IA avant la mise au point de ces LLM, la valeur ajout\u00e9e n\u2019est pas dans un suppl\u00e9ment d\u2019information par rapport \u00e0 celle que l\u2019on savait comment collecter dans les projets ant\u00e9rieurs : elle n\u2019est pas dans le fait d\u2019avoir rassembl\u00e9 une mine de connaissances \u00e0 ce point gigantesque, elle est dans l\u2019habilet\u00e9 \u00e0 g\u00e9n\u00e9rer en r\u00e9ponse \u00e0 une question ou une observation (le \u00ab\u00a0prompt\u00a0\u00bb ou amorce), non pas un banal \u00ab\u00a0copi\u00e9-coll\u00e9\u00a0\u00bb, mais une synth\u00e8se d\u2019une excellente qualit\u00e9. Qualit\u00e9 \u00e0 ce point sup\u00e9rieure d\u2019ailleurs qu\u2019elle fasse douter qu\u2019il n\u2019y ait l\u00e0 rien de v\u00e9ritablement neuf, comme le r\u00e9p\u00e8te pourtant \u00e0 l\u2019envi ChatGPT lui-m\u00eame sur un ton d\u00e9sarmant.<\/p>\n Illustration par Stable Diffusion (+PJ)<\/em><\/p>\n","protected":false},"excerpt":{"rendered":" Illustration par DALL-E (+PJ)<\/em><\/p>\n Pour celles et ceux, rares, qui l\u2019ignoreraient encore, \u00ab\u00a0ChatGPT\u00a0\u00bb est en effet le nom commercial d\u2019une Intelligence Artificielle produite par la firme californienne OpenAI. L\u2019appellation d\u00e9signe plus sp\u00e9cifiquement la lign\u00e9e des logiciels diffus\u00e9s \u00e0 partir de la version 3.5 publi\u00e9e le […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13],"tags":[9084,9300,9205,940,9133],"class_list":["post-136896","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-chatgpt","tag-generative-pre-trained-transformer","tag-grands-modeles-de-langage","tag-intelligence-artificielle-2","tag-transformer"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136896","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=136896"}],"version-history":[{"count":5,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136896\/revisions"}],"predecessor-version":[{"id":136924,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136896\/revisions\/136924"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=136896"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=136896"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=136896"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/Stable-diffusion-the_cat_is_on_the_sofa_as_old_masters_oil_painting_uq4zxOWT03grehkgK0pz_7.jpg\")
<\/p>\n<\/p>\n