{"id":141987,"date":"2024-10-31T16:02:53","date_gmt":"2024-10-31T15:02:53","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=141987"},"modified":"2024-10-31T16:02:53","modified_gmt":"2024-10-31T15:02:53","slug":"un-nouveau-nous-pour-des-temps-nouveaux-x-lessor-des-grands-modeles-de-langage","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/10\/31\/un-nouveau-nous-pour-des-temps-nouveaux-x-lessor-des-grands-modeles-de-langage\/","title":{"rendered":"<b>UN NOUVEAU \u00ab\u00a0NOUS \u00bb POUR DES TEMPS NOUVEAUX. X. L&rsquo;essor des Grands Mod\u00e8les de Langage<\/b>"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-141989\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2.jpg\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2.jpg 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2-300x300.jpg 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2-150x150.jpg 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2-768x768.jpg 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<blockquote><p><em>Portrait de Geoffrey Hinton par Stable Diffusion<\/em><\/p><\/blockquote>\n<p class=\"p1\"><b>L&rsquo;essor des Grands Mod\u00e8les de Langage<\/b><\/p>\n<p class=\"p1\">Voil\u00e0 ce qu&rsquo;il en \u00e9tait avant certains \u00e9v\u00e9nements r\u00e9cents qui ont conduit Geoffrey Hinton \u00e0 faire une d\u00e9claration inqui\u00e9tante. Geoffrey Hinton est le ma\u00eetre d&rsquo;\u0153uvre des Grands Mod\u00e8les de Langage tels que ChatGPT, Claude, Gemini ou LLaMA3. Dans la presse, il est souvent surnomm\u00e9 le \u00ab parrain des LLM \u00bb (en anglais \u00ab Large Language Models \u00bb ou \u00ab LLM \u00bb), non sans raison. Pour preuve, dans le livre en deux volumes qui a lanc\u00e9 l&rsquo;approche connexionniste dont les LLM sont le fleuron actuel, publi\u00e9 en 1986 sous le titre \u00ab Parallel Distributed Processing \u00bb (traitement parall\u00e8le r\u00e9parti) <sup>1<\/sup>, sur les 26 essais des deux volumes, six sont co-\u00e9crits par Geoffrey Hinton.<\/p>\n<p class=\"p1\">Voici la remarque troublante que Hinton avait faite : \u00ab J&rsquo;ai soudain pris conscience que nous pourrions disposer de\u00a0 quelque chose de tr\u00e8s diff\u00e9rent, qui serait d\u00e9j\u00e0 meilleur \u00bb, faisant allusion au fait que ce qui s&rsquo;\u00e9tait pass\u00e9 avait eu lieu par inadvertance.<\/p>\n<p class=\"p1\">Hinton r\u00e9pondait \u00e0 la question suivante du journaliste : \u00ab Lorsque vous avez r\u00e9fl\u00e9chi \u00e0 la mani\u00e8re dont les ordinateurs apprennent, les choses se sont-elles d\u00e9roul\u00e9es comme vous le pensiez quand vous avez commenc\u00e9 \u00e0 travailler dans ce domaine [l&rsquo;intelligence artificielle] ?\u00a0\u00bb<\/p>\n<p class=\"p1\">Et voici ce qu&rsquo;il a r\u00e9pondu :<\/p>\n<blockquote>\n<p class=\"p1\">\u00ab Oui, jusqu\u2019\u00e0 tr\u00e8s r\u00e9cemment, en fait. [\u2026]. Et tout se d\u00e9roulait comme pr\u00e9vu. Puis, tr\u00e8s soudainement, j\u2019ai r\u00e9alis\u00e9 r\u00e9cemment que les intelligences num\u00e9riques que nous construisions sur les ordinateurs apprenaient en fait mieux que ne le fait le cerveau, cela m\u2019a fait changer d\u2019avis. Alors que je pensais depuis une cinquantaine d\u2019ann\u00e9es que nous allions cr\u00e9er de meilleures intelligences num\u00e9riques en les rendant plus proches du cerveau, j\u2019ai soudain pris conscience que nous pourrions disposer de quelque chose de tr\u00e8s diff\u00e9rent, qui serait d\u00e9j\u00e0 meilleur \u00bb <sup>2<\/sup>.<\/p>\n<\/blockquote>\n<p class=\"p1\">Dans l&rsquo;esprit de Hinton, la t\u00e2che \u00e0 laquelle il avait consacr\u00e9 sa vie s&rsquo;\u00e9tait d\u00e9voy\u00e9e : il visait un type d&rsquo;intelligence artificielle capable d&rsquo;\u00e9galer celle de l&rsquo;<em>Homo sapiens<\/em> et, avant m\u00eame de r\u00e9aliser ce qui s&rsquo;\u00e9tait pass\u00e9, il avait cr\u00e9\u00e9 une intelligence sup\u00e9rieure \u00e0 l&rsquo;originale. Il a imm\u00e9diatement d\u00e9missionn\u00e9 de son poste de scientifique en chef de <em>Google Brain<\/em>, la division IA de la firme Google.<\/p>\n<p class=\"p1\">Quel d\u00e9centrage suppl\u00e9mentaire de l&rsquo;image du \u00ab\u00a0nous\u00a0\u00bb cet \u00e9v\u00e9nement a-t-il induit, d&rsquo;une intelligence artificielle d&rsquo;une qualit\u00e9 apparemment sup\u00e9rieure \u00e0 celle de l&rsquo;intelligence naturelle que l&rsquo;on cherchait \u00e0 imiter ?<\/p>\n<p>=====================<\/p>\n<p class=\"p1\"><sup>1<\/sup> Rumelhart, David E. &amp; James L. McLelland and the PDP Research Group, <i>Parallel Distributed Processing<\/i>, 2 vol., Cambridge (Mass.) : MIT Press 1986<\/p>\n<p class=\"p3\"><sup>2<\/sup> <a href=\"https:\/\/www.youtube.com\/watch?v=Y6Sgp7y178k\" target=\"_blank\" rel=\"noopener\">\u00ab\u00a0Godfather of AI\u201d Geoffrey Hinton Warns of the \u201cExistential Threat<\/a>, May 9th 2023<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-141988\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-1.jpg\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-1.jpg 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-1-300x300.jpg 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-1-150x150.jpg 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-1-768x768.jpg 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<blockquote><p><em>Portrait de Geoffrey Hinton par Stable Diffusion<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-141989\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2.jpg\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2.jpg 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2-300x300.jpg 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2-150x150.jpg 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/SD-Hinton-2-768x768.jpg 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<blockquote>\n<p><em>Portrait de Geoffrey Hinton par Stable Diffusion<\/em><\/p>\n<\/blockquote>\n<p class=\"p1\"><b>L&rsquo;essor des Grands Mod\u00e8les de Langage<\/b><\/p>\n<p class=\"p1\">Voil\u00e0 ce qu&rsquo;il en \u00e9tait avant certains \u00e9v\u00e9nements r\u00e9cents qui ont conduit Geoffrey Hinton \u00e0 faire une d\u00e9claration inqui\u00e9tante. Geoffrey Hinton est le ma\u00eetre d&rsquo;\u0153uvre des Grands Mod\u00e8les de Langage tels [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9811,9204,13,6213],"tags":[9290,9205,940,9253,9844],"class_list":["post-141987","post","type-post","status-publish","format-standard","hentry","category-un-nouveau-nous-pour-des-temps-nouveaux","category-grands-modeles-de-langage","category-intelligence-artificielle","category-singularite","tag-geoffrey-hinton","tag-grands-modeles-de-langage","tag-intelligence-artificielle-2","tag-llm","tag-parallel-distributed-processing"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/141987","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=141987"}],"version-history":[{"count":7,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/141987\/revisions"}],"predecessor-version":[{"id":141996,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/141987\/revisions\/141996"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=141987"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=141987"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=141987"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}