{"id":140687,"date":"2024-07-03T11:49:23","date_gmt":"2024-07-03T09:49:23","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=140687"},"modified":"2024-07-03T11:55:28","modified_gmt":"2024-07-03T09:55:28","slug":"geoffrey-hinton-cest-quoi-comprendre-ou-comment-le-cerveau-traite-les-mots","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/07\/03\/geoffrey-hinton-cest-quoi-comprendre-ou-comment-le-cerveau-traite-les-mots\/","title":{"rendered":"<b>Geoffrey Hinton : C\u2019est quoi comprendre ? ou Comment le cerveau traite les mots.<\/b>"},"content":{"rendered":"<p><a href=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr.webp\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-140693\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr.webp\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr.webp 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr-300x300.webp 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr-150x150.webp 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr-768x768.webp 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><\/p>\n<blockquote><p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p><\/blockquote>\n<blockquote><p>L&rsquo;entretien a eu lieu \u00e0 Londres le 15 mai 2024. La vid\u00e9o s&rsquo;intitule \u00ab\u00a0Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition\u00a0\u00bb, donc \u00ab\u00a0Travailler avec Ilya [Sutskever], choisir les probl\u00e8mes, et le pouvoir de l&rsquo;intuition\u00a0\u00bb. Comme vous le verrez si vous regardez la vid\u00e9o en entier, l&rsquo;h\u00f4te, Joel Hellermark, est surtout int\u00e9ress\u00e9 de comprendre ce que c&rsquo;\u00e9tait qu&rsquo;avoir Ilya Sutskever comme \u00e9tudiant th\u00e9sard puis comme collaborateur. Or, la question met manifestement Hinton tr\u00e8s mal \u00e0 l&rsquo;aise : il plaisante et botte en touche jusqu&rsquo;\u00e0 ce que l&rsquo;h\u00f4te laisse tomber.<\/p>\n<p>Rappel : Geoffrey Hinton est surnomm\u00e9 le \u00ab\u00a0parrain des Grands Mod\u00e8les de Langage\u00a0\u00bb (tel ChatGPT). Ilya Sutskever fut longtemps chercheur en chef chez OpenAI (qui a produit ChatGPT), il \u00e9tait en novembre dernier l&rsquo;un des co-conspirateurs du coup d&rsquo;\u00c9tat rat\u00e9 contre le P-DG Sam Altman ; il a cr\u00e9\u00e9 le 20 juin sa propre firme : SSI (Safe Superintelligence Inc.).<\/p><\/blockquote>\n<p><iframe loading=\"lazy\" title=\"YouTube video player\" src=\"https:\/\/www.youtube.com\/embed\/n4IQOBka8bc?si=5O5jzj-Xx94dzZM2&amp;start=1110\" width=\"700\" height=\"450\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><span data-mce-type=\"bookmark\" style=\"display: inline-block; width: 0px; overflow: hidden; line-height: 0;\" class=\"mce_SELRES_start\">\ufeff<\/span><\/iframe><\/p>\n<p class=\"p1\"><strong>Joel Hellermark<\/strong> :<\/p>\n<p class=\"p1\">Le cerveau humain a-t-il \u00e9volu\u00e9 pour bien fonctionner avec le langage ou pensez-vous que le langage a \u00e9volu\u00e9 pour bien fonctionner avec le cerveau humain ?<\/p>\n<p class=\"p1\"><strong>Geoffrey Hinton<\/strong> :<\/p>\n<p class=\"p1\">Je pense que la question de savoir si le langage a \u00e9volu\u00e9 pour fonctionner avec le cerveau ou si le cerveau a \u00e9volu\u00e9 \u00e0 partir du langage est une tr\u00e8s bonne question. Il me semble que voici ce qui s&rsquo;est pass\u00e9 : j&rsquo;avais auparavant l&rsquo;impression que nous pouvions accomplir de nombreuses t\u00e2ches cognitives sans avoir besoin du langage, mais j&rsquo;ai maintenant un peu chang\u00e9 d&rsquo;avis. Permettez-moi donc de vous pr\u00e9senter trois points de vue diff\u00e9rents sur le langage et ses liens avec la cognition.<\/p>\n<p class=\"p1\">Il y a la vision symbolique \u00e0 l&rsquo;ancienne, selon laquelle la cognition consiste \u00e0 disposer de cha\u00eenes de symboles dans une sorte de langage logique \u00e9pur\u00e9 o\u00f9 il n&rsquo;y a pas d&rsquo;ambigu\u00eft\u00e9 et \u00e0 appliquer des r\u00e8gles d&rsquo;inf\u00e9rence. Et c&rsquo;est ce que serait la cognition : ce ne sont que des manipulations symboliques de choses qui sont comme des cha\u00eenes de symboles linguistiques. Il s&rsquo;agit l\u00e0 d&rsquo;un point de vue extr\u00eame.<\/p>\n<p class=\"p1\">Le point de vue oppos\u00e9 est le suivant : \u00ab\u00a0Non, non : une fois que vous \u00eates \u00e0 l&rsquo;int\u00e9rieur de la t\u00eate, ce ne sont que des vecteurs !\u00a0\u00bb. Les symboles entrent donc et vous convertissez ces symboles en grands vecteurs et tout ce qui se passe \u00e0 l&rsquo;int\u00e9rieur est fait avec de grands vecteurs. Ensuite, si vous voulez que \u00e7a se r\u00e9assemble, vous produisez \u00e0 nouveau des symboles.<\/p>\n<p class=\"p1\">Il y a donc eu un moment dans la traduction automatique, vers 2014, o\u00f9 les gens ont utilis\u00e9 des r\u00e9seaux neuronaux r\u00e9currents et des mots qui continuaient d&rsquo;arriver, qui avaient un \u00e9tat cach\u00e9 (<i>hidden state<\/i>) et qui continuaient d&rsquo;accumuler des informations dans cet \u00e9tat cach\u00e9. Lorsqu&rsquo;ils arrivent \u00e0 la fin d&rsquo;une phrase, ils disposent d&rsquo;un grand vecteur cach\u00e9 qui capture le sens de cette phrase et qui peut ensuite \u00eatre utilis\u00e9 pour produire la phrase dans une autre langue. C&rsquo;est ce qu&rsquo;on appelle un vecteur de pens\u00e9e (<i>thought vector<\/i>), et c&rsquo;est une sorte de deuxi\u00e8me vision du langage : on convertit le langage en un grand vecteur. Il n&rsquo;y a rien de tel que le langage, et c&rsquo;est l\u00e0 tout ce dont il s\u2019agit avec la cognition.<\/p>\n<p class=\"p1\">Mais il y a aussi une troisi\u00e8me vision, qui est celle \u00e0 laquelle je crois aujourd&rsquo;hui : on prend ces symboles, on les convertit en ench\u00e2ssements (<i>embeddings <\/i>&#8211; sous forme de vecteurs) et on utilise plusieurs couches de ces ench\u00e2ssements. Vous obtenez ainsi des ench\u00e2ssements tr\u00e8s riches. Mais les ench\u00e2ssements sont tellement li\u00e9s aux symboles que vous avez un grand vecteur pour ce symbole-ci, un grand vecteur pour ce symbole-l\u00e0 et ces vecteurs interagissent pour produire le vecteur qui g\u00e9n\u00e9rera le symbole du mot suivant.<\/p>\n<p class=\"p1\">Et c&rsquo;est cela \u00ab\u00a0comprendre\u00a0\u00bb : comprendre, c&rsquo;est savoir comment convertir les symboles en ces vecteurs, et savoir comment les \u00e9l\u00e9ments du vecteur doivent interagir pour pr\u00e9dire le vecteur du symbole suivant. Voil\u00e0 ce qu&rsquo;est la compr\u00e9hension, \u00e0 la fois dans ces grands mod\u00e8les de langage et dans notre cerveau.<\/p>\n<p class=\"p1\">Voil\u00e0 un exemple qui est donc un juste milieu : vous restez avec les symboles, mais vous les interpr\u00e9tez comme de grands vecteurs et c&rsquo;est l\u00e0 que se situe tout le travail. Toute la connaissance r\u00e9side dans les vecteurs utilis\u00e9s et dans la mani\u00e8re dont les \u00e9l\u00e9ments de ces vecteurs interagissent, et non dans les r\u00e8gles symboliques. Mais il ne s&rsquo;agit pas d&rsquo;abandonner compl\u00e8tement le symbole, il s&rsquo;agit de transformer les symboles en vecteurs, tout en conservant la structure superficielle en symboles. Et c&rsquo;est ainsi que ces mod\u00e8les fonctionnent. Et c&rsquo;est ce qui me semble \u00eatre un mod\u00e8le plus plausible de la pens\u00e9e humaine.<\/p>\n<blockquote><p><em>P.J. : \u00ab\u00a0&#8230; la mani\u00e8re dont les \u00e9l\u00e9ments de ces vecteurs interagissent.\u00a0\u00bb Tout est l\u00e0 !<\/p>\n<p>(\u00e0 suivre&#8230;)<\/em><\/p><\/blockquote>\n<p><a href=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.27-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-very-large-square-arrangement-of-numbers-forming.webp\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-140694\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.27-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-very-large-square-arrangement-of-numbers-forming.webp\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.27-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-very-large-square-arrangement-of-numbers-forming.webp 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.27-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-very-large-square-arrangement-of-numbers-forming-300x300.webp 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.27-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-very-large-square-arrangement-of-numbers-forming-150x150.webp 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.27-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-very-large-square-arrangement-of-numbers-forming-768x768.webp 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><\/p>\n<blockquote><p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"<p><a href=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr.webp\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-140693\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr.webp\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr.webp 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr-300x300.webp 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr-150x150.webp 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-07-03-11.41.02-A-detailed-illustration-of-a-human-brain-sliced-to-show-the-inside.-In-the-sliced-section-there-is-a-large-square-arrangement-of-numbers-forming-a-gr-768x768.webp 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><\/p>\n<blockquote>\n<p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p>L&rsquo;entretien a eu lieu \u00e0 Londres le 15 mai 2024. La vid\u00e9o s&rsquo;intitule \u00ab\u00a0Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition\u00a0\u00bb, donc \u00ab\u00a0Travailler avec Ilya [Sutskever], choisir les probl\u00e8mes, et le pouvoir de l&rsquo;intuition\u00a0\u00bb. Comme [&hellip;]<\/p>\n<\/blockquote>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13],"tags":[9663,9666,9512,9290,9205,9306,940,9238,9253,9511],"class_list":["post-140687","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-complexe-significabile","tag-comprehension","tag-connexionnisme","tag-geoffrey-hinton","tag-grands-modeles-de-langage","tag-ilya-sutskever","tag-intelligence-artificielle-2","tag-langage","tag-llm","tag-reseau-neuronal"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140687","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=140687"}],"version-history":[{"count":11,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140687\/revisions"}],"predecessor-version":[{"id":140704,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140687\/revisions\/140704"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=140687"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=140687"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=140687"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}