{"id":140015,"date":"2024-05-12T20:04:39","date_gmt":"2024-05-12T18:04:39","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=140015"},"modified":"2024-05-12T22:59:11","modified_gmt":"2024-05-12T20:59:11","slug":"les-grands-modeles-de-langage-pj-sattaquent-a-lemergence-i-un-eloge-intolerable-de-lobesite","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/05\/12\/les-grands-modeles-de-langage-pj-sattaquent-a-lemergence-i-un-eloge-intolerable-de-lobesite\/","title":{"rendered":"Les Grands Mod\u00e8les de Langage (+PJ) s’attaquent \u00e0 l’\u00e9mergence<\/em> !<\/b> I. Un \u00e9loge intol\u00e9rable de … l’ob\u00e9sit\u00e9 !"},"content":{"rendered":"

\"\"<\/a><\/p>\n

Illustration par DALL\u00b7E \u00e0 partir du texte.<\/em><\/p><\/blockquote>\n

Le mois dernier (du 6 au 9 avril), j’ai propos\u00e9 ici une s\u00e9rie de 6 billets<\/a> o\u00f9 je quadriloguais avec GPT-4 et une version d\u00e9doubl\u00e9e de Claude 3 \u00e0 propos de la conjecture P vs NP, une question classique d’informatique th\u00e9orique relative \u00e0 la relation – pour autant qu’il en existe une – entre la complexit\u00e9 de la solution d’un probl\u00e8me et la complexit\u00e9 de la v\u00e9rification qu’une solution a bien \u00e9t\u00e9 trouv\u00e9e.<\/p>\n

Vous avez sans doute vu ce qui s’est pass\u00e9 : \u00ab\u00a0M. Jorion, votre blog \u00e9tait le lieu de rendez-vous de personnes s’effor\u00e7ant de r\u00e9soudre de grands probl\u00e8mes de soci\u00e9t\u00e9 (je vous en remercie !) mais il s’est m\u00e9tamorphos\u00e9 en un club restreint de math\u00e9maticiens fascin\u00e9s par des casse-t\u00eates abscons. Je vous ai accompagn\u00e9\u00b7e jusqu’ici mais je suis forc\u00e9\u00b7e aujourd’hui de vous dire adieu : bonne chance \u00e0 vous dans vos coupages de cheveux en quatre !\u00a0\u00bb.<\/p>\n

J’ai \u00e9t\u00e9 d\u00e9contenanc\u00e9 par ces paroles de bon sens, et je n’ai pas publi\u00e9 la suite.<\/p>\n

Mal m’en a pris : c’est \u00e0 ce moment-l\u00e0 que j’ai commenc\u00e9 \u00e0 recevoir des mails du genre : \u00ab\u00a0M. Jorion, o\u00f9 ailleurs croyez-vous que l’on trouve des discussions – et des avanc\u00e9es – sur des questions v\u00e9ritablement fondamentales comme sur votre blog ? Que vous ont dit ensuite GPT-4 et Claude 3 (je bous d’impatience de l’apprendre !) ?\u00a0\u00bb.<\/p>\n

Tout cela pour vous annoncer que je suis all\u00e9 asticoter mes comparses sur la question de l’\u00e9mergence<\/em>.<\/p>\n

Vous avez d\u00fb comprendre que la chose qui nous sid\u00e8re dans les progr\u00e8s des Grands Mod\u00e8les de Langage (LLM) est le fait que des tas de choses qui nous semblaient absolument distinctes (par exemple : comprendre le sens d’un mot, ma\u00eetriser la syntaxe d’une phrase, comprendre le sens global d’une phrase, respecter les r\u00e8gles de la logique, se mettre \u00e0 la place d’un interlocuteur, exprimer ses sentiments), et pour lesquelles nous avons d\u00e9couvert des r\u00e8gles claires rendant compte de leur fonctionnement s\u00e9par\u00e9, sont en fait acquises \u00ab\u00a0les doigts dans le nez\u00a0\u00bb, l’une apr\u00e8s l’autre, par ces LLM, pour nulle autre raison que la croissance en taille de leur syst\u00e8me.<\/p>\n

Toutes ces remarquables capacit\u00e9s \u00e9mergent, l’une apr\u00e8s l’autre, quand on augmente, tout simplement, les moyens \u00e0 la disposition du syst\u00e8me. Nous n’\u00e9tions pas pr\u00e9par\u00e9s \u00e0 penser que l’intelligence \u00e9merge spontan\u00e9ment d’un syst\u00e8me d\u00e8s qu’il a atteint une certaine grosseur, nous pensions qu’un ingr\u00e9dient suppl\u00e9mentaire \u00e9tait indispensable, que nous appelions \u00ab\u00a0complexit\u00e9\u00a0\u00bb. Que l’intelligence apparaisse comme sous-produit de la complexit\u00e9<\/em>, pourquoi pas ? mais de la simple grosseur ! il y avait l\u00e0 comme un \u00e9loge intol\u00e9rable de … l’ob\u00e9sit\u00e9, qui constituerait une qualit\u00e9 en soi !<\/p>\n

Comprenons-nous pourquoi la taille change tout ? Non. Et il n’y a pas de raison de s’en offusquer : quand on passe d’un milliard de donn\u00e9es \u00e0 100 milliards, on a besoin d’un t\u00e9lescope pour regarder ce qui se passe, et s’armer alors d’un microscope appara\u00eet tr\u00e8s logiquement, hors de propos. Claude Roux \u00e9crivait ici tout \u00e0 l’heure<\/a> : \u00ab\u00a0C\u2019est l\u00e0 qu\u2019est le hic\u2026 Personne ne le sait vraiment.\u00a0\u00bb<\/p>\n

Mais c’est l\u00e0 aussi que Pribor.io<\/a> trouve toujours sa raison d’\u00eatre. Si l’on adopte une approche \u00ab\u00a0bottom-up\u00a0\u00bb, du bas vers le haut, par opposition \u00e0 l’approche \u00ab\u00a0top-down\u00a0\u00bb, du haut vers le bas, des LLM, on \u00e9vite d’\u00eatre aux abonn\u00e9s absents quand un effet d’\u00e9mergence a lieu : il a op\u00e9r\u00e9 sous nos yeux et l’on peut dire ce qui s’est pass\u00e9.<\/p>\n

Le logiciel d’IA que j’ai programm\u00e9 de 1987 \u00e0 1990 pour British Telecom<\/em> s’appelait ANELLA, pour Associative Network with Emergent Logical and Learning Abilities<\/em> : \u00ab\u00a0… \u00e0 capacit\u00e9s \u00e9mergentes de logique et d’apprentissage\u00a0\u00bb. Il m’a fallu les 34 ann\u00e9es qui s\u00e9parent 1990 de 2024 pour comprendre exactement comment la logique \u00e9mergeait d’une simple suite de mots. C’est qu’il s’agissait du produit d’une alchimie complexe entre l’univers des mots et celui du monde tel qu’il est.<\/p>\n

Je vous expliquerai cela un jour prochain, je me contente de vous le r\u00e9sumer aujourd’hui sous une formule sibylline : \u00ab\u00a0Les faits d’\u00e9mergence ont lieu dans la langue quand nous contraignons tout ce qu’elle permet par ce que le monde interdit lui de son c\u00f4t\u00e9\u00a0\u00bb. Exemple : la langue n’interdit pas aux objets de tomber du bas vers le haut, mais le monde lui : Oui ! Lacan (qui se payait notre pomme avec d\u00e9lectation mais avait cependant compris beaucoup de choses) appelait cela \u00ab\u00a0points de capiton\u00a0\u00bb, comme dans un matelas : pour que la cha\u00eene des signifiants<\/em>, les mots mis \u00e0 la queue-leu-leu, servent \u00e0 quelque chose, il faut qu’ici et l\u00e0, ils collent au R\u00e9el, \u00e0 la r\u00e9alit\u00e9 profonde des choses. Il n’est pas n\u00e9cessaire que cela ait lieu souvent (le monde \u00e9tant tr\u00e8s g\u00e9n\u00e9reux envers nous : il nous a offert cette facilit\u00e9 que nous vivions la plupart du temps confortablement dans un nuage), mais il faut que cela ait lieu de temps \u00e0 autre ici et l\u00e0.<\/p>\n

Ne vous \u00e9tonnez donc pas si dans la suite de cette nouvelle s\u00e9rie, GPT-4, Claude 3, LLaMA 3 et moi, nous nous interrogeons sur l’\u00e9mergence<\/em>, en vue de craquer ses myst\u00e8res. Faites-nous confiance : cela participe de la Singularit\u00e9 et non du coupage de cheveux en quatre dans laquelle l’humanit\u00e9 se compla\u00eet depuis qu’ayant invent\u00e9 le langage, elle ne cesse de … se saouler de mots !<\/p>\n

\"\"<\/a><\/p>\n

Illustration par DALL\u00b7E \u00e0 partir du texte.<\/em><\/p>\n

DALL\u00b7E : \u00ab\u00a0Voici les illustrations que vous avez demand\u00e9es. Elles repr\u00e9sentent M. Jorion dans son environnement intellectuel, en train de discuter avec des mod\u00e8les d’IA avanc\u00e9s, entour\u00e9 d’un m\u00e9lange d’\u00e9l\u00e9ments classiques et modernes. On voit un groupe quitter les lieux, frustr\u00e9, tandis qu’un autre attend avec impatience de nouvelles discussions sur des questions fondamentales.\u00a0\u00bb<\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"

\"\"<\/a><\/p>\n

\n

Illustration par DALL\u00b7E \u00e0 partir du texte.<\/em><\/p>\n<\/blockquote>\n

Le mois dernier (du 6 au 9 avril), j’ai propos\u00e9 ici une s\u00e9rie de 6 billets<\/a> o\u00f9 je quadriloguais avec GPT-4 et une version d\u00e9doubl\u00e9e de Claude 3 \u00e0 propos de la conjecture P vs […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9281,9540,9204,5470,13],"tags":[1935,9207,9499,9421,2921,9147,1541,155,9564,7936,9576],"class_list":["post-140015","post","type-post","status-publish","format-standard","hentry","category-emergence","category-fondements-des-mathematiques","category-grands-modeles-de-langage","category-informatique","category-intelligence-artificielle","tag-anella","tag-auto-organisation","tag-claude-3","tag-dalle","tag-emergence","tag-gpt-4","tag-informatique","tag-jacques-lacan","tag-llama3","tag-p-vs-np","tag-point-de-capiton"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140015","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=140015"}],"version-history":[{"count":12,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140015\/revisions"}],"predecessor-version":[{"id":140115,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140015\/revisions\/140115"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=140015"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=140015"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=140015"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}