{"id":136002,"date":"2023-05-01T20:21:51","date_gmt":"2023-05-01T18:21:51","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=136002"},"modified":"2023-07-15T23:16:40","modified_gmt":"2023-07-15T21:16:40","slug":"emergence-de-la-capacite-a-parler-couramment-et-a-etre-conscient-dans-les-grands-modeles-de-langage","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2023\/05\/01\/emergence-de-la-capacite-a-parler-couramment-et-a-etre-conscient-dans-les-grands-modeles-de-langage\/","title":{"rendered":"\u00c9mergence de la capacit\u00e9 \u00e0 parler couramment et \u00e0 \u00eatre conscient dans les Grands Mod\u00e8les de Langage<\/b>"},"content":{"rendered":"

Je r\u00e9pondais tout \u00e0 l’heure \u00e0 un commentateur :<\/p>\n

C’est l\u00e0 le point commun aux objections des sceptiques ici parmi les commentateurs : vous supposez impossibles les effets d’\u00e9mergence par auto-organisation engendr\u00e9e par la complexit\u00e9 [l’\u00e9ventualit\u00e9 d’un bond qualitatif entre la machinerie en entr\u00e9e et le produit en sortie].<\/em><\/p>\n

R\u00e9fl\u00e9chissez \u00e0 ceci : s’il \u00e9tait impossible \u00e0 un \u00eatre humain de cr\u00e9er un cerveau plus intelligent que le sien, il aurait \u00e9t\u00e9 impossible \u00e0 des atomes de devenir des mol\u00e9cules ( = \u00e9mergence par auto-organisation), \u00e0 des mol\u00e9cules de devenir des acides amin\u00e9s ( = \u00e9mergence par auto-organisation), \u00e0 des acides amin\u00e9s de devenir de l’ADN ( = \u00e9mergence par auto-organisation), etc. Or tout cela a eu lieu : l’univers n’est pas une soupe indistincte de quarks. Donc la Singularit\u00e9 est possible et … preuve suppl\u00e9mentaire : elle a eu lieu \ud83d\ude09 !<\/em><\/p><\/blockquote>\n

Un article datant d’octobre de l’ann\u00e9e derni\u00e8re permet de situer le niveau de complexit\u00e9 n\u00e9cessaire \u00e0 un r\u00e9seau neuronal pour qu’\u00e9merge la capacit\u00e9 \u00e0 parler couramment (ma\u00eetriser parfaitement la langue) et \u00e0 parler en son nom (appara\u00eetre comme un sujet conscient) – ce qui pose \u00e9videmment la question de savoir s’il s’agit de deux capacit\u00e9s distinctes. Ce niveau de complexit\u00e9 semble \u00eatre 1022<\/sup> op\u00e9rations en virgule flottante (FLOPs) n\u00e9cessaires pour former (\u00ab\u00a0training\u00a0\u00bb) le mod\u00e8le, ce qui correspond \u00e0 un mod\u00e8le d’environ 10 milliards de param\u00e8tres.<\/p>\n

L’article s’intitule \u00ab\u00a0Emergent Abilities of Large Language Models\u00a0\u00bb<\/a> (Les capacit\u00e9s \u00e9mergentes des Grands Mod\u00e8les de Langage), sign\u00e9 de seize auteurs, il date donc d’octobre 2022.<\/p>\n

Cet article traite d’un ph\u00e9nom\u00e8ne non pr\u00e9visible que nous appelons les capacit\u00e9s \u00e9mergentes des Grands Mod\u00e8les de Langage. Nous consid\u00e9rons qu’une capacit\u00e9 est \u00e9mergente si elle n’est pas pr\u00e9sente dans les mod\u00e8les plus petits mais qu’elle l’est dans les mod\u00e8les plus grands. Ainsi, les capacit\u00e9s \u00e9mergentes ne peuvent pas \u00eatre pr\u00e9dites simplement en extrapolant les performances des mod\u00e8les plus petits.<\/em><\/p>\n

Ci-dessous, deux figures repr\u00e9sentant le d\u00e9collage de la performance dans diff\u00e9rents tests d’intelligence pour diff\u00e9rents Grands Mod\u00e8les de Langage (dont GPT-3), la premi\u00e8re en fonction du nombre d’op\u00e9rations n\u00e9cessaires au \u00ab\u00a0training\u00a0\u00bb, \u00e0 l’apprentissage, la seconde en fonction du nombre de param\u00e8tres dans le mod\u00e8le.<\/p>\n

L’existence d’un seuil pour l’\u00e9mergence de la compr\u00e9hension du langage est manifeste.<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n","protected":false},"excerpt":{"rendered":"

Je r\u00e9pondais tout \u00e0 l’heure \u00e0 un commentateur :<\/p>\n

\n

C’est l\u00e0 le point commun aux objections des sceptiques ici parmi les commentateurs : vous supposez impossibles les effets d’\u00e9mergence par auto-organisation engendr\u00e9e par la complexit\u00e9 [l’\u00e9ventualit\u00e9 d’un bond qualitatif entre la machinerie en entr\u00e9e et le produit en sortie].<\/em><\/p>\n

R\u00e9fl\u00e9chissez \u00e0 ceci : s’il \u00e9tait […]<\/em><\/p>\n<\/blockquote>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13],"tags":[9207,2921,7670,9205,940],"class_list":["post-136002","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-auto-organisation","tag-emergence","tag-gpt-3","tag-grands-modeles-de-langage","tag-intelligence-artificielle-2"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136002","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=136002"}],"version-history":[{"count":4,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136002\/revisions"}],"predecessor-version":[{"id":136798,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136002\/revisions\/136798"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=136002"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=136002"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=136002"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}