{"id":142052,"date":"2024-11-04T09:57:32","date_gmt":"2024-11-04T08:57:32","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=142052"},"modified":"2024-11-04T09:57:32","modified_gmt":"2024-11-04T08:57:32","slug":"un-nouveau-nous-pour-des-temps-nouveaux-xiii-le-gain-en-taille","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/11\/04\/un-nouveau-nous-pour-des-temps-nouveaux-xiii-le-gain-en-taille\/","title":{"rendered":"UN NOUVEAU \u00ab\u00a0NOUS \u00bb POUR DES TEMPS NOUVEAUX. XIII. Le gain en taille<\/b>"},"content":{"rendered":"

\"\"<\/p>\n

Illustration par DALL\u00b7E<\/em><\/p><\/blockquote>\n

Le gain en taille<\/b><\/p>\n

Une deuxi\u00e8me source de notre impr\u00e9paration \u00e0 une intelligence artificielle sup\u00e9rieure \u00e0 la n\u00f4tre est que la mani\u00e8re m\u00eame dont le d\u00e9passement s’est produit a caus\u00e9 la surprise, \u00e9tant presque enti\u00e8rement due \u00e0 un simple gain en taille – l’\u00e9l\u00e9ment suppl\u00e9mentaire \u00e9tant le \u00ab\u00a0transformer\u00a0\u00bb.<\/p>\n

La voie vers la synth\u00e8se de l’intelligence humaine qui s’est av\u00e9r\u00e9e \u00eatre la bonne \u00e9tait contre-intuitive : le premier prototype d’un r\u00e9seau neuronal artificiel, le perceptron<\/i>, n’\u00e9tait encore qu’un dispositif mod\u00e9r\u00e9ment prometteur. Ce type \u00e9l\u00e9mentaire de mod\u00e8le connexionniste fut s\u00e9v\u00e8rement critiqu\u00e9 par deux vedettes de la recherche en intelligence artificielle : Marvin Minsky et Seymour Papert, qui consacr\u00e8rent un livre \u00e0 d\u00e9montrer que les approches connexionnistes \u00e9taient sans avenir. Leur opus Perceptrons<\/i> avait \u00e9t\u00e9 publi\u00e9 en 1969 mais, en 1988, les auteurs ne s’\u00e9taient toujours pas repentis de leur condamnation. Apr\u00e8s avoir sugg\u00e9r\u00e9 dans le nouveau prologue d’une r\u00e9impression de leur livre que le connexionnisme n’\u00e9tait probablement rien de plus qu’une mode : \u00ab L’int\u00e9r\u00eat nouveau refl\u00e8te-t-il un tournant culturel vers le holisme ?\u00a0\u00bb, ils ajoutaient : \u00ab\u00a0Les merveilleux pouvoirs du cerveau n’\u00e9mergent pas d’un r\u00e9seau connexionniste unique et uniform\u00e9ment structur\u00e9, mais d’arrangements hautement \u00e9volu\u00e9s de r\u00e9seaux plus petits et sp\u00e9cialis\u00e9s, interconnect\u00e9s de mani\u00e8re tr\u00e8s sp\u00e9cifique\u00a0\u00bb, une affirmation qui reste vraie globalement mais qui, pour ce qui est de la capacit\u00e9 \u00e0 g\u00e9n\u00e9rer des phrases porteuses de sens, fut discr\u00e9dit\u00e9e par le succ\u00e8s des Grands Mod\u00e8les de Langage (Large Language Model<\/em> : LLM).<\/p>\n

Il \u00e9tait en effet stup\u00e9fiant de constater que toutes les propri\u00e9t\u00e9s remarquables de l’intellect humain \u00e9mergeaient l’une apr\u00e8s l’autre d’un simple gain en taille des r\u00e9seaux neuronaux artificiels construits pour tenter de simuler le psychisme humain : gain en taille de leur architecture en termes de nombre de neurones artificiels, gain en taille de la quantit\u00e9 de donn\u00e9es ingurgit\u00e9es au cours de leur phase de formation : le \u00ab\u00a0pr\u00e9-entra\u00eenement\u00a0\u00bb.<\/p>\n

C’est laborieusement que nous avons \u00e9labor\u00e9 au fil des si\u00e8cles la linguistique et ses composantes apparemment distinctes, telles que la syntaxe, la s\u00e9mantique, la pragmatique, la logique, jusqu’\u00e0 la prise de d\u00e9cision, en construisant des mod\u00e8les math\u00e9matiques du comportement que nous observions, comme si chacun de ces comportements r\u00e9sultait de l’application d’un ensemble sp\u00e9cifique de r\u00e8gles. Mais lorsque nous avons fait appel \u00e0 ces mod\u00e8les sophistiqu\u00e9s dans nos tentatives de d\u00e9veloppement de projets d’intelligence artificielle, nous sommes all\u00e9s de d\u00e9ception en d\u00e9ception : chaque fois que nous imaginions l’objectif \u00e0 port\u00e9e de la main, nous nous apercevions que de nouvelles r\u00e8gles manquaient encore et que l’appareil d\u00e9j\u00e0 hyper-complexe devait \u00eatre remis sur la chaine de montage.<\/p>\n

L’explication, que nous avons maintenant saisie avec le recul de l’exp\u00e9rience LLM, est que l’application d’une myriade de r\u00e8gles n’est tout simplement pas la fa\u00e7on dont notre cerveau op\u00e8re avec le langage. Il s\u2019est confirm\u00e9 que les comp\u00e9tences linguistiques de ces IA s\u2019am\u00e9lioraient pour nulle autre raison qu\u2019un corpus de donn\u00e9es d\u2019apprentissage plus volumineux et plus \u00e9troitement connect\u00e9, de nouvelles capacit\u00e9s surprenantes apparaissant par auto-organisation dans le cadre d’un processus \u00e0 chaque fois soudain d’\u00e9mergence. Malheureusement, ces ph\u00e9nom\u00e8nes \u00e9mergents impr\u00e9visibles demeurent opaques \u00e0 l’esprit humain en raison de certaines caract\u00e9ristiques des syst\u00e8mes gagnant en taille et en complexit\u00e9, comme la faible pr\u00e9visibilit\u00e9 de processus non-lin\u00e9aires, la complexit\u00e9 de fronti\u00e8res fractales entre les bassins d’attraction des espaces de phase dans les syst\u00e8mes dynamiques, et les chemins rapidement divergents dans la dynamique de ces syst\u00e8mes complexes, m\u00eame s’ils \u00e9taient quasi identiques dans leurs conditions initiales.<\/p>\n

\"\"<\/p>\n

Illustration par DALL\u00b7E<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"

\"\"<\/p>\n

\n

Illustration par DALL\u00b7E<\/em><\/p>\n<\/blockquote>\n

Le gain en taille<\/b><\/p>\n

Une deuxi\u00e8me source de notre impr\u00e9paration \u00e0 une intelligence artificielle sup\u00e9rieure \u00e0 la n\u00f4tre est que la mani\u00e8re m\u00eame dont le d\u00e9passement s’est produit a caus\u00e9 la surprise, \u00e9tant presque enti\u00e8rement due \u00e0 un simple gain en […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9811,9204,13,2138],"tags":[9512,9848,9300,1778,9253,6519,5478,6520,9133],"class_list":["post-142052","post","type-post","status-publish","format-standard","hentry","category-un-nouveau-nous-pour-des-temps-nouveaux","category-grands-modeles-de-langage","category-intelligence-artificielle","category-linguistique-2","tag-connexionnisme","tag-gain-en-taille","tag-generative-pre-trained-transformer","tag-linguistique","tag-llm","tag-marvin-minsky","tag-perceptron","tag-seymour-papert","tag-transformer"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142052","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=142052"}],"version-history":[{"count":2,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142052\/revisions"}],"predecessor-version":[{"id":142057,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142052\/revisions\/142057"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=142052"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=142052"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=142052"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}