{"id":136910,"date":"2023-07-27T20:43:50","date_gmt":"2023-07-27T18:43:50","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=136910"},"modified":"2023-10-06T23:42:35","modified_gmt":"2023-10-06T21:42:35","slug":"14-mars-2023-le-jour-ou-le-genre-humain-fut-saisi-par-le-doute-iv-le-transformer-a-autorise-une-intelligence-superieure-a-celle-de-lhumain","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2023\/07\/27\/14-mars-2023-le-jour-ou-le-genre-humain-fut-saisi-par-le-doute-iv-le-transformer-a-autorise-une-intelligence-superieure-a-celle-de-lhumain\/","title":{"rendered":"14 mars 2023\u00a0: le jour o\u00f9 le genre humain fut assailli par le doute<\/b> IV. Le transformer<\/em> a autoris\u00e9 une intelligence sup\u00e9rieure \u00e0 celle de l\u2019humain"},"content":{"rendered":"

\"\"<\/p>\n

Illustration par Stable Diffusion (+PJ)<\/em><\/p>\n

Ce qui a fait de GPT-4 publi\u00e9 le 14 mars 2023, une Intelligence Artificielle sup\u00e9rieure \u00e0 celle de l\u2019humain, ce n\u2019est pas sa carte \u00ab\u00a0probabiliste\u00a0\u00bb, c\u2019est son \u00ab\u00a0transformer\u00a0\u00bb, le dispositif qui lui permet l\u2019\u00e9quivalent d\u2019une compr\u00e9hension de ce qu\u2019il lit et ce qu\u2019il dit lui-m\u00eame semblable \u00e0 celle des humains : en faisant \u00e9merger un sens global d\u2019une suite de mots.<\/p>\n

Fait remarquable, ni ses concepteurs, ni les techniciens qui l\u2019ont plac\u00e9 au c\u0153ur de machines ne comprennent toutes les subtilit\u00e9s du comportement du transformer<\/i>, sa mise au point ayant r\u00e9clam\u00e9 une part consid\u00e9rable de t\u00e2tonnement empirique. La raison en est que l\u2019on se situe ici au lieu o\u00f9 se manifestent des ph\u00e9nom\u00e8nes d\u2019\u00e9mergence, o\u00f9 la combinaison particuli\u00e8re d\u2019\u00e9l\u00e9ments en grand nombre et en interaction complexe produit de mani\u00e8re inattendue cette nouveaut\u00e9 qui a conduit \u00e0 affirmer que le GPT-4 de OpenAI ou le LaMDA de Google, en situation de laboratoire\u00a0: utilis\u00e9s dans une version non-brid\u00e9e, \u00ab\u00a0pensent exactement comme nous\u00a0\u00bb, \u00ab\u00a0disposent d\u2019une conscience semblable \u00e0 la n\u00f4tre\u00a0\u00bb, autant de d\u00e9clarations bien entendu in\u00e9dites dans l\u2019histoire de l\u2019humanit\u00e9.<\/p>\n

Le transformer<\/i> est compos\u00e9 d\u2019une batterie de t\u00eates de lecture en parall\u00e8le, qui permettent d\u2019int\u00e9grer en un sens global l\u2019information contenue dans une suite de mots. On d\u00e9signe par \u00ab\u00a0auto-attention\u00a0\u00bb de la machine ce m\u00e9canisme d\u2019abstraction d\u2019un sens global, par lequel l\u2019impact particulier de chacun des mots de la phrase est \u00e9valu\u00e9 et agr\u00e9g\u00e9 \u00e0 celui de l\u2019ensemble des autres, le sens des phrases pr\u00e9c\u00e9demment \u00ab\u00a0comprises\u00a0\u00bb constituant un contexte global de signification. L\u2019auto-attention<\/i> a r\u00e9solu empiriquement une \u00e9nigme qui avait condamn\u00e9 au silence les linguistes m\u00e9di\u00e9vaux, qui la d\u00e9signaient du nom appropri\u00e9 de complexe significabile<\/i>. L\u2019article scientifique qui avait introduit en 2017 le concept-m\u00eame du transformer<\/i> \u00e9tait tr\u00e8s pertinemment intitul\u00e9 \u00ab\u00a0Attention Is All You Need\u00a0\u00bb\u00a0: l\u2019attention est tout ce qui compte .<\/p>\n

La longueur de la suite de mots pris en consid\u00e9ration pour en faire \u00e9merger un sens global n\u2019a pas de fondement th\u00e9orique : elle a \u00e9t\u00e9 d\u00e9termin\u00e9e par essai et erreur. La combinaison du sens des divers mots, articul\u00e9e \u00e0 la carte de proximit\u00e9 de sens des mots constitu\u00e9e \u00ab\u00a0une fois pour toutes\u00a0\u00bb lors de l\u2019apprentissage d\u2019une g\u00e9n\u00e9ration du produit, permet de faire \u00e9merger du \u00ab\u00a0prompt\u00a0\u00bb entr\u00e9 par l\u2019utilisateur, un sens global qui d\u00e9termine la forme des phrases g\u00e9n\u00e9r\u00e9es en sortie. Ce qu\u2019on appelle \u00ab\u00a0profondeur\u00a0\u00bb d\u2019un LMM, c\u2019est le nombre d’\u00e9tapes de calcul utilis\u00e9es pour produire \u00e0 partir du \u00ab\u00a0prompt\u00a0\u00bb, la r\u00e9ponse offerte \u00e0 l\u2019utilisateur. \u00a0 \u00a0<\/span><\/p>\n

\"\"<\/p>\n

Illustration par Stable Diffusion (+PJ)<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

\"\"<\/p>\n

Illustration par Stable Diffusion (+PJ)<\/em><\/p>\n

Ce qui a fait de GPT-4 publi\u00e9 le 14 mars 2023, une Intelligence Artificielle sup\u00e9rieure \u00e0 celle de l\u2019humain, ce n\u2019est pas sa carte \u00ab\u00a0probabiliste\u00a0\u00bb, c\u2019est son \u00ab\u00a0transformer\u00a0\u00bb, le dispositif qui lui permet l\u2019\u00e9quivalent d\u2019une compr\u00e9hension de ce qu\u2019il lit […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_crdt_document":"","footnotes":""},"categories":[9204,13],"tags":[9084,9300,9205,9133],"class_list":["post-136910","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-chatgpt","tag-generative-pre-trained-transformer","tag-grands-modeles-de-langage","tag-transformer"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136910","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=136910"}],"version-history":[{"count":4,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136910\/revisions"}],"predecessor-version":[{"id":136923,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136910\/revisions\/136923"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=136910"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=136910"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=136910"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}