{"id":135790,"date":"2023-04-14T21:08:43","date_gmt":"2023-04-14T19:08:43","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=135790"},"modified":"2023-04-14T23:54:19","modified_gmt":"2023-04-14T21:54:19","slug":"chatgpt-quest-ce-qui-se-passe-de-si-special-dans-un-transformer","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2023\/04\/14\/chatgpt-quest-ce-qui-se-passe-de-si-special-dans-un-transformer\/","title":{"rendered":"<b>ChatGPT : Qu&rsquo;est-ce qui se passe de si sp\u00e9cial dans un <em>transformer<\/em>&nbsp;?<\/b>"},"content":{"rendered":"<p>Qu&rsquo;est-ce qui se passe de si sp\u00e9cial dans le <em>transformer<\/em> d&rsquo;un <em>grand mod\u00e8le de langage<\/em> tel ChatGPT\u00a0?<\/p>\n<p>Sebastien Bubeck (toutes mes excuses \u00e0 lui pour avoir \u00e9corch\u00e9 son nom dans <a href=\"https:\/\/www.pauljorion.com\/blog\/2023\/04\/14\/video-limpact-colossal-de-chatgpt-physique-et-metaphysique\/\" target=\"_blank\" rel=\"noopener\">ma plus r\u00e9cente vid\u00e9o<\/a>) explique cela tr\u00e8s bien : la machine, contrairement \u00e0 nous, ne succombe pas au <em>biais inductif.<\/em> Si dans une s\u00e9rie qui semble \u00e0 premi\u00e8re vue homog\u00e8ne, il existe certaines configurations qui permettent un raccourci vers la solution, la machine le d\u00e9couvrira, alors que nous, pauvres humains, victimes du <em>biais inductif<\/em>, nous allons consid\u00e9rer que comme la s\u00e9rie <b>a l&rsquo;air homog\u00e8ne<\/b>, elle l&rsquo;est n\u00e9cessairement et &#8230; nous ne trouverons pas les raccourcis cach\u00e9s dans certaines configurations &#8230; faute d&rsquo;avoir m\u00eame suppos\u00e9 que de tels raccourcis pouvaient exister.<\/p>\n<p><iframe loading=\"lazy\" title=\"YouTube video player\" src=\"https:\/\/www.youtube.com\/embed\/brmidghOP6c\" width=\"700\" height=\"450\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><\/iframe><\/p>\n<p>Ok, j&rsquo;explique ce que cela veut dire sur deux exemples.<\/p>\n<p>Vous vous souvenez sans doute (ou seulement peut-\u00eatre) de cette vid\u00e9o historique de 2014 o\u00f9 Demis Hassabis, fondateur de DeepMind, pr\u00e9sentait une IA jouant \u00e0 <em>casse-briques<\/em> ? Ce qu&rsquo;il nous montrait, c&rsquo;\u00e9tait que l&rsquo;IA d\u00e9couvrait au bout d&rsquo;un moment que la tactique la plus payante, ce n&rsquo;\u00e9tait pas d&rsquo;attaquer le mur de front, mais de le prendre \u00e0 revers en passant lat\u00e9ralement et en allant faire rebondir le projectile sur lui \u00e0 partir du plafond. \u00c0 cela, les humains n&rsquo;avaient pas pens\u00e9 *, ils imaginaient que les configurations \u00e9taient homog\u00e8nes : qu&rsquo;elles se valaient toutes.<\/p>\n<p><iframe loading=\"lazy\" title=\"YouTube video player\" src=\"https:\/\/www.youtube.com\/embed\/EfGD2qveGdQ\" width=\"700\" height=\"450\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><\/iframe><\/p>\n<p>Un bon exemple de <em>biais inductif<\/em>, ce serait de g\u00e9n\u00e9raliser en disant : \u00ab\u00a0Quand on examine la suite des nombres entiers, 1, 2, 3 &#8230;, on observe que pour chacun de ces nombres &#8230;\u00a0\u00bb, alors que certains d&rsquo;entre eux ont des propri\u00e9t\u00e9s particuli\u00e8res que les autres n&rsquo;ont pas. Ainsi, 1, 2, 3, 5, 7&#8230; ne sont divisibles que par 1 et par eux-m\u00eames : ce sont des <em>nombres premiers<\/em> ; 4 et 9 sont des <em>carr\u00e9s<\/em>, ils r\u00e9sultent de la multiplication par lui-m\u00eame d&rsquo;un nombre avant eux dans la liste ; 8 est un <em>cube<\/em>\u00a0: un nombre avant lui dans la liste multipli\u00e9 par lui-m\u00eame \u00e0 deux reprises, etc.<\/p>\n<p>Le premier \u00e0 avoir not\u00e9 cela \u00e0 notre connaissance, c&rsquo;est <a href=\"https:\/\/fr.wikipedia.org\/wiki\/Diophante_d%27Alexandrie\" target=\"_blank\" rel=\"noopener\">Diophante<\/a> (200-284). Il est le premier \u00e0 avoir laiss\u00e9 entendre \u00e0 propos de la suite des entiers : \u00ab\u00a0Ne vous y fiez pas : certains d&rsquo;entre eux sont des gens tr\u00e8s ordinaires, mais d&rsquo;autres sont de dr\u00f4les de paroissiens !\u00a0\u00bb. Diophante, le premier \u00e0 avoir attir\u00e9 notre attention sur le fait que 4, 8, 9&#8230; permettent des raccourcis qui sont ferm\u00e9s aux autres entiers. Or aux yeux de l&rsquo;IA d&rsquo;aujourd&rsquo;hui, avec le temps dont elle dispose en quantit\u00e9 quasi-illimit\u00e9e, il n&rsquo;y a pas de raccourci nous \u00e9tant rest\u00e9 inaper\u00e7u, qu&rsquo;elle ne\u00a0 parvienne \u00e0 d\u00e9couvrir. Du coup, elle nous fait honte. Nous pouvons lui rappeler : \u00ab\u00a0N&rsquo;oublie pas que je suis ton p\u00e8re (ou ta m\u00e8re) !\u00a0\u00bb, mais vous connaissez les enfants&#8230;<\/p>\n<p>* Il y a bien eu sur le Blog de PJ quelques commentateurs fanfarons pour dire : \u00ab\u00a0Fastoche ! M\u00eame ma grand-m\u00e8re savait \u00e7a !\u00a0\u00bb, mais ce sont les m\u00eames frimeurs qui, neuf ans plus tard, s\u00e9vissent toujours sur le blog \ud83d\ude09 .<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Qu&rsquo;est-ce qui se passe de si sp\u00e9cial dans le <em>transformer<\/em> d&rsquo;un <em>grand mod\u00e8le de langage<\/em> tel ChatGPT\u00a0?<\/p>\n<p>Sebastien Bubeck (toutes mes excuses \u00e0 lui pour avoir \u00e9corch\u00e9 son nom dans <a href=\"https:\/\/www.pauljorion.com\/blog\/2023\/04\/14\/video-limpact-colossal-de-chatgpt-physique-et-metaphysique\/\" target=\"_blank\" rel=\"noopener\">ma plus r\u00e9cente vid\u00e9o<\/a>) explique cela tr\u00e8s bien : la machine, contrairement \u00e0 nous, ne succombe pas au <em>biais inductif.<\/em> Si dans [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[13,16],"tags":[9171,9084,4001,9174,9172,9173,9133],"class_list":["post-135790","post","type-post","status-publish","format-standard","hentry","category-intelligence-artificielle","category-mathematiques","tag-biais-inductif","tag-chatgpt","tag-deepmind","tag-demis-hassabis","tag-diophante","tag-sebastien-bubeck","tag-transformer"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/135790","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=135790"}],"version-history":[{"count":8,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/135790\/revisions"}],"predecessor-version":[{"id":135798,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/135790\/revisions\/135798"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=135790"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=135790"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=135790"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}