{"id":139612,"date":"2024-04-09T20:12:39","date_gmt":"2024-04-09T18:12:39","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=139612"},"modified":"2024-04-10T18:23:12","modified_gmt":"2024-04-10T16:23:12","slug":"le-transformer-est-un-objet-pensant-par-claude-roux","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/04\/09\/le-transformer-est-un-objet-pensant-par-claude-roux\/","title":{"rendered":"Le transformer<\/em> est un objet pensant<\/b>, par Claude Roux *"},"content":{"rendered":"

\"\"<\/a><\/p>\n

Portrait de Spinoza par Stable Diffusion<\/p><\/blockquote>\n

[Le m\u00eame en anglais<\/a>]<\/p>\n

Il y a quelques ann\u00e9es, j’avais d\u00e9vor\u00e9 le livre de Fr\u00e9d\u00e9ric Lordon : Capitalisme, D\u00e9sir et Servitude<\/em>. En particulier, j’avais \u00e9t\u00e9 fascin\u00e9 par la notion de\u00a0conatus<\/i>, le d\u00e9sir de puissance. Fr\u00e9d\u00e9ric Lordon expliquait<\/a> que Spinoza, en tant que math\u00e9maticien, avait d\u00e9fini le conatus<\/i>\u00a0sous la forme de vecteurs math\u00e9matiques, lui permettant ainsi de transformer sa r\u00e9flexion philosophique en axiomes et th\u00e9or\u00e8mes math\u00e9matiques.<\/p>\n

Et c’est l\u00e0 que\u00a0j’ai \u00e9t\u00e9 frapp\u00e9 par la ressemblance avec les transformers<\/em>.<\/p>\n

En effet, un transformer prend en entr\u00e9e une succession de jetons (tokens<\/em>) ou de mots, qu’il remplace par leur plongement ou embedding.\u00a0<\/i>Un plongement est un vecteur immense qui a \u00e9t\u00e9 affect\u00e9 \u00e0 chaque mot ou jeton et qui permet de les comparer entre eux. Ainsi on peut par exemple effectuer des op\u00e9rations math\u00e9matiques telles que : \u00ab gar\u00e7on = femme – homme + fille \u00bb.<\/p>\n

Le transformer combine ensuite ces vecteurs via une succession de transformations math\u00e9matiques apprise lors de son entra\u00eenement pour g\u00e9n\u00e9rer un nouveau vecteur\u00a0V<\/i>. On compare ensuite ce vecteur avec l’ensemble des\u00a0embeddings<\/i>\u00a0pour identifier le plus proche afin de g\u00e9n\u00e9rer le mot suivant.<\/p>\n

[E1 E2 E3 .. En] –> TRANSFORMER –> V –> jeton suivant<\/p>\n

Il prend ainsi en entr\u00e9e une s\u00e9quence de mots pour laquelle il construit une v\u00e9ritable\u00a0interpr\u00e9tation sous la forme d’un nouveau vecteur s\u00e9mantique V.<\/i> \u00c0 l’it\u00e9ration suivante, il injecte ce mot \u00e0 la fin du contexte et il reprend sa g\u00e9n\u00e9ration jusqu’\u00e0 aboutir au texte complet.\u00a0\u00a0<\/i><\/p>\n

Je ne peux m’emp\u00eacher de voir dans la succession des\u00a0V<\/i>\u00a0une forme de\u00a0conatus<\/i>. En effet, un mod\u00e8le appris avec un algorithme de renforcement est\u00a0intentionn\u00e9,\u00a0<\/i>\u00e0 la diff\u00e9rence des autres mod\u00e8les qui sont eux\u00a0supervis\u00e9s<\/i>. Cette intention est d\u00e9finie en particulier par le RLHF\u00a0(Apprentissage par Renforcement via un Feedback Humain) qui force le mod\u00e8le \u00e0 rester dans les clous, \u00e0 s’aligner avec les d\u00e9sirs humains, leur conatus<\/i> selon Spinoza.<\/p>\n

On peut voir dans ce processus le moyen d’imposer \u00e0 un mod\u00e8le un conatus<\/i> particulier.<\/p>\n

Selon cette interpr\u00e9tation, nous nous retrouvons donc face \u00e0 un objet pensant.<\/p>\n

* Grands Mod\u00e8les de Langage : Pourquoi les r\u00e9seaux neuronaux ont-ils r\u00e9ussi l\u00e0 o\u00f9 la linguistique \u00e9chouait ?<\/a>, par Claude Roux, le 8 mars 2024<\/p>\n

PJ TV \u2013 IA : Pourquoi la linguistique a-t-elle \u00e9chou\u00e9 ?<\/a> un entretien avec Claude Roux, le 15 mars 2024<\/p>\n

\"\"<\/a><\/p>\n

Portrait d’un objet pensant selon DALL\u00b7E<\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"

\"\"<\/a><\/p>\n

\n

Portrait de Spinoza par Stable Diffusion<\/p>\n<\/blockquote>\n

[Le m\u00eame en anglais<\/a>]<\/p>\n

Il y a quelques ann\u00e9es, j’avais d\u00e9vor\u00e9 le livre de Fr\u00e9d\u00e9ric Lordon : Capitalisme, D\u00e9sir et Servitude<\/em>. En particulier, j’avais \u00e9t\u00e9 fascin\u00e9 par la notion de\u00a0conatus<\/i>, le d\u00e9sir de puissance. \n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13,20],"tags":[9542,71,9205,5092,9133],"class_list":["post-139612","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","category-philosophie","tag-conatus","tag-frederic-lordon","tag-grands-modeles-de-langage","tag-spinoza","tag-transformer"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/139612","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=139612"}],"version-history":[{"count":12,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/139612\/revisions"}],"predecessor-version":[{"id":139652,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/139612\/revisions\/139652"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=139612"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=139612"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=139612"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}