{"id":136185,"date":"2023-05-15T17:34:32","date_gmt":"2023-05-15T15:34:32","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=136185"},"modified":"2023-05-15T17:37:42","modified_gmt":"2023-05-15T15:37:42","slug":"ia-des-mathematiques-comme-un-extra-terrestre-par-alexis-toulet","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2023\/05\/15\/ia-des-mathematiques-comme-un-extra-terrestre-par-alexis-toulet\/","title":{"rendered":"IA – Des math\u00e9matiques comme un extra-terrestre !<\/b>, par Alexis Toulet"},"content":{"rendered":"
\"\"<\/p>\n

Illustration par DALL-E (+PJ)<\/em><\/p>\n

Dans le cadre de cet article sur\u00a0ce que l’IA peut apporter \u00e0 la science<\/a><\/span>, l’auteur Michael Nielsen s’interroge sur la possibilit\u00e9 d’\u00e9tudier apr\u00e8s coup le fonctionnement d’un r\u00e9seau neuronal (un \u00ab\u00a0transformeur\u00a0\u00bb) afin de d\u00e9couvrir comment il est parvenu \u00e0 une conclusion donn\u00e9e. Le probl\u00e8me est difficile dans le cas g\u00e9n\u00e9ral, \u00e0 cause de la taille et de la complexit\u00e9 du genre de r\u00e9seau neuronal \u00e0 la base d’agents conversationnels comme ChatGPT et ses confr\u00e8res : comprendre quelle solution le r\u00e9seau a trouv\u00e9 au probl\u00e8me qui lui \u00e9tait pos\u00e9 suppose d’\u00e9tudier un \u00e0 un les liens (\u00ab\u00a0poids\u00a0\u00bb) entre les neurones de ce r\u00e9seau, ce qui devient bien vite un travail de Romain.<\/div>\n

<\/div>\n
Nielsen rapporte cependant un cas sp\u00e9cifique o\u00f9 un r\u00e9seau neuronal beaucoup plus petit (une seule couche) a pu \u00eatre \u00e9tudi\u00e9 et son fonctionnement \u00e9lucid\u00e9. Au prix de plusieurs semaines de travail, deux personnes ont pu reconstituer comment au juste ce r\u00e9seau tr\u00e8s simple avait pu apprendre \u00e0 faire l’addition modulaire de deux nombres. Et la mani\u00e8re dont le r\u00e9seau s’y est pris est d\u00e9cid\u00e9ment tout sauf humaine. Si c’\u00e9tait un extra-terrestre qui s’y \u00e9tait pris, \u00e7a n’aurait sans doute pas \u00e9t\u00e9 beaucoup plus \u00e9trange !<\/div>\n
<\/div>\n
Il faut d’abord rappeler ce qu’est l’addition modulaire, en l’occurrence modulo 113. Il s’agit tout bonnement de l’addition classique, mais avec la r\u00e8gle suppl\u00e9mentaire que si le r\u00e9sultat est sup\u00e9rieur \u00e0 113, on lui retire 113 pour conserver un r\u00e9sultat compris entre 0 et 112. Par exemple, 12+20 donne 32. Mais 112+20 donne 19, puisqu’il faut enlever 113 au r\u00e9sultat de l’addition \u00ab\u00a0ordinaire\u00a0\u00bb soit 132 qui d\u00e9passe 113. Nous pratiquons couramment l’addition modulaire modulo 24 lorsqu’\u00e0 la question \u00ab\u00a0Il est 23 heures, quelle heure sera t il dans 2 heures ?\u00a0\u00bb, nous r\u00e9pondons \u00ab\u00a0Ben, 1 heure du matin\u00a0\u00bb. Le genre d’op\u00e9ration mentale que l’on apprend en primaire.<\/div>\n
<\/div>\n
Un \u00eatre humain programmera facilement un petit logiciel pour faire une addition modulaire, avec une m\u00e9thode tr\u00e8s simple : \u00ab\u00a0Ajoute les deux nombres, puis si le r\u00e9sultat est sup\u00e9rieur \u00e0 113 soustrais 113\u00a0\u00bb. Une m\u00e9thode tout naturellement d\u00e9riv\u00e9e de notre mani\u00e8re de penser – puisque le programmeur est un \u00eatre humain.<\/div>\n
<\/div>\n
Mais voici quelles math\u00e9matiques le r\u00e9seau neuronal avait utilis\u00e9es :<\/div>\n
<\/div>\n
\"\"<\/div>\n
<\/div>\n
Pour les personnes peu famili\u00e8res avec la notation exponentielle imaginaire, le calcul du r\u00e9seau neuronal \u00e9tait \u00e9quivalent \u00e0 essayer d’annuler la somme de deux ondes par une troisi\u00e8me – pensez \u00e0 un ing\u00e9nieur du son qui \u00ab\u00a0bidouille\u00a0\u00bb des sons pour essayer d’annuler l’un par l’autre. Ou encore, on peut rapprocher le calcul du r\u00e9seau de la th\u00e9orie des repr\u00e9sentations d’un groupe fini, des maths beaucoup plus avanc\u00e9es que les simples addition et soustraction.<\/div>\n
<\/div>\n
De notre point de vue humain, c’est utiliser un marteau piqueur, voire une bombe atomique, pour \u00e9craser une mouche. Pourquoi ne pas utiliser addition, test et soustraction, des maths de niveau coll\u00e8ge voire primaire, pourquoi passer par des maths de niveau licence ou par un bidouillage d’ing\u00e9nieur du son ? Pourquoi faire compliqu\u00e9 (tr\u00e8s), alors qu’on peut faire si simple ?<\/div>\n
<\/div>\n
Seulement voil\u00e0, les r\u00e9seaux neuronaux arrivent \u00e0 leurs r\u00e9sultats par des moyens tr\u00e8s diff\u00e9rents des n\u00f4tres ! Du moins tr\u00e8s diff\u00e9remment de notre pens\u00e9e consciente.<\/div>\n","protected":false},"excerpt":{"rendered":"
\"\" <\/p>\n

Illustration par DALL-E (+PJ)<\/em><\/p>\n

Dans le cadre de cet article sur\u00a0ce que l’IA peut apporter \u00e0 la science<\/a><\/span>, l’auteur Michael Nielsen s’interroge sur la possibilit\u00e9 d’\u00e9tudier apr\u00e8s coup le fonctionnement d’un r\u00e9seau neuronal (un \u00ab\u00a0transformeur\u00a0\u00bb) afin […]<\/p>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13],"tags":[9222,9223,9221,1927,9133],"class_list":["post-136185","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-addition-modulaire","tag-descente-de-gradient","tag-michael-nielsen","tag-reseaux-neuronaux","tag-transformer"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136185","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=136185"}],"version-history":[{"count":5,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136185\/revisions"}],"predecessor-version":[{"id":136192,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136185\/revisions\/136192"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=136185"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=136185"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=136185"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}