![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-07-30-19.40.51-A-sheet-with-beautiful-handwriting.png\")
<\/p>\n<\/p>\n
Illustration par DALL-E (+PJ)<\/em><\/p>\n Quelles sont les cons\u00e9quences du succ\u00e8s des LLM pour notre compr\u00e9hension de l\u2019apprentissage de la langue et du raisonnement chez nous, sujets humains ? Ce succ\u00e8s remet en question en r\u00e9alit\u00e9 la quasi-totalit\u00e9 de nos mod\u00e8les et en particulier les repr\u00e9sentations de type classique d\u00e9sormais comme la linguistique transformationnelle ou g\u00e9n\u00e9rative de Noam Chomsky, mise au point par lui \u00e0 partir de la fin des ann\u00e9es 1950, qui supposent chez l\u2019\u00eatre humain une structure inn\u00e9e lui permettant l\u2019usage du langage, l\u2019enfant se contentant de \u00ab\u00a0constater\u00a0\u00bb quelle est la langue qui sera sa langue maternelle, pour se couler alors dans son moule. Or rien dans la \u00ab\u00a0compr\u00e9hension\u00a0\u00bb de la langue par les LLM ne laisse entrevoir quoi que ce soit de la sorte . Les guillemets s\u2019imposent bien s\u00fbr pour \u00ab\u00a0compr\u00e9hension\u00a0\u00bb quand on \u00e9voque le processus par lequel les LLM appr\u00e9hendent les amorces que les utilisateurs leur proposent, mais lorsqu\u2019on voit les r\u00e9ponses structur\u00e9es et toujours bien \u00e0 propos qu\u2019ils proposent en retour, on est forc\u00e9 d\u2019imaginer qu\u2019est \u00e0 l\u2019\u0153uvre chez eux un processus comparable \u00e0 celui que nous appelons compr\u00e9hension<\/i> lorsqu\u2019il a pour cadre notre for int\u00e9rieur.<\/p>\n Ilya Sutskever, directeur du d\u00e9partement recherche chez OpenAI, et l\u2019un des fondateurs de la firme, avait pr\u00e9vu depuis de nombreuses ann\u00e9es que les capacit\u00e9s linguistiques \u00e9mergeraient dans des r\u00e9seaux neuronaux complexes, ignorant l\u2019opposition que nous \u00e9tablissons spontan\u00e9ment entre la forme et le fond, la structure et le contenu. Dans un entretien qu\u2019il accordait en 2020, il pr\u00e9disait qu\u2019une mont\u00e9e en taille du r\u00e9seau neuronal lui permettrait d\u2019abord d\u2019appr\u00e9hender sur un mode statistique les structures syntaxiques, et qu\u2019une augmentation additionnelle de sa taille le ferait parvenir ensuite \u00e0 une compr\u00e9hension de type s\u00e9mantique, toujours sur un mode purement statistique.<\/p>\n Aucun foss\u00e9 dans ce cas entre le sens des mots et l\u2019organisation de la phrase, juste les diff\u00e9rentes \u00e9tapes d\u2019un processus progressif, selon une logique de mont\u00e9e en puissance d\u2019ordre purement quantitatif : une premi\u00e8re intuition de la structure globale de la phrase, suivie d\u2019une compr\u00e9hension du sens des mots, tombant au lieu qui leur est assign\u00e9 au sein de ce cadre.<\/p>\n Bien entendu des seuils sont franchis au cours de ce processus de mont\u00e9e en puissance quantitative mais il n\u2019y a \u00e0 aucun moment dans ce mouvement progressif de compr\u00e9hension, n\u00e9cessit\u00e9 de se tourner vers un corpus de r\u00e8gles \u00e0 appliquer : au sein de la globalit\u00e9 d\u00e9sorganis\u00e9e des mots, l\u2019ordre \u00e9merge par niveaux pour nulle autre raison que celle, banale, sinon d\u00e9sesp\u00e9rante, de moyens plus puissants mis \u00e0 disposition : davantage de phrases ingurgit\u00e9es, un r\u00e9seau neuronal plus gros pour les absorber, sans adjonction de nouveaux dispositifs de traitement qui introduiraient eux des consid\u00e9rations d\u2019ordre qualitatif, comme ce serait le cas s\u2019il \u00e9tait question de r\u00e8gles \u00e0 appliquer en contexte, selon les cas.<\/p>\n Bref, si l\u2019on garde les yeux fix\u00e9s sur la performance, on constate qu\u2019en-dessous d\u2019une taille minimum pour le r\u00e9seau neuronal, la capacit\u00e9 du logiciel \u00e0 r\u00e9soudre des probl\u00e8mes requ\u00e9rant de l\u2019intelligence demeure nulle ou presque, alors qu\u2019aussit\u00f4t ce seuil franchi, la performance s\u2019am\u00e9liore avec r\u00e9gularit\u00e9 avec la taille, et cela, quelle que soit la nature du casse-t\u00eate \u00e0 r\u00e9soudre.<\/p>\n Illustration par Stable Diffusion (+PJ)<\/em><\/p>\n","protected":false},"excerpt":{"rendered":" Illustration par DALL-E (+PJ)<\/em><\/p>\n Quelles sont les cons\u00e9quences du succ\u00e8s des LLM pour notre compr\u00e9hension de l\u2019apprentissage de la langue et du raisonnement chez nous, sujets humains ? Ce succ\u00e8s remet en question en r\u00e9alit\u00e9 la quasi-totalit\u00e9 de nos mod\u00e8les et en particulier les repr\u00e9sentations de […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_crdt_document":"","footnotes":""},"categories":[9204,13,2138],"tags":[9084,9205,9306,1778,5871,7669],"class_list":["post-136955","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","category-linguistique-2","tag-chatgpt","tag-grands-modeles-de-langage","tag-ilya-sutskever","tag-linguistique","tag-noam-chomsky","tag-openai"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136955","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=136955"}],"version-history":[{"count":3,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136955\/revisions"}],"predecessor-version":[{"id":136963,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136955\/revisions\/136963"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=136955"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=136955"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=136955"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/Stable-diffusion-2023-07-30-a\u0300-19.39.11-1024x1024.png\")
<\/p>\n<\/p>\n