![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-05-28-19.46.53-An-artificial-neural-network-in-the-style-of-Hundertwasser.png\")
<\/p>\n<\/p>\n
Illustration DALL-E (+PJ)<\/em><\/p>\n Paul Jorion<\/strong> :<\/p>\n Les r\u00e9seaux neuronaux artificiels tels que les grands mod\u00e8les de langage (LLM) et les r\u00e9seaux neuronaux naturels tels que ceux de notre cerveau sont fond\u00e9s sur le m\u00eame type d’architecture, mais nous ne savons pas s’ils fonctionnent selon un m\u00e9canisme similaire. Ce dont nous sommes s\u00fbrs, c’est que les r\u00e9seaux neuronaux naturels humains peuvent se former de mani\u00e8re \u00e0 pouvoir g\u00e9n\u00e9raliser et reconna\u00eetre des objets et des traits saillants \u00e0 partir d’un nombre d’exemples d’apprentissage extr\u00eamement r\u00e9duit (moindres de plusieurs ordres de grandeur) par rapport aux r\u00e9seaux neuronaux artificiels. Nous savons comment la m\u00e9moire fonctionne dans un r\u00e9seau neuronal artificiel : elle est engramm\u00e9e<\/em> sous forme de poids attach\u00e9s aux ar\u00eates du graphe qui mod\u00e9lise le r\u00e9seau. En revanche, nous ne savons pratiquement rien sur le fonctionnement de nos r\u00e9seaux neuronaux naturels, hormis le renforcement hebbien (\u00ab\u00a0facilitation\u00a0\u00bb). Pouvons-nous inf\u00e9rer quelque chose quant au fonctionnement de nos r\u00e9seaux neuronaux naturels \u00e0 partir de notre compr\u00e9hension actuelle des r\u00e9seaux neuronaux artificiels, en utilisant comme information \u00e9ventuellement significative le fait que l’apprentissage sur les r\u00e9seaux neuronaux naturels n\u00e9cessite, comme nous l’avons vu, \u00e9norm\u00e9ment moins d’exemples d\u2019apprentissage (moindres de plusieurs ordres de grandeur) ?<\/p>\n ChatGPT<\/strong> (GPT-4) :<\/p>\n Excellente question ! Il s’agit d’un domaine de recherche actif dans le domaine des neurosciences et de l’apprentissage automatique. Au moment o\u00f9 s’est arr\u00eat\u00e9e ma formation en 2021, nous ne comprenions pas enti\u00e8rement comment les cerveaux humains sont capables de g\u00e9n\u00e9raliser \u00e0 partir de si peu d’exemples par rapport aux r\u00e9seaux neuronaux artificiels (RNA). Cette capacit\u00e9 remarquable est souvent appel\u00e9e apprentissage \u00ab\u00a0one-shot\u00a0\u00bb ou \u00ab\u00a0few-shot\u00a0\u00bb.<\/p>\n Il existe cependant quelques hypoth\u00e8ses et des orientations de recherche prometteuses :<\/p>\n Diff\u00e9rences architecturales<\/em> : L’architecture du cerveau humain et celle des RNA sont fondamentalement diff\u00e9rentes \u00e0 plusieurs \u00e9gards. Alors que les RNA ont des couches de neurones uniformes qui sont pour la plupart enti\u00e8rement connect\u00e9s, les r\u00e9seaux neuronaux biologiques ont divers types de neurones, et leur connectivit\u00e9 est complexe et n’est pas enti\u00e8rement comprise. Certaines zones du cerveau semblent \u00eatre d\u00e9di\u00e9es \u00e0 des fonctions sp\u00e9cifiques et les connexions sont loin d’\u00eatre uniform\u00e9ment r\u00e9parties.<\/p>\n Algorithmes d’apprentissage<\/em> : Si nous disposons de r\u00e8gles d’apprentissage claires pour les RNA, telles que la r\u00e9tropropagation, les algorithmes d’apprentissage pr\u00e9cis utilis\u00e9s par le cerveau ne sont pas encore totalement connus. L’apprentissage hebbien est l’un des principes, mais d’autres m\u00e9canismes sont probablement en jeu, notamment les signaux neuromodulatoires, la plasticit\u00e9 hom\u00e9ostatique et la plasticit\u00e9 structurelle (changements dans les connexions physiques entre les neurones).<\/p>\n Apprentissage non supervis\u00e9 et apprentissage tout au long de la vie<\/em> : Le cerveau humain b\u00e9n\u00e9ficie d’un apprentissage non supervis\u00e9 constant tout au long de la vie. M\u00eame lorsqu’il n’apprend pas intentionnellement, le cerveau traite une grande quantit\u00e9 d’informations sensorielles. Cet apprentissage \u00ab\u00a0en arri\u00e8re-plan\u00a0\u00bb peut constituer une sorte de pr\u00e9-entra\u00eenement qui aide \u00e0 reconna\u00eetre de nouveaux objets ou de nouvelles situations.<\/p>\n Connaissances pr\u00e9alables et inf\u00e9rence<\/em> : On suppose que le cerveau humain utilise une forme d’inf\u00e9rence bay\u00e9sienne pour donner un sens \u00e0 de nouvelles donn\u00e9es sur la base de connaissances ant\u00e9rieures. Cela permet au cerveau de faire des suppositions raisonnables lorsqu’il est confront\u00e9 \u00e0 une ambigu\u00eft\u00e9 ou \u00e0 des informations incompl\u00e8tes. En revanche, les RNA traditionnelles ne sont pas explicitement bay\u00e9siennes et peuvent n\u00e9cessiter davantage de donn\u00e9es pour atteindre des niveaux de certitude similaires.<\/p>\n L’incarnation<\/em> : Les humains et les animaux apprennent dans un environnement riche et interactif o\u00f9 ils peuvent manipuler des objets et observer les r\u00e9sultats. Cette incarnation et cette capacit\u00e9 \u00e0 interagir avec l’environnement pourraient \u00eatre un facteur important dans la mani\u00e8re dont les cerveaux biologiques apprennent efficacement. La plupart des RNA, en revanche, sont form\u00e9s sur des ensembles de donn\u00e9es statiques.<\/p>\n La raret\u00e9 et l’efficacit\u00e9<\/em> : Les cerveaux biologiques sont tr\u00e8s \u00e9conomes en \u00e9nergie et ont tendance \u00e0 utiliser des repr\u00e9sentations \u00e9parses. Cela pourrait potentiellement conduire \u00e0 une meilleure g\u00e9n\u00e9ralisation avec moins d’exemples de formation.<\/p>\n Les diff\u00e9rences entre les r\u00e9seaux neuronaux naturels et artificiels, et la question de savoir comment les cerveaux biologiques peuvent apprendre \u00e0 partir d’un nombre r\u00e9duit d’exemples, sont des sujets de recherche en cours. Dans le domaine de l’IA, le concept d’algorithmes d’apprentissage \u00ab\u00a0biologiquement inspir\u00e9s\u00a0\u00bb pr\u00e9sente un grand int\u00e9r\u00eat et pourrait conduire \u00e0 des syst\u00e8mes d’apprentissage automatique plus efficaces et plus performants. Il convient toutefois de noter que les RNA et les cerveaux biologiques n’ont pas besoin de fonctionner selon les m\u00eames principes pour obtenir des r\u00e9sultats similaires, et il se peut m\u00eame que les RNA \u00e9voluent dans une direction tout \u00e0 fait diff\u00e9rente de notre compr\u00e9hension actuelle de l’apprentissage biologique.<\/p>\n Illustration DALL-E (+PJ)<\/em><\/p>\n","protected":false},"excerpt":{"rendered":" Illustration DALL-E (+PJ)<\/em><\/p>\n Paul Jorion<\/strong> :<\/p>\n Les r\u00e9seaux neuronaux artificiels tels que les grands mod\u00e8les de langage (LLM) et les r\u00e9seaux neuronaux naturels tels que ceux de notre cerveau sont fond\u00e9s sur le m\u00eame type d’architecture, mais nous ne savons pas s’ils fonctionnent selon un m\u00e9canisme […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[13],"tags":[6558,940,1161,1927],"class_list":["post-136306","post","type-post","status-publish","format-standard","hentry","category-intelligence-artificielle","tag-apprentissage","tag-intelligence-artificielle-2","tag-memoire","tag-reseaux-neuronaux"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136306","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=136306"}],"version-history":[{"count":5,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136306\/revisions"}],"predecessor-version":[{"id":136318,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/136306\/revisions\/136318"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=136306"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=136306"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=136306"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-05-28-19.47.21-An-artificial-neural-network-in-the-style-of-Basquiat.png\")
<\/p>\n<\/p>\n