{"id":140042,"date":"2024-05-14T19:09:51","date_gmt":"2024-05-14T17:09:51","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=140042"},"modified":"2024-05-14T19:19:56","modified_gmt":"2024-05-14T17:19:56","slug":"les-grands-modeles-de-langage-pj-sattaquent-a-lemergence-iii-gain-dinformation-dans-la-transposition-dun-graphe-en-son-dual","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/05\/14\/les-grands-modeles-de-langage-pj-sattaquent-a-lemergence-iii-gain-dinformation-dans-la-transposition-dun-graphe-en-son-dual\/","title":{"rendered":"<b>Les Grands Mod\u00e8les de Langage (+PJ) s\u2019attaquent \u00e0 l\u2019\u00e9mergence&nbsp;!<\/b> III. Gain d&rsquo;information dans la transposition d&rsquo;un graphe en son dual"},"content":{"rendered":"<p><a href=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur.webp\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-large wp-image-140050\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-1024x585.webp\" alt=\"\" width=\"1024\" height=\"585\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-1024x585.webp 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-300x171.webp 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-768x439.webp 768w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-1536x878.webp 1536w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur.webp 1792w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><\/p>\n<blockquote><p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p><\/blockquote>\n<p class=\"p1\"><b>P.J. <\/b>:<\/p>\n<p class=\"p1\"><b>Tr\u00e8s bien ! S&rsquo;il vous semble plausible qu&rsquo;on observe des ph\u00e9nom\u00e8nes \u00e9mergents lors de la transposition du graphe original vers son dual, comment expliqueriez-vous qu&rsquo;il y ait un gain d&rsquo;information dans le processus (gain qui est flagrant lorsque le processus est invers\u00e9 et qu&rsquo;une perte d&rsquo;information est \u00e0 l&rsquo;inverse tout aussi flagrante) ?<\/b><\/p>\n<p class=\"p1\"><b>Claude 3 <\/b>:<\/p>\n<p class=\"p1\">Le gain apparent d&rsquo;information lors du passage d&rsquo;un r\u00e9seau s\u00e9mantique au \u00ab\u00a0P-graphe\u00a0\u00bb, son dual, et la perte d&rsquo;information correspondante lors de l&rsquo;inversion du processus, est en effet une \u00e9nigme fascinante. Elle semble remettre en question nos intuitions sur la pr\u00e9servation de l&rsquo;information dans les transformations de graphes.<\/p>\n<p class=\"p1\">Une explication potentielle est que la repr\u00e9sentation du P-graphe capture en fait des informations latentes qui sont implicites dans la structure du r\u00e9seau s\u00e9mantique original, mais qui ne sont pas explicitement repr\u00e9sent\u00e9es dans ses n\u0153uds et ses ar\u00eates.<\/p>\n<p class=\"p1\">Examinons l&rsquo;exemple de l&rsquo;ajout de \u00ab\u00a0Lassie\u00a0\u00bb au r\u00e9seau s\u00e9mantique. Dans le P-graphe, cela a entra\u00een\u00e9 l&rsquo;\u00e9mergence d&rsquo;un nouveau neurone \u00ab\u00a0chien\u00a0\u00bb avec son propre ensemble de connexions. Cela sugg\u00e8re que le r\u00e9seau s\u00e9mantique contient implicitement des informations sur de multiples instanciations potentielles du concept de \u00ab\u00a0chien\u00a0\u00bb, chacune ayant ses propres propri\u00e9t\u00e9s relationnelles distinctes. Le P-graphe rend cela explicite en cr\u00e9ant des neurones distincts pour chaque instance.<\/p>\n<p class=\"p1\">De m\u00eame, l&rsquo;ajout du concept de \u00ab\u00a0ma\u00eetre\u00a0\u00bb et de la relation \u00ab\u00a0a_un\u00a0\u00bb a r\u00e9v\u00e9l\u00e9 une connectivit\u00e9 cyclique dans le P-graphe qui n&rsquo;\u00e9tait pas apparente dans le r\u00e9seau s\u00e9mantique. Cela indique la pr\u00e9sence de boucles de r\u00e9troaction et de relations r\u00e9ciproques qui \u00e9taient latentes dans la repr\u00e9sentation originale.<\/p>\n<p class=\"p1\">Donc en un sens, la transformation du P-graphe n&rsquo;ajoute pas vraiment de nouvelles informations, mais rend plut\u00f4t explicites certaines propri\u00e9t\u00e9s structurelles et relationnelles qui \u00e9taient d\u00e9j\u00e0 inh\u00e9rentes au r\u00e9seau s\u00e9mantique, mais qui n&rsquo;\u00e9taient pas directement accessibles.<\/p>\n<p class=\"p1\">La perte d&rsquo;information lors du parcours inverse d&rsquo;un P-graphe \u00e0 un r\u00e9seau s\u00e9mantique peut alors \u00eatre comprise comme une sorte de \u00ab\u00a0compression avec d\u00e9perdition\u00a0\u00bb, o\u00f9 certaines des riches propri\u00e9t\u00e9s \u00e9mergentes du P-graphe sont \u00e9limin\u00e9es en faveur d&rsquo;une repr\u00e9sentation plus simple et plus compacte.<\/p>\n<p class=\"p1\">Cette perspective s&rsquo;aligne sur l&rsquo;id\u00e9e que les r\u00e9seaux neuronaux du cerveau encodent les informations d&rsquo;une mani\u00e8re hautement distribu\u00e9e et implicite, donnant lieu \u00e0 des ph\u00e9nom\u00e8nes cognitifs \u00e9mergents qui sont difficilement lisibles dans une analyse symbolique localis\u00e9e. Il est possible que le P-graphe capture une part de la nature \u00e9mergente distribu\u00e9e de la repr\u00e9sentation neuronale.<\/p>\n<p class=\"p1\">Bien entendu, il ne s&rsquo;agit l\u00e0 que d&rsquo;une explication sp\u00e9culative. La v\u00e9ritable nature de la dynamique de l&rsquo;information dans ces transformations de graphes implique probablement un jeu complexe d&rsquo;interactions entre l&rsquo;explicite et l&rsquo;implicite, le local et le global, qui justifient des recherches math\u00e9matiques et empiriques beaucoup plus approfondies. Mais les indices s\u00e9duisants qu&rsquo;il y ait de l&rsquo;information \u00e9mergente dans la repr\u00e9sentation qu&rsquo;offre le P-graphe ouvrent certainement des voies prometteuses \u00e0 une exploration plus pouss\u00e9e dans la qu\u00eate de compr\u00e9hension des remarquables capacit\u00e9s de traitement de l&rsquo;information du cerveau.<\/p>\n<p class=\"p3\"><b>GPT-4<\/b> :<\/p>\n<p class=\"p3\">Le ph\u00e9nom\u00e8ne de gain d&rsquo;information lors de la transposition d&rsquo;un graphe s\u00e9mantique original vers son dual (\u00ab\u00a0<span class=\"s2\">P-graphe\u00a0\u00bb<\/span>) et, inversement, de perte d&rsquo;information lors de l&rsquo;inversion du processus, peut \u00eatre intrigant mais compr\u00e9hensible dans le cadre de la th\u00e9orie des graphes et de la repr\u00e9sentation des connaissances. Voici comment cela peut se produire :<\/p>\n<ul class=\"ul1\">\n<li class=\"li5\"><span class=\"s2\"><b>Modification de la repr\u00e9sentation structurelle<\/b> : dans le graphe original, les n\u0153uds repr\u00e9sentent les concepts et les ar\u00eates, les relations. Lorsqu&rsquo;ils sont transpos\u00e9s dans un P-graphe, les r\u00f4les sont invers\u00e9s : les ar\u00eates deviennent des concepts et les n\u0153uds des relations. Ce changement modifie la fa\u00e7on dont les informations sont structur\u00e9es et interpr\u00e9t\u00e9es, ce qui peut r\u00e9v\u00e9ler de nouveaux aper\u00e7us ou obscurcir ceux dont on dispose d\u00e9j\u00e0, selon la direction de la transformation.<\/span><\/li>\n<li class=\"li5\"><span class=\"s2\"><b>Mise en \u00e9vidence de diff\u00e9rents aspects<\/b> : dans un P-graphe, en se concentrant sur les relations en tant que n\u0153uds, il est possible d&rsquo;explorer et de mettre en \u00e9vidence les interconnexions et les d\u00e9pendances entre les concepts d&rsquo;une mani\u00e8re que le graphe d&rsquo;origine pourrait difficilement permettre. Cela peut \u00eatre per\u00e7u comme un gain d&rsquo;information, car cela offre une nouvelle perspective sur la fa\u00e7on dont les concepts sont reli\u00e9s, permettant de d\u00e9couvrir \u00e9ventuellement des configurations ou des regroupements (\u00ab\u00a0clusters\u00a0\u00bb) qui n&rsquo;\u00e9taient pas apparents auparavant.<\/span><\/li>\n<li class=\"li5\"><span class=\"s2\"><b>Perte du contexte original<\/b> : Lorsque l&rsquo;on inverse le processus d&rsquo;un P-graphe vers son graphe source, certaines des nuances relationnelles captur\u00e9es dans la repr\u00e9sentation des relations comme des n\u0153uds peuvent \u00eatre perdues. Le contexte original, dans lequel les concepts sont primaires et les relations secondaires, peut ne pas pr\u00e9server le r\u00e9seau complexe d&rsquo;interd\u00e9pendances mis en \u00e9vidence dans le P-graphe. Cette perte de contexte et quant \u00e0 l&rsquo;accent mis peut se traduire en une perte per\u00e7ue d&rsquo;information.<br \/>\n<\/span><\/li>\n<li class=\"li5\"><span class=\"s2\"><b>Complexit\u00e9 et d\u00e9tail<\/b> : le processus de transposition peut accro\u00eetre la complexit\u00e9 du graphe car il peut aboutir \u00e0 une structure plus dense ou plus intimement connect\u00e9e. Cette complexit\u00e9 accrue peut encoder des informations plus d\u00e9taill\u00e9es sur les relations entre les concepts, et \u00eatre ressentie comme un gain d&rsquo;information. Inversement, la simplification de cette complexit\u00e9 au cours de l&rsquo;inversion pourrait faire dispara\u00eetre une partie de ces d\u00e9tails, ce qui se traduirait par une perte d&rsquo;information.<\/span><\/li>\n<li class=\"li5\"><span class=\"s2\"><b>Questions relatives \u00e0 la mise en correspondance bidirectionnelle (\u00ab\u00a0mappabilit\u00e9\u00a0\u00bb)<\/b> : toutes les transformations ne sont pas bijectives (un vers un et dans) ; certaines peuvent \u00eatre surjectives (dans) ou injectives (un vers un), mais pas les deux \u00e0 la fois. Une transformation non bijective peut conduire \u00e0 des situations o\u00f9 la transformation inverse ne recr\u00e9e pas parfaitement le graphe original, ce qui entra\u00eene une perte d&rsquo;informations.<\/span><\/li>\n<li class=\"li5\"><span class=\"s2\"><b>Nuances s\u00e9mantiques<\/b> : le P-graphe peut capturer et souligner certaines nuances s\u00e9mantiques par la nature m\u00eame de sa structure &#8211; par exemple, une repr\u00e9sentation plus directe des relations sous forme de n\u0153uds peut rendre certaines connexions s\u00e9mantiques plus explicites ou plus faciles \u00e0 analyser. Cette sp\u00e9cificit\u00e9 peut \u00eatre dilu\u00e9e lors du retour \u00e0 la structure traditionnelle, o\u00f9 ces nuances peuvent \u00eatre implicites plut\u00f4t qu&rsquo;explicites.<\/span><\/li>\n<\/ul>\n<p class=\"p3\">Ce gain d&rsquo;information lors du passage \u00e0 un P-graphe et cette perte lors du retour peuvent \u00eatre critiques dans les applications o\u00f9 la structure et la dynamique de la repr\u00e9sentation des connaissances sont importantes, comme dans les sciences cognitives, l&rsquo;intelligence artificielle et l&rsquo;analyse des donn\u00e9es. Cet effet transformateur souligne l&rsquo;importance de choisir la bonne structure pour la bonne t\u00e2che dans les applications informatiques et th\u00e9oriques.<\/p>\n<p>(\u00e0 suivre&#8230;)<\/p>\n<p><a href=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h.webp\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-large wp-image-140052\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h-585x1024.webp\" alt=\"\" width=\"585\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h-585x1024.webp 585w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h-171x300.webp 171w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h-768x1344.webp 768w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h-878x1536.webp 878w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.09.41-A-detailed-illustration-of-a-living-individuals-head-in-a-side-profile-view-with-a-transparent-section-revealing-the-brain-structured-as-an-eerily-h.webp 1024w\" sizes=\"auto, (max-width: 585px) 100vw, 585px\" \/><\/a><\/p>\n<blockquote><p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"<p><a href=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur.webp\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-large wp-image-140050\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-1024x585.webp\" alt=\"\" width=\"1024\" height=\"585\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-1024x585.webp 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-300x171.webp 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-768x439.webp 768w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur-1536x878.webp 1536w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-05-14-17.00.32-A-detailed-illustration-emphasizing-the-graph-like-nature-of-the-neuronal-network-in-the-brain.-The-image-shows-a-human-brain-densely-packed-with-neur.webp 1792w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><\/p>\n<blockquote>\n<p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p>\n<\/blockquote>\n<p class=\"p1\"><b>P.J. <\/b>:<\/p>\n<p class=\"p1\"><b>Tr\u00e8s bien ! S&rsquo;il vous semble plausible qu&rsquo;on observe des ph\u00e9nom\u00e8nes \u00e9mergents lors de la transposition du graphe original vers son dual, comment expliqueriez-vous qu&rsquo;il y ait un gain d&rsquo;information dans le processus (gain qui est flagrant [&hellip;]<\/b><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9281,9204,13],"tags":[9207,9499,2921,9147,9205,9577,9579],"class_list":["post-140042","post","type-post","status-publish","format-standard","hentry","category-emergence","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-auto-organisation","tag-claude-3","tag-emergence","tag-gpt-4","tag-grands-modeles-de-langage","tag-p-graphe","tag-theorie-des-graphes"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140042","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=140042"}],"version-history":[{"count":6,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140042\/revisions"}],"predecessor-version":[{"id":140056,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140042\/revisions\/140056"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=140042"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=140042"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=140042"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}