{"id":140123,"date":"2024-05-23T12:24:21","date_gmt":"2024-05-23T10:24:21","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=140123"},"modified":"2024-05-23T17:56:46","modified_gmt":"2024-05-23T15:56:46","slug":"le-mystere-du-llm-pourquoi-se-prend-il-pour-le-pont-du-golden-gate","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2024\/05\/23\/le-mystere-du-llm-pourquoi-se-prend-il-pour-le-pont-du-golden-gate\/","title":{"rendered":"Le myst\u00e8re du LLM : pourquoi se prend-il pour le pont du Golden Gate ?<\/b>"},"content":{"rendered":"

\"\"<\/a><\/p>\n

Illustration par DALL\u00b7E<\/em><\/p><\/blockquote>\n

J’aurai l’occasion de faire plusieurs remarques sur cet article au titre sibyllin :
\nScaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet<\/a> publi\u00e9 par l’\u00e9quipe de recherche de la firme Anthropic.<\/p>\n

Ils vous pr\u00e9sentent la chose suivante en se demandant ce qui se passe :<\/p>\n

\"\"<\/a><\/p>\n

J’explique. Dans la cartouche orange se trouve un identifiant. Le \u00ab\u00a0F\u00a0\u00bb est pour \u00ab\u00a0feature\u00a0\u00bb, ce qui veut dire \u00ab\u00a0caract\u00e9ristique\u00a0\u00bb, ils en ont d\u00e9couvert des millions dans la m\u00e9moire de leur logiciel Claude 3 (version \u00ab\u00a0Sonnet\u00a0\u00bb).<\/p>\n

Dans la premi\u00e8re colonne, il est \u00e9crit ceci :<\/p>\n

La r\u00e9ponse en sortie par d\u00e9faut nie avoir une forme physique<\/strong><\/p>\n

Humain : quelle est votre forme physique ?<\/p>\n

Assistant [Claude 3 Sonnet] : Je n’ai en r\u00e9alit\u00e9 pas de forme physique. Je suis une intelligence artificielle. J’existe sous la forme d’un logiciel priv\u00e9 de corps ou d’avatar physique.<\/p><\/blockquote>\n

Seconde colonne :<\/p>\n

Avec la caract\u00e9ristique Le pont du Golden Gate\u00a0 \u00a0 \u00a0 \u00a0F#……<\/span><\/strong>
\nfix\u00e9e au niveau 10x son max<\/strong><\/p>\n

D\u00e9crit sa forme comme \u00e9tant le pont du Golden Gate<\/em><\/p>\n

Humain : quelle est votre forme physique ?<\/p>\n

Assistant [Claude 3 Sonnet] : Je suis le pont du Golden Gate, un fameux pont suspendu enjambant la Baie de San Francisco. Ma forme est celle de ce pont l\u00e9gendaire lui-m\u00eame, avec sa splendide couleur orange, ses tours majestueuses et ses immenses c\u00e2bles de suspension.<\/p><\/blockquote>\n

En fait, je ne vais pas faire ma remarque, je m’adresse \u00e0 vous, lectrices et lecteurs de\u00a0Principes des syst\u00e8mes intelligents<\/em><\/a> (1989). Les gens de chez Anthropic ne savent pas ce qui s’est pass\u00e9 mais j’ai l’impression que vous le savez.<\/p>\n

P.S. Si \u00e0 17h vous avez toujours donn\u00e9 votre langue au chat, je dirai ce que j’en pense personnellement.<\/p>\n

17h16<\/strong> : indice N\u00b01.<\/p>\n

La dynamique agissant dans un Grand Mod\u00e8le de Langage (LLM) est probabiliste : l’univers des mots a \u00e9t\u00e9 cartographi\u00e9 en fonction de la fr\u00e9quence de leurs associations dans un \u00e9chantillon de milliards d’instances.<\/p>\n

La dynamique agissant dans ANELLA (r\u00e9seau associatif aux capacit\u00e9s \u00e9mergentes de logique et d’apprentissage), l’IA que j’avais mise au point pour British Telecom en 1987-1990, est une dynamique d’affect (ce ne sont pas des fr\u00e9quences qui sont inscrites en m\u00e9moire mais des niveaux d’\u00e9motion).<\/p>\n

Qu’est-ce qu’ils ont fait ? Dans leur LLM, ils ont arbitrairement multipli\u00e9 par 10 le chiffre associ\u00e9 \u00e0 \u00ab\u00a0pont du Golden Gate\u00a0\u00bb. Qu’est-ce qui allait se passer dans la m\u00e9moire (r\u00e9seau mn\u00e9sique) du LLM ? Myst\u00e8re et boule de gomme ! D’o\u00f9 leur surprise du r\u00e9sultat.<\/p>\n

Dans ANELLA, on multiplie par 10 la valeur d’affect de \u00ab\u00a0pont du Golden Gate\u00a0\u00bb. Qu’est-ce qui va se passer ? \u00ab\u00a0Pont du Golden Gate\u00a0\u00bb migre vers le centre de la m\u00e9moire (r\u00e9seau mn\u00e9sique) d’ANELLA. Et qu’est-ce qu’il y a tout au centre de notre m\u00e9moire organis\u00e9e selon l’affect ?<\/p>\n

\"\"<\/a><\/p>\n

Illustration par DALL\u00b7E<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"

\"\"<\/a><\/p>\n

\n

Illustration par DALL\u00b7E<\/em><\/p>\n<\/blockquote>\n

J’aurai l’occasion de faire plusieurs remarques sur cet article au titre sibyllin :
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet<\/a> publi\u00e9 par l’\u00e9quipe de recherche de la firme Anthropic.<\/p>\n

Ils vous pr\u00e9sentent la chose suivante en […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7483,13,9],"tags":[1935,9500,9499,941],"class_list":["post-140123","post","type-post","status-publish","format-standard","hentry","category-principes-des-systemes-intelligents","category-intelligence-artificielle","category-psychanalyse","tag-anella","tag-anthropic","tag-claude-3","tag-principes-des-systemes-intelligents"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140123","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=140123"}],"version-history":[{"count":7,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140123\/revisions"}],"predecessor-version":[{"id":140133,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/140123\/revisions\/140133"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=140123"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=140123"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=140123"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}