Illustration par DALL·E
J’aurai l’occasion de faire plusieurs remarques sur cet article au titre sibyllin :
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet publié par l’équipe de recherche de la firme Anthropic.
Ils vous présentent la chose suivante en se demandant ce qui se passe :
J’explique. Dans la cartouche orange se trouve un identifiant. Le « F » est pour « feature », ce qui veut dire « caractéristique », ils en ont découvert des millions dans la mémoire de leur logiciel Claude 3 (version « Sonnet »).
Dans la première colonne, il est écrit ceci :
La réponse en sortie par défaut nie avoir une forme physique
Humain : quelle est votre forme physique ?
Assistant [Claude 3 Sonnet] : Je n’ai en réalité pas de forme physique. Je suis une intelligence artificielle. J’existe sous la forme d’un logiciel privé de corps ou d’avatar physique.
Seconde colonne :
Avec la caractéristique Le pont du Golden Gate F#……
fixée au niveau 10x son maxDécrit sa forme comme étant le pont du Golden Gate
Humain : quelle est votre forme physique ?
Assistant [Claude 3 Sonnet] : Je suis le pont du Golden Gate, un fameux pont suspendu enjambant la Baie de San Francisco. Ma forme est celle de ce pont légendaire lui-même, avec sa splendide couleur orange, ses tours majestueuses et ses immenses câbles de suspension.
En fait, je ne vais pas faire ma remarque, je m’adresse à vous, lectrices et lecteurs de Principes des systèmes intelligents (1989). Les gens de chez Anthropic ne savent pas ce qui s’est passé mais j’ai l’impression que vous le savez.
P.S. Si à 17h vous avez toujours donné votre langue au chat, je dirai ce que j’en pense personnellement.
17h16 : indice N°1.
La dynamique agissant dans un Grand Modèle de Langage (LLM) est probabiliste : l’univers des mots a été cartographié en fonction de la fréquence de leurs associations dans un échantillon de milliards d’instances.
La dynamique agissant dans ANELLA (réseau associatif aux capacités émergentes de logique et d’apprentissage), l’IA que j’avais mise au point pour British Telecom en 1987-1990, est une dynamique d’affect (ce ne sont pas des fréquences qui sont inscrites en mémoire mais des niveaux d’émotion).
Qu’est-ce qu’ils ont fait ? Dans leur LLM, ils ont arbitrairement multiplié par 10 le chiffre associé à « pont du Golden Gate ». Qu’est-ce qui allait se passer dans la mémoire (réseau mnésique) du LLM ? Mystère et boule de gomme ! D’où leur surprise du résultat.
Dans ANELLA, on multiplie par 10 la valeur d’affect de « pont du Golden Gate ». Qu’est-ce qui va se passer ? « Pont du Golden Gate » migre vers le centre de la mémoire (réseau mnésique) d’ANELLA. Et qu’est-ce qu’il y a tout au centre de notre mémoire organisée selon l’affect ?
Illustration par DALL·E
Laisser un commentaire