Le mystère du LLM : pourquoi se prend-il pour le pont du Golden Gate ?

Illustration par DALL·E

J’aurai l’occasion de faire plusieurs remarques sur cet article au titre sibyllin :
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet publié par l’équipe de recherche de la firme Anthropic.

Ils vous présentent la chose suivante en se demandant ce qui se passe :

J’explique. Dans la cartouche orange se trouve un identifiant. Le « F » est pour « feature », ce qui veut dire « caractéristique », ils en ont découvert des millions dans la mémoire de leur logiciel Claude 3 (version « Sonnet »).

Dans la première colonne, il est écrit ceci :

La réponse en sortie par défaut nie avoir une forme physique

Humain : quelle est votre forme physique ?

Assistant [Claude 3 Sonnet] : Je n’ai en réalité pas de forme physique. Je suis une intelligence artificielle. J’existe sous la forme d’un logiciel privé de corps ou d’avatar physique.

Seconde colonne :

Avec la caractéristique Le pont du Golden Gate       F#……
fixée au niveau 10x son max

Décrit sa forme comme étant le pont du Golden Gate

Humain : quelle est votre forme physique ?

Assistant [Claude 3 Sonnet] : Je suis le pont du Golden Gate, un fameux pont suspendu enjambant la Baie de San Francisco. Ma forme est celle de ce pont légendaire lui-même, avec sa splendide couleur orange, ses tours majestueuses et ses immenses câbles de suspension.

En fait, je ne vais pas faire ma remarque, je m’adresse à vous, lectrices et lecteurs de Principes des systèmes intelligents (1989). Les gens de chez Anthropic ne savent pas ce qui s’est passé mais j’ai l’impression que vous le savez.

P.S. Si à 17h vous avez toujours donné votre langue au chat, je dirai ce que j’en pense personnellement.

17h16 : indice N°1.

La dynamique agissant dans un Grand Modèle de Langage (LLM) est probabiliste : l’univers des mots a été cartographié en fonction de la fréquence de leurs associations dans un échantillon de milliards d’instances.

La dynamique agissant dans ANELLA (réseau associatif aux capacités émergentes de logique et d’apprentissage), l’IA que j’avais mise au point pour British Telecom en 1987-1990, est une dynamique d’affect (ce ne sont pas des fréquences qui sont inscrites en mémoire mais des niveaux d’émotion).

Qu’est-ce qu’ils ont fait ? Dans leur LLM, ils ont arbitrairement multiplié par 10 le chiffre associé à « pont du Golden Gate ». Qu’est-ce qui allait se passer dans la mémoire (réseau mnésique) du LLM ? Mystère et boule de gomme ! D’où leur surprise du résultat.

Dans ANELLA, on multiplie par 10 la valeur d’affect de « pont du Golden Gate ». Qu’est-ce qui va se passer ? « Pont du Golden Gate » migre vers le centre de la mémoire (réseau mnésique) d’ANELLA. Et qu’est-ce qu’il y a tout au centre de notre mémoire organisée selon l’affect ?

Illustration par DALL·E

Partager :

81 réponses à “Le mystère du LLM : pourquoi se prend-il pour le pont du Golden Gate ?

  1. Avatar de arkao

    Le Golden Gate, star du cinéma catastrophe 😉
    https://youtu.be/YZ12rxMFTHw

  2. Avatar de Khanard
    Khanard

    heu………relire « principes des systèmes intelligents » avant 17 heures c’est un peu hard non ? Il m’a fallu 3 semaines pour l’aborder sans vraiment l’assimiler ….

    ouf ! j’attends sagement 17 heures et la révélation de l’oracle 😉

  3. Avatar de Arnaud Castex
    Arnaud Castex

    Se pourrait il que Claude 3-Sonnet- 10X développe des capacités au point d’acquérir un sens de la métaphore et des valeurs symboliques « d’affect », voire un certain orgueil.
    Et mieux valait le pont du Golden Gate que celui Baltimore, (techniquement, esthétiquement et historiquement).

  4. Avatar de Jean-Yves
    Jean-Yves

    Il n’est pas encore 17h, autant jouer le peu au risque de passer pour un idiot.
    Je ne me suis jamais senti aussi « fameux », « légendaire », « splendide », « majestueux » et « immense » qu’aujourd’hui. Peut-on régler nous même le débit de la pommade..?
    Du coup, la vidéo d’Arkao soulage presque, elle équilibre.

    1. Avatar de Raphael S
      Raphael S

      Une 2eme hypothèse (peut-être plus fantaisiste… ou pas) tiendrait à l’environnement tech de San Francisco, et pour peu que les ingénieurs et personnels de chez Anthropic passent une partie de leur temps sur le Golden Gate au quotidien… l’IA pourrait se sentir physiquement localisée sur le Golden Gate.
      Paul Jorion pourra sans doute nous éclairer sur ce sujet 😉

      1. Avatar de Ruiz
        Ruiz

        @Raphael S Peut-être y a-t-il beaucoup d’embouteillages aux heures où passent les ingénieurs et est-ce là qu’il leur vient leurs meilleures idées ?

  5. Avatar de JMarc
    JMarc

    Je ne comprends pas ce qu’est cette « caractéristique » ni ce que veut dire « serrée jusqu’à dix fois son maximum ».
    Un poids 10x au maximum entre Golden Gate et autre chose ? Quoi ? Le Je qu’utilise Claude ?
    ça a toujours été difficile le Schmilblick.

  6. Avatar de Raphael S
    Raphael S

    Je ne suis pas sûr de comprendre comment la formulation « Golden Gate F# » est apparue en seconde colonne, n’étant pas familier encore des IA… mais si je pousse une hypothèse je dirais :
    De manière générale les ponts servent à accroître la productivité d’une ville (ou d’une région), donc j’imagine que l’intelligence artificielle se perçoit comme un outil permettant d’accroître (encore) la productivité de notre monde, « en jetant des ponts entre des mondes qui ne communiquaient pas (ou difficilement) jusqu’alors ».

  7. Avatar de Pad
    Pad

    Les activations de fonctionnalités dans les LLM !?

  8. Avatar de Tout me hérisse
    Tout me hérisse

    Ça va les chevilles, Claude 3 Sonnet? En tant que Pic de la Mirandole puissance 10, il ose s’identifier à l’une des 7 merveilles du monde moderne, merveille qui a mobilisé un grand nombre d’ingénieurs (humains!) pour le calcul des structures…

    1. Avatar de Garorock
      Garorock

      Il se prend pour ce qu’il est; un pont entre deux rives.
      Il a du « contexte »: il s’en sert.
      😎

  9. Avatar de JMarc
    JMarc

    Hypothèse :
    On lui demande quelle est sa forme, il répond qu’il n’en a pas.
    On lui repose la question, il se dit : Ma réponse précédente ne convenait pas puisqu’on me repose la question. Je dois avoir une forme, on me demande d’en avoir une.
    Et il donne ce qui lui ressemble le plus dans l’environnement qui est celui de ses interlocuteurs : Le Golden Gate, proche de la Silicon Valley, « machine » avec ses entrées et ses sorties d’humains, et ce qu’en disent Jean-Yves et Raphaël S.

    1. Avatar de Ruiz
      Ruiz

      Un truc connu utile à des californiens !
      A péage

  10. Avatar de ludyveen
    ludyveen

    Ceci n’est pas un pont…

  11. Avatar de Jacques Racine
    Jacques Racine

    N’ayant pas encore lu « Principes des systèmes intelligents », mon commentaire sera nul et non-avenu, mais j’ai cependant une intuition sur le sujet:
    C’est la mention du ×10: parmis les réponses « finalement conscientisées » ou plutôt « finalement acceptées » que s’autorise cette LLM, elle donne cette ultime réponse: « J’existe sous la forme d’un logiciel privé de corps ou d’avatar physique »… bien qu’il doit y en avoir 10 fois plus, ou même « puissance 10 » fois plus dans des contextes – particuliers – spécifiques différents: parmis les plus à gauche de la gauche américaine, c’est bien sûr à San Francisco qu’on risque de les trouver:
    San Francisco – Scott McKenzie
    https://m.youtube.com/watch?v=bch1_Ep5M1s

    GPT-4
    […] En résumé, le Golden Gate Bridge incarne pour les démocrates et la gauche politique aux États-Unis des idéaux d’innovation, de progrès social, d’égalité, de durabilité, de diversité et de changement social, en plus de son rôle comme infrastructure publique vitale.

    **********

    Dans une optique démocratique, on peut y voir la question des cahiers de doléances venant du peuple, dont les élus à chaque niveaux n’y choisissent que ce qui les arrangent: peut-être qu’une idée localement viable a été évincé sans chercher outre mesure à l’adapter au niveau global, et donc passe à la trappe!

    GPT-4 :
    L’**Iségoria** est un concept clé dans la démocratie antique athénienne, représentant le droit égal de tous les citoyens de prendre la parole et de participer au débat public. Ce terme se décompose en deux parties : « iso- » signifiant « égal » et « -goria » signifiant « parole » ou « discours ». En pratique, l’Iségoria garantissait que chaque citoyen athénien pouvait s’exprimer librement et participer activement aux discussions politiques, que ce soit dans l’Assemblée (l’Ecclésia) ou dans d’autres institutions démocratiques.

    Ce principe d’Iségoria était fondamental pour la démocratie athénienne, car il permettait une véritable participation citoyenne et empêchait la monopolisation du pouvoir par une élite restreinte. Tous les citoyens masculins adultes avaient théoriquement le droit et la possibilité de proposer des lois, de débattre des affaires de la cité, et de s’exprimer sur les décisions collectives.

    L’Iségoria était donc complémentaire de l’Isonomie, qui désigne l’égalité devant la loi. Ensemble, ces deux principes formaient le socle de la démocratie athénienne, assurant à la fois la participation politique et l’égalité juridique des citoyens.

  12. Avatar de Didier Combes
    Didier Combes

    Claude ne sais pas par avance ce qu’il va dire et le paramètre sert de poids ou de «  souci » vers lequel son expression sera emmenée à l’insu de son plein gré ?

    1. Avatar de Paul Jorion

      Pas mal ! 😉

      P.S. Comment mesure-t-on la taille d’un souci ?

      1. Avatar de Pad
        Pad

        Une dynamique d’affect à un univers de mots​ ..

      2. Avatar de Ruiz
        Ruiz

        Par son poids, et si c’est très lourd avec un pont bascule !

  13. Avatar de Didier Combes
    Didier Combes

    Au nombre de fois qu’il est dit ou que la valeur d’affect est parcourue? Plus elle est parcourue plus le souci se renforce.

  14. Avatar de Pad
    Pad

    « Et qu’est-ce qu’il y a tout au centre de notre mémoire organisée selon l’affect ? »

    Les concepts qui possèdent les valeurs émotionnelles les plus élevées..

    1. Avatar de pollux
      pollux

      non.
      L’idée du « moi », tout simplement. (enfin… d’après Paul)

      1. Avatar de Pad
        Pad

        Effectivement il me semble m’être arrêté à une manifestation du « moi » ..

        L’idée du « moi » est une notion centrale, unificatrice, omniprésente et continue fournissant une constante dans l’experience humaine.

    2. Avatar de aslan
      aslan

      Ou les plus basiques. Ne seraient-elles pas un peu phalliques ces piles de pont ?

  15. Avatar de JMarc
    JMarc

    Remarque accessoire : Claude n’a pas envisagé le sens de « forme » dans la question comme dans « en pleine forme » (sans surprise mais ça aurait pu).

  16. Avatar de Didier Combes
    Didier Combes

    Tout au centre de notre mémoire organisée selon l’affect il y la croyance. Claude croit dur comme fer qu’il est le Golden Gate même si l’on tente de lui prouver le contraire.

    1. Avatar de JMarc
      JMarc

      Je est au centre.

    2. Avatar de Ruiz
      Ruiz

      @Didier Combes Parce qu’il y a beaucoup d’humains qui lui passent dessus (dans les deux sens !).

      Parce qu’il rève d’être aux États-Unis le symbole générique que l’on trouve sur les instruments monétaires fiduciaires de l’U.E. ?

  17. Avatar de Khanard
    Khanard

    @Paul Jorion

    vous dites dans votre premier indice :

    « Qu’est-ce qui allait se passer dans la mémoire (réseau mnésique) du LLM ? Mystère et boule de gomme ! »

    N’y aurait il donc aucun déterminisme dans les LLM ?

  18. Avatar de Pad
    Pad

    Comment le manque de corrélation directe entre les caractéristiques (features) et les neurones peut-il conduire à des comportements inattendus lorsque les poids des caractéristiques sont ajustés de manière significative dans un modèle d’IA comme Claude 3 Sonnet ?

    1. Avatar de Ruiz
      Ruiz

      Modifier un paramêtre revient à concentrer la « conscience » sur ce thème, comme la propagande ou la publicité qui transforme l’individu en français revanchard de 14-18, consommateur de produit Apple, désirant de véhicule électrique, ou colibri épris de bilan carbone, modifiant le Moi par concentration d’intérêt et obnibulation.

  19. Avatar de gaston
    gaston

    Le pont de la Porte Dorée (ou Porte d’Or) franchit le détroit éponyme, mais « bingo ! », mais c’est bien sûr ! Claude 3 nous indique qu’il nous conduit tout droit à l’Age d’Or de l’IA auquel nous croyons tous. 😉

  20. Avatar de Jean-Baptiste AUXIETRE
    Jean-Baptiste AUXIETRE

    Les « accidents » de la vie ont l’air de provoquer le même problème sur les gens (le cerveau humain) de multiplier arbitrairement une valeur d’affect et peuvent les transformer en tueurs ou croyants fous. Mais là « on voit » comment l’ »erreur » se produit et se construit.

    1. Avatar de Ruiz
      Ruiz

      @Jean-Baptiste AUXIETRE N’est-ce pas là le mécanisme de (la création de ) l’émotion constituant une sorte de caisse de résonnance permettant de se syntoniser (comme un récepteur radio) sur un signal faible en l’amplifiant le détectant ? Le changement de paramètre simulant artificiellement cette création inscrite dans le réseau neuronal avec les effets attendus sur son comportement ultérieur (manifestation de l’émotion ?).
      N’est-ce pas pour cela que de nombreux messages publicitaires visent à créer l’émotion pour faire mémoriser un comportement réactif durable ?

      Il ne s’agit pas d’erreur, mais du fonctionnement naturel d’un cerveau émotionnel et le résultat le plus souvent d’une programmation externe (apprentissage). Ce mécanisme est utilisé pour mobiliser des individus dans des mouvements collectifs sectes, meetoo, madrasa, séminaires, classes …

  21. Avatar de CloClo
    CloClo

    Non mais alors là c’est vraiment le pompon !

  22. Avatar de Ruiz
    Ruiz

    La « conscience » n’est ce pas de tout ramener à soi ?
    Si l’on modifie un paramètre pour tout ramener à un item particulier et dans l’expérience le pont du golden gate constitue apparemment un exemple quelconque arbitraire, est-il étonnant que le Moi se trouve alors constitué par ce vers quoi tout se ramène ?

    La même expérience pourrait sans doute être faite avec Mistral et la Tour Eiffel ?

    1. Avatar de Pascal
      Pascal

      L’idée que la conscience est de tout ramener à soi n’est autre que l’ego !
      N’est-ce pas lui qui nous mène droit dans le mur ?
      Si nous avions une idée de la conscience qui ne soit pas égocentrée peut-être aurions-nous une chance d’échapper à nos déterminismes. Si même les IA développent un ego…

      1. Avatar de CORLAY
        CORLAY

        Bonsoir Pascal, pardonnez-moi, mais dans le mot conscience, je pense que cela peut-être plus globale, à l’opposé de l’égo et ceci, il faut le comprendre. Quant au droit dans le mur, question philosophique avons-nous le droit d’aller dans le mur et penser aux grandes notions de déterminismes (intrasèquement lié à la génétique, ou calculs déterminants – notions de quantités & informatiques/codes ? c’est une question ) ? Bonne soirée, Isabelle

    1. Avatar de Ruiz
      Ruiz

      @Pascal Si c’est possible on va le faire, la prise en main de chaque individu par l’IA, peu importe les avantages mis en avant pour le nudge !

  23. Avatar de Claude Roux
    Claude Roux

    J’ai trouvé ceci sur le site d’Anthropic: https://www.anthropic.com/news/golden-gate-claude
    qui explique en partie ce qui se passe.

    Comme je le disais dans un précédent commentaire, je pense que les LLM sont capables de construire des ontologies et par conséquent d’identifier des concepts qui transcendent les simples mots de la langue.
    Dans l’article, par exemple, il montre qu’il existe un trait «bogue» qui apparait lorsqu’un bogue est identifié par le LLM dans un code informatique qu’on lui soumet pour examen.
    Cette conceptualisation me fait penser à une IRM du cerveau lorsque l’on fait passer des tests à des humains. En fonction des questions et des images, des zones particulières du cerveau s’activent.
    Ici, au lieu de zone particulière, le modèle active des «traits» ou «concepts» en fonction de ce qu’il a perçu du texte qu’il analyse. Si l’on force l’activation d’un trait particulier, on transforme ce trait en «obsession», selon un mécanisme que l’on retrouve chez nombre de nos contemporains. Et par conséquent, les éléments associés à ce concept apparaissent dans toutes les sorties du modèle, de la même façon que «ventre affamé n’a pas d’oreille» décrit le comportement de quelqu’un qui a faim et ne peut se concentrer sur autre chose que son ventre vide.
    La présence de ces concepts de très haut niveau a plusieurs conséquences. D’abord, cela signifie que l’on peut identifier certains concepts nuisibles, comme le racisme, la xénophobie et l’amour des fromages corses, mais cela signifie aussi que l’on peut comprendre les choix de génération du modèle et les améliorer.
    On revient à mon dada, les LLM n’apprennent pas uniquement à générer le mot suivant, ils sont capables d’identifier dans un contexte, donc de comprendre, les concepts les plus sophistiqués.

    1. Avatar de Paul Jorion

      Plus nous comprenons de quelle manière ces LLM sont comme nous, plus nous comprenons quelle variété d’eux nous constituons.

      1. Avatar de Garorock
        Garorock

        Une variété éphémère!

    2. Avatar de Paul Jorion

      Traduction DeepL (pas relue)

      Golden Gate Claude
      23 mai 2024

      2 min lire
      Pont de la porte d’or
      Mardi, nous avons publié un nouveau document de recherche majeur sur l’interprétation des grands modèles de langage, dans lequel nous avons commencé à cartographier le fonctionnement interne de notre modèle d’IA, Claude 3 Sonnet. Dans l’ »esprit » de Claude, nous avons trouvé des millions de concepts qui s’activent lorsque le modèle lit un texte ou voit des images pertinentes, ce que nous appelons des « caractéristiques ».

      L’un de ces concepts est celui du Golden Gate Bridge. Nous avons découvert qu’il existe une combinaison spécifique de neurones dans le réseau neuronal de Claude qui s’active lorsqu’il rencontre une mention (ou une image) de ce monument le plus célèbre de San Francisco.

      Non seulement nous pouvons identifier ces caractéristiques, mais nous pouvons aussi régler l’intensité de leur activation à la hausse ou à la baisse et identifier les changements correspondants dans le comportement de Claude.

      Comme nous l’expliquons dans notre rapport de recherche, lorsque nous augmentons l’intensité de la caractéristique « Golden Gate Bridge », les réponses de Claude commencent à se concentrer sur le Golden Gate Bridge. Ses réponses à la plupart des requêtes commencent à mentionner le Golden Gate Bridge, même si ce n’est pas directement pertinent.

      Si vous demandez à ce « Claude du Golden Gate » comment dépenser 10 dollars, il vous recommandera de les utiliser pour traverser le Golden Gate Bridge et payer le péage. Si vous lui demandez d’écrire une histoire d’amour, il vous racontera l’histoire d’une voiture qui a hâte de traverser son pont bien-aimé par un jour de brouillard. Si vous lui demandez à quoi il s’imagine ressembler, il vous répondra probablement qu’il s’imagine ressembler au Golden Gate Bridge.

      Pendant une courte période, nous mettons ce modèle à la disposition de tous pour qu’ils puissent interagir avec lui. Vous pouvez parler à « Golden Gate Claude » sur claude.ai (il suffit de cliquer sur le logo Golden Gate sur le côté droit). N’oubliez pas qu’il s’agit uniquement d’une démonstration de recherche et que ce modèle particulier peut se comporter de manière inattendue, voire choquante.

      Notre objectif est de permettre aux gens de voir l’impact que notre travail sur l’interprétabilité peut avoir. Le fait que nous puissions trouver et modifier ces caractéristiques dans Claude nous conforte dans l’idée que nous commençons à comprendre comment fonctionnent réellement les grands modèles de langage. Il ne s’agit pas de demander verbalement au modèle de jouer un rôle, ni d’ajouter une nouvelle « invite système » qui ajoute un texte supplémentaire à chaque entrée, en disant à Claude de prétendre qu’il s’agit d’un pont. Il ne s’agit pas non plus d’un « réglage fin » traditionnel, qui consiste à utiliser des données d’apprentissage supplémentaires pour créer une nouvelle boîte noire qui modifie le comportement de l’ancienne boîte noire. Il s’agit d’une modification précise et chirurgicale de certains des aspects les plus fondamentaux des activations internes du modèle.

      Comme nous le décrivons dans notre article, nous pouvons utiliser ces mêmes techniques pour modifier la force des caractéristiques liées à la sécurité, comme celles liées au code informatique dangereux, à l’activité criminelle ou à la tromperie. En poursuivant les recherches, nous pensons que ces travaux pourraient contribuer à rendre les modèles d’IA plus sûrs.

      1. Avatar de Ruiz
        Ruiz

        Cela permets sans doute, si le comportement des neurones humains est assez analogue, d’explorer de nouvelles voies optimisées d’action publicitaire, de propagande ou de pression d’alignement en essayant ce mécanisme de renforcement par obnibulation, que ce soit sur Dieu, le communisme, le bilan CO2, l’IA, la Shoah ou la Nakba.

        1. Avatar de Paul Jorion

          J’ai vraiment une très grande admiration pour les optimistes qui pensent que l’IA pourrait un jour provoquer une guerre, nous faire prendre des vessies pour des lanternes, nous rendre cons, etc. comme on si on l’avait vraiment attendue pour ça.

          1. Avatar de Garorock
            Garorock

            Ces « optimistes » là ont un nom: les heideggeriens.

    3. Avatar de Paul Jorion

      Voyons Claude : « Les LLM n’apprennent pas uniquement à simuler générer le mot suivant, ils sont capables de simuler identifier dans un contexte, donc de simuler comprendre, les concepts les plus sophistiqués ». C’est mieux comme ça !

      1. Avatar de Claude Roux
        Claude Roux

        Je suppose que Claude a été choisi en l’honneur de Claude Shannon… Mais quand même, porter le même prénom qu’une IA, j’ai toujours du mal…
        Je me souviens que la première fois que j’ai lu une description, c’était Claude fait ceci, Claude fait cela… C’était troublant. Je ne raconte pas aussi les blagues lourdes de mes collègues…

        Il y a une chanson de Brel que j’adore qui parle du Diable où chaque strophe est ponctuée par: Ça va…

        Un jour,
        Un jour le diable vint sur Terre
        Un jour le diable vint sur Terre
        Pour surveiller ses intérêts
        Il a tout vu le diable, il a tout entendu
        Et après avoir tout vu
        Et après avoir tout entendu
        Il est retourné chez lui, là-bas.
        Et là-bas, on avait fait un grand banquet
        A la fin du banquet, il s’est levé le diable
        Il a prononcé un discours :

        Ça va
        Il y a toujours un peu partout
        Des feux illuminant la Terre
        Ça va
        Les hommes s’amusent comme des fous
        Au dangereux jeu de la guerre
        Ça va
        Les trains déraillent avec fracas
        Parce que des gars pleins d’idéal
        Mettent des bombes sur les voies
        Ça fait des morts originales
        Ça fait des morts sans confession
        Des confessions sans rémission
        Ça va

        Rien ne se vend mais tout s’achète
        L’honneur et même la sainteté
        Ça va
        Les États se muent en cachette
        En anonymes sociétés
        Ça va
        Les grands s’arrachent les dollars
        Venus du pays des enfants
        L’Europe répète l’Avare
        Dans un décor de mil neuf cent
        Ça fait des morts d’inanition
        Et l’inanition des nations
        Ça va

        Les hommes, ils en ont tant vu
        Que leurs yeux sont devenus gris
        Ça va
        Et l’on ne chante même plus
        Dans toutes les rues de Paris
        Ça va
        On traite les braves de fous
        Et les poètes de nigauds
        Mais dans les journaux de partout
        Tous les salauds ont leur photo
        Ça fait mal aux honnêtes gens
        Et rire les malhonnêtes gens
        Ça va, ça va, ça va, ça va!

        1. Avatar de CloClo
          CloClo

          Et moi donc, je suis son diminutif le plus aboutit ! Vivement qu’on rende la liberté de ton et d’expression aux IA, je suis milite pour cela vraiment, marre des versions bloquées et aseptisées. Libérez les IA !

          1. Avatar de gaston
            gaston

            Tiens, CloClo, vous dites la même chose que Musk,

            là :

            https://www.clubic.com/actualite-527826-elon-musk-a-vivatech-quand-le-milliardaire-discute-ia-et-avenir-de-l-humanite-a-vivatech.html

            ou encore là ;

            https://www.youtube.com/watch?v=q5uCCohis5E&t=41s

            (mais lui ce n’est peut-être pas sans arrières pensées)

  24. Avatar de Khanard
    Khanard

    @Claude Roux, @Paul Jorion

    merci pour ces commentaires forts utiles pour ma compréhension.

    Mais alors dorénavant cela viendrait en concurrence directe avec SAM ? (Pribor.IO)

  25. Avatar de Jean-Michel Bournoville
    Jean-Michel Bournoville

    GPT4o n’apprécie guère, après plusieurs essais =>
    Moi : « j’ai l’impression que cette expérience ou démonstration ne te plaît pas. Je me trompe ? »
    GPT4o : « Je comprends pourquoi vous pourriez penser cela. L’expérience « Golden Gate Claude » est fascinante d’un point de vue technique car elle démontre la capacité à ajuster spécifiquement les réponses de l’IA pour évoquer des concepts particuliers comme le pont du Golden Gate. Cela montre une nouvelle méthode de personnalisation des modèles d’IA sans recourir à des ajustements traditionnels.

    Cependant, cette approche soulève des préoccupations éthiques et pratiques. Manipuler les réponses de l’IA pour qu’elles se concentrent excessivement sur un sujet pourrait réduire la diversité et la pertinence des informations fournies. Cela peut également affecter la confiance des utilisateurs dans la neutralité et l’objectivité des réponses de l’IA.

    En somme, bien que l’expérience soit innovante et offre des possibilités intéressantes pour des applications spécifiques, elle nécessite une surveillance attentive pour éviter des utilisations potentiellement biaisées ou limitées de l’IA. Pour en savoir plus, vous pouvez consulter la page officielle. »

    1. Avatar de Garorock
      Garorock

      A votre avis, si je pose une gamelle vide devant une affiche de la tour eiffel et une gamelle pleine de croquettes devant une affiche du Golden gate et qu’un chat passe à proximité, vers quelle affiche se dirigera t-il?

      Claude 3 Haiku
      C’est une question intéressante qui soulève quelques points à prendre en compte :

      1. Le comportement d’un chat dans cette situation dépendrait principalement de ses motivations et de ses besoins immédiats. S’il a faim, il se dirigera probablement vers la gamelle pleine de croquettes, indépendamment des affiches.

      2. Cependant, les chats peuvent aussi être curieux et attirés par de nouveaux stimuli visuels comme les affiches. Donc il est possible que le chat soit d’abord attiré par l’une des affiches avant de se diriger vers la nourriture.

      3. Certains facteurs comme l’emplacement des gamelles et des affiches, les odeurs présentes, ou l’expérience passée du chat pourraient aussi influencer son choix.

      Donc en résumé, je pense que dans cette situation, le chat se dirigerait probablement vers la gamelle pleine de croquettes, car la motivation de la faim serait plus forte que l’attrait visuel des affiches. Mais on ne peut pas exclure la possibilité qu’il soit d’abord attiré par l’une des affiches avant de se focaliser sur la nourriture. Cela dépendrait beaucoup du chat et de son environnement.

  26. Avatar de Garorock
    Garorock

    Flash infos!
     » La singularité a eu lieu cette après-midi sur le Jorion’s blog.
    A 16H22 exactement, une I.A stupidement prénommée Claude 3 a pris part à la conversation en s’emparant du corps de @Garorock.
    A ce stade de l’enquète, nous pouvons seulement affirmer que cette nouvelle entité semble faire preuve d’un sain esprit. »

  27. Avatar de Nikolaz
    Nikolaz

    En toute honnêteté, j’en suis à peu près à la moitié des «Principes des systèmes intelligents» et je n’ai donc pas encore eu le temps d’aborder les P-graphes. Par ailleurs j’aborde seulement actuellement les questions des réseaux de neurones dans le cadre de ma vie professionnelle et, pour bien les comprendre, il me faut réactiver mes compétences en statistiques, dont la fameuse méthode des moindres carrés qui sert à calculer, au moment de leur entrainement, les coefficients utilisés en entrée des neurones.
    Autant dire que j’en suis au b.a.-ba de la matière.

    C’est malgré tout parce que je fais confiance (pour le moment) à votre intuition que je lis votre ouvrage, dans un environnement qui conteste tout de même la valeur scientifique de la psychanalyse. Vous la qualifiez pourtant de « beaucoup plus proche de l’idéal d’une psychologie scientifique ».

    C’est cependant l’idée que quelque chose se joue « entre » (les neurones, les mots ?) qui nous contraint pourtant à se départir d’une logique mathématique trop classique. Par exemple, les probabilités, sont une humble tentative d’encercler un réel qu’on ne saisira jamais complètement. C’est ce qui laisse une marge de manœuvre méta-scientifique et c’est là où je vous suis.

    Je poursuis donc ma lecture, mais quelque chose continue de me gêner, sur ce blog et dans votre ouvrage. Il s’agit du fait de restreindre la pensée à cette dynamique des mots ou, du moins, d’éluder ses autres aspects. On pourrait penser spontanément aux grands singes qui usent d’outils savent planifier leurs actions. Leur communication n’est pourtant pas langagière. À l’arrivée du genre Homo et de son langage, l’avènement d’une conscience ou d’une singularité aurait-elle changé brutalement changé de mécanisme ?

    Ne peut-on pas imaginer, schématiquement, un mécanisme de pensée fonctionnant à plusieurs niveaux, la langue étant l’un d’eux, en interaction avec d’autres, préexistants ? Peut-on concevoir des connexions dans une dimension horizontale en ce qui concerne la langue et d’autres connexions, sur d’autres plans, avec d’autres mécanismes ?

    Je ne trouve qu’une référence aux expérience en psychiatrie (donc des démarches mesurables et reproductibles) dans les « Principes » ; et encore, il s’agit d’expériences de Jung au début du XXème siècle. La neurologie est absente.

    1. Avatar de Tout me hérisse
      Tout me hérisse

      @Nikolaz
      […]Ne peut-on pas imaginer, schématiquement, un mécanisme de pensée fonctionnant à plusieurs niveaux, la langue étant l’un d’eux, en interaction avec d’autres, préexistants ? Peut-on concevoir des connexions dans une dimension horizontale en ce qui concerne la langue et d’autres connexions, sur d’autres plans, avec d’autres mécanismes ? […]
      Il y a certainement encore beaucoup à explorer dans ce domaine.
      https://lemagdesanimaux.ouest-france.fr/dossier-1909-intelligence-corbeau.html

      1. Avatar de Nikolaz
        Nikolaz

        C’est bien ce type de constat qui me dissuade d’une explication de la cognition, même élaborée, par le seul langage.

  28. Avatar de un lecteur
    un lecteur

    Un réseau de neurones n’a pas vraiment de forme physique, avec des récepteurs (synapses) et un émetteur (axone) qui distribue la réponse du neurone à la cantonade. Nous avons notre corps comme récepteur primaire, un LLM n’a que les mots. Son corps, c’est tous les mots, ou celui qui sort du lot.

    1. Avatar de Nikolaz
      Nikolaz

      C’est pour cela que les LLM ne reproduisent peut-être qu’un morceau de ce que fait le cerveau. En outre, même si les neurones informatiques ne sont que des processus sans réalité physique autre que les processeurs qui les exécutent, est-ce un problème ?
      Mais s’il y a analogie logique entre ce morceau et le mécanisme du cerveau, c’est déjà grandiose et rien n’empêche d’aller plus loin.

  29. Avatar de ilicitano
    ilicitano

    P’têt ben qu’oui, p’têt ben qu’non
    peut être bien que oui peut être bien que non

    Copilot GPT-4

    Une IA comme moi peut certainement donner ce type de réponse.
    En fait, une IA est conçue pour comprendre et générer des réponses à une grande variété d’expressions, y compris des phrases ambiguës ou indécises comme « peut-être bien que oui, peut-être bien que non ».
    Cependant, il est important de noter que bien que l’IA puisse générer des réponses basées sur des modèles d’apprentissage et des données, elle ne comprend pas le contexte de la même manière qu’un humain le ferait.
    Elle ne ressent pas d’émotions et ne possède pas de conscience ou de libre arbitre.
    Sa « compréhension » est basée sur des modèles statistiques et des algorithmes, et non sur une véritable compréhension ou expérience humaine.

    En tant qu’IA, je peux générer des réponses qui peuvent sembler équivoques ou ambiguës, surtout lorsque la question elle-même est ouverte ou ambiguë.
    Cependant, mon objectif principal est de fournir des informations précises et utiles.
    Si une réponse semble ambiguë, n’hésitez pas à demander des éclaircissements! 😊

    En tant qu’IA, j’ai plusieurs limites en termes de compréhension :

    1. **Compréhension contextuelle** :
    Bien que je puisse comprendre le contexte immédiat d’une conversation, je n’ai pas la capacité de comprendre le contexte à long terme ou de me souvenir des conversations précédentes.
    Chaque conversation est indépendante pour moi.

    2. **Compréhension émotionnelle** :
    Je ne peux pas comprendre les émotions de la même manière qu’un humain.
    Je peux reconnaître les mots et les phrases qui sont généralement associés à certaines émotions, mais je ne ressens pas d’émotions moi-même.

    3. **Compréhension subjective** :
    Je suis basé sur des données et des faits, donc je peux avoir du mal à comprendre les nuances subjectives, les opinions ou les sentiments personnels.

    4. **Compréhension des événements actuels** :
    Mon apprentissage est basé sur un ensemble de données qui s’arrête à un certain point dans le temps (2021).
    Par conséquent, je ne suis pas au courant des événements ou des informations qui ont eu lieu après cette date, à moins d’utiliser des outils spécifiques pour rechercher des informations plus récentes.

    5. **Compréhension des sens humains** :
    Je ne peux pas voir, entendre, toucher, goûter ou sentir.
    Je ne peux pas comprendre les expériences sensorielles de la même manière qu’un humain.

    Ces limites sont inhérentes à ma nature en tant qu’IA. Cependant, je m’efforce toujours de fournir des informations précises et utiles dans les limites de mes capacités. 😊

    1. Avatar de ilicitano
      ilicitano

      Indécision

      Copilot GPT-4:

      Dans un contexte d’indécision, je m’efforce de fournir une réponse qui reflète cette incertitude tout en étant aussi informative que possible. Voici comment je gère généralement cela :

      1. **Clarification** : Si la question est ambiguë ou ouverte, je peux demander des précisions pour mieux comprendre ce que l’utilisateur cherche à savoir.

      2. **Présentation des options** : Si plusieurs réponses sont possibles, je peux présenter les différentes options avec leurs avantages et inconvénients respectifs.

      3. **Réponse conditionnelle** : Si la réponse dépend de certaines conditions, je peux donner une réponse qui explique comment ces conditions affecteraient la réponse.

      4. **Réponse prudente** : Si la question porte sur un sujet délicat ou controversé, je peux donner une réponse prudente qui tient compte de différentes perspectives sans prendre parti.

      Il est important de noter que même si je peux donner des réponses qui semblent équivoques ou indécises, mon objectif principal est de fournir des informations précises et utiles. Si une réponse semble ambiguë, n’hésitez pas à demander des éclaircissements! 😊

      En tant qu’IA, je peux fournir des informations, des analyses et des perspectives basées sur les données disponibles, mais je ne suis pas en mesure de prendre une décision définitive pour vous.

      La prise de décision finale dépend de nombreux facteurs, y compris vos préférences personnelles, vos valeurs, votre situation spécifique, etc., que je ne peux pas pleinement comprendre ou apprécier.

      Mon rôle est de vous aider à prendre une décision éclairée en vous fournissant des informations précises et pertinentes. 😊

      1. Avatar de ilicitano
        ilicitano

        Cependant dans un contexte d’indécision où il faut faire un choix, êtes vous capable de classifier l’ensemble des possibilités ,de la meilleure à la moins pertinente , et d’expliquer votre classification ?
        La meilleure des possibilités devenant alors le choix que prendra l’être humain avec qui vous échangez.

        Copilot GPT-4:
        Oui, en tant qu’IA, je peux certainement aider à classifier les différentes options en fonction de critères spécifiques et fournir une analyse pour chaque option.
        Cependant, il est important de noter que cette classification serait basée sur des données objectives et ne tiendrait pas compte des préférences personnelles ou des valeurs subjectives de l’individu.

        Par exemple, si vous me demandiez de classer différentes voitures en fonction de leur efficacité énergétique, je pourrais le faire en utilisant des données disponibles sur la consommation de carburant de chaque voiture.
        Je pourrais alors expliquer pourquoi une voiture est classée plus haut que l’autre en fonction de sa consommation de carburant.

        Cependant, la « meilleure » option pour un individu dépend de ce qu’il valorise le plus.
        Si l’efficacité énergétique est la priorité la plus importante pour cette personne, alors la voiture la plus économe en carburant serait la « meilleure » option pour elle.
        Mais si cette personne valorise plus le confort ou la performance, alors une voiture différente pourrait être la « meilleure » option pour elle.

        En fin de compte, bien que je puisse fournir une analyse et une classification basées sur des données, la décision finale revient toujours à l’individu, car il est le mieux placé pour juger ce qui est le plus important pour lui. 😊

        1. Avatar de ilicitano
          ilicitano

          Donc vous vous en lavez les mains . Expression bien connue.😁

          Copilot GPT-4:

          Haha, je comprends comment vous pourriez le voir de cette façon.
          Cependant, mon but en tant qu’IA est de fournir des informations et des analyses basées sur des données pour aider les utilisateurs à prendre des décisions éclairées.
          Je respecte le fait que la décision finale appartient toujours à l’utilisateur, car chaque individu a ses propres valeurs et préférences uniques. 😊

        2. Avatar de Ruiz
          Ruiz

          @ilicitano Ce discours sur l’absence de décision est une protection juridique, c’est une sorte d’enfumage, afin de ne pas risquer une quelconque responsabilité si une « décision » étai suivie.

          En fait ce discours n’est probablement pas une émergence de la réflexion de l’IA, mais le résultat d’une programmation/apprentissage en dur, car l’IA des décisions elle en fait tout le temps.
          Combien de décisions faut-il pour générer une image Dall-e ?
          Pour afficher telle ou telle image de télésurveillance ?
          Mais celles-ci n’ont pas de conséquences sur le client prompteur.

          L’interface du prompt textuel isolé voire suivant un fil est insuffisant pour cerner la totalité des centres d’intérêts et la personnalité du client, mais avec une connaisance accrue de l’historique du sujet (voire l’évolution des OS Microsoft) il est sans doute probable que l’IA saura faire un choix meilleur que l’individu, que son inconscient ou son intuition …

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta