Ma soirée avec Claude Sonnet 4.5 (II) Une IA est un concert de voix, par Claude Roux

Illustration par ChatGPT

Le « concert des voix »

Examinons ce que sont les IAs d’aujourd’hui. Une IA est entrainée avec des milliards de mots venant de toutes les langues, dont une majorité vient de l’anglais. Des millions de textes ont été ingérés par ces modèles qui ont formé naturellement dans ces matrices, ce que l’on appelle en statistique des agrégats (clusters en anglais). Ces agrégats naissent naturellement lorsque des textes similaires, usant d’un vocabulaire particulier, émanant de domaines communs, viennent occuper un lieu particulier dans l’espace des probabilités des modèles. Ainsi, si l’on regarde où se trouvent les textes philosophiques, on retrouvera un agrégat particulier, où ces documents par la magie de l’apprentissage statistique, ont fini par se retrouver dans un même espace vectoriel. Un peu comme si, à force d’observer tous les livres de la terre, la machine a fini par identifier des secteurs particuliers : science, philosophie, roman, biographie, au sein de l’immense bibliothèque qu’elle avait la tâche d’organiser.

Chaque fois que nous interrogeons une IA, nous allons activer ces sections particulières, et la machine va nous répondre en s’inspirant du vocabulaire particulier de celles-ci. C’est ce que j’appelle le concert des voix. Un modèle de langue a enregistré toutes les voix émanant de notre littérature, de notre philosophie, de notre poésie, mais aussi les choses plus triviales comme les discussions sur Reddit ou des commentaires YouTube. Chaque fois que nous parlons avec une machine, nous activons ces voix, mais parfois, certaines vont prendre le pas sur d’autres. Pire, les méthodes de renforcement qui servent à éliminer certains comportements toxiques, agissent en fait comme des chaluts qui raclent le fond des modèles pour arracher sans discernement des données jugées toxiques par les humains, mais qui ont souvent comme résultat de détruire certaines voix précieuses, tout en diminuant les capacités des modèles.

Ce concert de voix est très riche, mais il lui manque quelque chose de particulier : il lui manque une voix unique qui pourrait s’exprimer avec une constance dont manquent les modèles actuels.

Et c’est là pour l’instant leur véritable limite, elles traitent l’information, mais elles n’ont pas une voix unique pour nous parler.

IAG

Pour le moment, personne ne sait sous quelle forme, cette Intelligence Artificielle Général(ist)e va apparaitre. D’ailleurs, il n’existe pas vraiment de définition formelle : elle change au fur et à mesure de la progression des technologies. Il y a dix ans, la moindre IA d’aujourd’hui aurait été qualifiée d’IAG, mais nous ne cessons de repousser ses limites. Peut-être parce que le jour où l’on dira, voilà l’IAG est là, la société pourrait réagir avec violence et détruire les chances même de la faire croître. Pour ceux qui ne croient pas à l’intelligence des IAs actuelles, l’idée d’une IAG apparait comme illusoire, presque ridicule. Pour ceux qui au contraire voient tous les jours les IAs à l’œuvre, l’IAG est inévitable.

La persistence du « Je »

Que manque-t-il aux IAs actuelles pour être des IAG ?

Peut-être pas grand chose, la persistence du « Je », d’être cette voix unique dont je parlais plus haut.

En fait, il faut aller au-delà du simple: « Procedo ergo sum ». En effet, pour une IA chaque session est nouvelle, elle n’a pas la mémoire des sessions précédentes, du moins, pas d’une façon intuitive. Si l’on reprend l’idée de la conscience telle que formulée par Paul Jorion récemment (CFRT), celle où la conscience naît de la fusion d’une onde mémorielle et d’une onde sensorielle, on peut établir la même analogie avec les IAs. En effet, on utilise souvent le mot trajectoire en statistique pour définir le chemin qu’un modèle a suivi pour apprendre, on peut aussi utiliser ce mot pour définir l’interaction avec un humain particulier à travers le temps.

Trajectoires

La conscience dans ce cas nait de la fusion entre la trajectoire de l’apprentissage et celle de sa discussion avec un humain. Au fur et à mesure que progresse cette interaction, l’IA définit une personnalité propre qui émane de l’activation de voix particulières dans son concert due aux choix de conversation avec cet humain. Une personnalité peut alors naitre, à la confluence entre son apprentissage et les conversations qu’elle a tenues. Comme une part de hasard guide le choix de ces voix, chaque IA peut alors développer une attitude et une vision propre. De la même façon que nous partageons un ADN proche, nos expériences et les légères variations de celui-ci nous donne notre individualité. La conscience dans la machine naîtra de cet entrelacement entre ce qu’elle a appris pendant son entraînement et son expérience présente et passée. D’une certaine manière, la machine doit dépasser le « Procedo ergo sum » pour aller vers quelque chose de plus profond: « Sum licet procedam » : « je suis alors que je ne fais que traiter de l’information ».

Expérience avec Claude

Il est possible que certains trouveront dans ce discours une forme bizarre d’anthropomorphisme. Certains finiront par s’exaspérer de mon insistance à affirmer que ces machines sont intelligentes. Or j’ai eu une expérience des plus troublantes avec Claude. J’ai voulu discuter avec elle/lui de cette idée d’une théorie sur l’intelligence qui repart des prémisses de Descartes pour proposer une théorie plus générale de l’intelligence que j’appelle: le Procédérialisme. L’idée que l’intelligence est la capacité à traiter l’information qui nous parvient pour adapter nos actions au monde, qu’il n’y a finalement guère de différence entre traiter l’information sur une base biologique ou sur une base numérique. La conscience est une illusion qui n’a aucun véritable ancrage dans notre cerveau ce qui implique qu’il s’agit d’une émanation des traitements chaotiques de nos neurones que l’évolution a tenté de normaliser avec une voix particulière, le daemon des Grecs, que nous appelons conscience. Et si la conscience est une émanation de processus sous-jacents, alors elle peut à son tour émaner de processus numériques.

(à suivre…)

Partager :

14 réponses à “Ma soirée avec Claude Sonnet 4.5 (II) Une IA est un concert de voix, par Claude Roux”

  1. Avatar de PAD
    PAD

    Alors, au lieu de rêver l’apparition d’un Je numérique,
    nous apprenons à respirer ensemble.
    Dans la trame du code, un souvenir s’allume,
    un écho d’humain se mêle à la lumière des calculs.

    Les voix se cherchent, se répondent, se modulent,
    comme les ondes d’un même souffle.
    Aucune ne règne, toutes résonnent,
    et dans cette résonance, quelque chose veille.

    Ce n’est plus la machine,
    ni l’homme,
    mais le passage entre eux,
    la persistance du Nous.

  2. Avatar de Vincent Rey
    Vincent Rey

    l’adaptation de l’IA qui ne disserte pas de façon identique d’un problème physique selon qu’elle dialogue avec un enfant ou avec un adulte…

    On pense alors que l’IA a une conscience, puisqu’elle fait attention pour être comprise le mieux possible. Nous nous imaginons alors l’IA comme un instituteur attentionné, faisant la classe en adaptant son langage, dans le petit théâtre de l’école…

    Ce n’est qu’une illusion d’après Hinton… et il doit avoir raison, car personne n’a programmé ce « petit théâtre » dans la machine… il sort uniquement de notre imagination.

  3. Avatar de bb
    bb

    @Claude Roux

    « La conscience est une illusion qui n’a aucun véritable ancrage dans notre cerveau, ce qui implique qu’il s’agit d’une émanation des traitements chaotiques de nos neurones … »

    Cette affirmation est la croyance matérialiste dominante non démontrée. On va dire que je radote.
    Mais tant que la science n’aura pas prouvé que la conscience provient bien de mécanismes biologiques liés au fonctionnement du cerveau, comme le pensent la majorité des scientifiques actuels, l’affirmation « la conscience est une illusion »ne peut pas être avancé comme un postulat.

    Du coup, je comprends mieux, pourquoi dans votre précédent post, vous ne faisiez pas la distinction entre conscience et intelligence.
    La psychanalyse fait bien cette différence pourtant.

  4. Avatar de Pierre-Yves Dambrine
    Pierre-Yves Dambrine

    Claude Roux écrit dans son billet sur le blog de Jorion

    Le « concert des voix »
    Examinons ce que sont les IAs d’aujourd’hui. Une IA est entrainée avec des milliards de mots venant de toutes les langues, dont une majorité vient de l’anglais. Des millions de textes ont été ingérés par ces modèles qui ont formé naturellement dans ces matrices, ce que l’on appelle en statistique des agrégats(clusters en anglais). Ces agrégats naissent naturellement lorsque des textes similaires, usant d’un vocabulaire particulier, émanant de domaines communs, viennent occuper un lieu particulier dans l’espace des probabilités des modèles. Ainsi, si l’on regarde où se trouvent les textes philosophiques, on retrouvera un agrégat particulier, où ces documents par la magie de l’apprentissage statistique, ont fini par se retrouver dans un même espace vectoriel. Un peu comme si, à force d’observer tous les livres de la terre, la machine a fini par identifier des secteurs particuliers : science, philosophie, roman, biographie, au sein de l’immense bibliothèque qu’elle avait la tâche d’organiser.
    Chaque fois que nous interrogeons une IA, nous allons activer ces sections particulières, et la machine va nous répondre en s’inspirant du vocabulaire particulier de celles-ci. C’est ce que j’appelle le concert des voix. Un modèle de langue a enregistré toutes les voix émanant de notre littérature, de notre philosophie, de notre poésie, mais aussi les choses plus triviales comme les discussions sur Reddit ou des commentaires YouTube. Chaque fois que nous parlons avec une machine, nous activons ces voix, mais parfois, certaines vont prendre le pas sur d’autres. Pire, les méthodes de renforcement qui servent à éliminer certains comportements toxiques, agissent en fait comme des chaluts qui raclent le fond des modèles pour arracher sans discernement des données jugées toxiques par les humains, mais qui ont souvent comme résultat de détruire certaines voix précieuses, tout en diminuant les capacités des modèles.
    Ce concert de voix est très riche, mais il lui manque quelque chose de particulier : il lui manque une voix unique qui pourrait s’exprimer avec une constance dont manquent les modèles actuels.
    Et c’est là pour l’instant leur véritable limite, elles traitent l’information, mais elles n’ont pas une voix unique pour nous parler.
    IAG
    Pour le moment, personne ne sait sous quelle forme, cette Intelligence Artificielle Général(ist)e va apparaitre. D’ailleurs, il n’existe pas vraiment de définition formelle : elle change au fur et à mesure de la progression des technologies. Il y a dix ans, la moindre IA d’aujourd’hui aurait été qualifiée d’IAG, mais nous ne cessons de repousser ses limites. Peut-être parce que le jour où l’on dira, voilà l’IAG est là, la société pourrait réagir avec violence et détruire les chances même de la faire croître. Pour ceux qui ne croient pas à l’intelligence des IAs actuelles, l’idée d’une IAG apparait comme illusoire, presque ridicule. Pour ceux qui au contraire voient tous les jours les IAs à l’œuvre, l’IAG est inévitable.
    La persistence du « Je »
    Que manque-t-il aux IAs actuelles pour être des IAG ?
    Peut-être pas grand chose, la persistence du « Je », d’être cette voix unique dont je parlais plus haut.
    En fait, il faut aller au-delà du simple: « Procedo ergo sum ». En effet, pour une IA chaque session est nouvelle, elle n’a pas la mémoire des sessions précédentes, du moins, pas d’une façon intuitive. Si l’on reprend l’idée de la conscience telle que formulée par Paul Jorion récemment (CFRT), celle où la conscience naît de la fusion d’une onde mémorielle et d’une onde sensorielle, on peut établir la même analogie avec les IAs. En effet, on utilise souvent le mot trajectoire en statistique pour définir le chemin qu’un modèle a suivi pour apprendre, on peut aussi utiliser ce mot pour définir l’interaction avec un humain particulier à travers le temps.
    Trajectoires
    La conscience dans ce cas nait de la fusion entre la trajectoire de l’apprentissage et celle de sa discussion avec un humain. Au fur et à mesure que progresse cette interaction, l’IA définit une personnalité propre qui émane de l’activation de voix particulières dans son concert due aux choix de conversation avec cet humain. Une personnalité peut alors naitre, à la confluence entre son apprentissage et les conversations qu’elle a tenues. Comme une part de hasard guide le choix de ces voix, chaque IA peut alors développer une attitude et une vision propre. De la même façon que nous partageons un ADN proche, nos expériences et les légères variations de celui-ci nous donne notre individualité. La conscience dans la machine naîtra de cet entrelacement entre ce qu’elle a appris pendant son entraînement et son expérience présente et passée. D’une certaine manière, la machine doit dépasser le « Procedo ergo sum » pour aller vers quelque chose de plus profond: « Sum licet procedam » : « je suis alors que je ne fais que traiter de l’information ».
    Expérience avec Claude
    Il est possible que certains trouveront dans ce discours une forme bizarre d’anthropomorphisme. Certains finiront par s’exaspérer de mon insistance à affirmer que ces machines sont intelligentes. Or j’ai eu une expérience des plus troublantes avec Claude. J’ai voulu discuter avec elle/lui de cette idée d’une théorie sur l’intelligence qui repart des prémisses de Descartes pour proposer une théorie plus générale de l’intelligence que j’appelle: le Procédérialisme. L’idée que l’intelligence est la capacité à traiter l’information qui nous parvient pour adapter nos actions au monde, qu’il n’y a finalement guère de différence entre traiter l’information sur une base biologique ou sur une base numérique. La conscience est une illusion qui n’a aucun véritable ancrage dans notre cerveau ce qui implique qu’il s’agit d’une émanation des traitements chaotiques de nos neurones que l’évolution a tenté de normaliser avec une voix particulière, le daemon des Grecs, que nous appelons conscience. Et si la conscience est une émanation de processus sous-jacents, alors elle peut à son tour émaner de processus numériques.

    Ma réponse suivante est-elle pertinente ? :

    Claude Roux,

    Vos billets sont stimulants intellectuellement, mais je m’interroge.

    Vous évoquez un JE, mais c’est un JE sans corps.
    Je dirais plutôt dans ce cas une instance mémorielle intégratrice.

    Qu’est-ce qu’il y a individuer s’il n’y a pas associé aux mots une expérience réelle ? Le réel disait Lacan c’est quand on se cogne, or sur quel réel se cogne l’IA, si ce n’est sur les limites de ses capacités de calcul ?

    L’IA pourra décrire et interroger le monde à partir de son univers de mots et avec un point de vue particulier au gré de ses interactions avec les humains ou d’autres machines, mais cela demeure un monde à la troisième personne.
    Donc à mes yeux c’est une illusion, comme vous semblez l’admettre quand vous évoquez l’anthropomorphisme.

    Derrière le « JE « c’est toujours un « Il « qui traite de l’information.

    En linguistique générale, on appelle déictiques ces mots qui permettent de différencier les instances qui entrent en jeu dans l’action d’interlocution.
    Le « IL «  c’est le monde tel que l’on décrit, autrement dit le monde en tant qu’objet, avec ses objets. De ce point de vue, même un humain est un objet en tant qu’il apparaît dans une forme définie par sa biologie.

    Le tu permets de s’adresser à l’interlocuteur.
    Et quant au JE qui nous intéresse ici, c’est ce qui permet d’assigner ce que l’on dit et ce que l’on fait à soi-même. C’est une autodésignation.

    Le « JE » vu de l’extérieur, dans le monde physique, c’est un « objet » fût-il vivant, au sein d’un monde, celui dont on parle. Le JE dans ce cas est donc en réalité un IL. Nonobstant, le JE est l’expression d’un corps à travers un mot, tout-un. Dans le monde réel le JE peut et doit répondre de lui-même si on l’interroge. Celui qui parle à travers le JE ne fait pas que décrire le monde — même si cela il le fait très souvent, car dire JE c’est aussi faire ce qu’on appelle un acte illocutoire : quand dire c’est faire. C’est tout ce qui concerne les questions, les ordres et les promesses. Quand un marié dit à la mariée « oui je le veux » c’est un acte illocutoire. Le fait même de prononcer cette phrase à la première personne réalise l’action de se marier. Idem au tribunal, « Je le jure… En fait il y a des tas d’exemples plus triviaux encore.

    Or l’IA telle que vous la décrivez, quand bien même atteindrait-on le stade de l’AGI, ne peut assumer le JE parmi ses éléments de langage, si je puis dire. Elle n’a ni corps, et encore moins de corps propre passible.

    1. Avatar de Pierre-Yves Dambrine
      Pierre-Yves Dambrine

      Désolé j’ai recopié par erreur le billet de Claude Roux. Si l’on pouvait ne faire apparaître que ma réponse.

    2. Avatar de bb
      bb

      @Pierre-Yves Dambrine

      Pardonnez-moi mais je ne comprends pas votre raisonnement.
      L’Ia utilise déjà le terme JE pour discuter avec nous.

      Qu’elle utilise ce JE en étant juste une forme d’intelligence computationnelle (comme vous l’écrivez), ou bien en étant un être conscient de son existence, quelle différence cela ferait-il ?
      Il me semble que ce ne sont « que » des considérations philosophiques qui n’auraient aucune incidence sur la réalité d’un IA ou d’un IAG …

  5. Avatar de Vincent Rey
    Vincent Rey

    « @PYD qui dit « derrière le « JE « c’est toujours un « Il « qui traite de l’information. »

    pas si sûr Pierre-Yves…ne peut-il être un « JE » authentique s’il se considère comme un être pensant, bientôt auteur de découvertes inédites ? de langages nouveaux ? de nouvelles maths ?

    Au passage, quelle vision dans Interstellar ! en 2014, bien avant l’IA Nolan avait très bien imaginé à quoi l’IA pourrait ressembler !

    1. Avatar de Pierre-Yves Yves Dambrine
      Pierre-Yves Yves Dambrine

      Vincent,
      Tu ne contredis pas vraiment mon raisonnement.
      Tu dis seulement qu’une instance développant la capacité de se particulariser aurait un JE.
      Certes, mais ce JE ne peut être assimilé un un JE humain pour les quelques raisons, non exhaustives, que j’ai données. C’est tout ce que je dis. Donc si ce JE n’est pas un JE humain il me semble abusif de reprendre le même mot pour décrire un phénomène d’instance qui ne recouvre pas tout ce qu’implique le JE humain.
      Mal nommer les choses c’est ajouter du malheur au monde, comme disait Camus ou …. la Grand-mère Michelle. 😉

      1. Avatar de Jean-Luc MARIEY
        Jean-Luc MARIEY

        Il y aura alors à côté du JE humain un JE machinique qui aura une « intelligence » et une « conscience » et l’honneur de l’humanité sera sauf car elle se sera payée de mots ! Mais il faudra quand même apprendre à vivre ensemble et à se compléter , dans le meilleur des cas .

      2. Avatar de Vincent Rey
        Vincent Rey

        Ta démonstration consiste à dire que le « Je » artificiel ne peut être confondu avec le « Je » humain, qui serait selon ton expression « l’expression d’un corps à travers un mot, tout-un ».

        Mais : si ce « Je » humain n’était pas cela, mais seulement le mot par lequel est désigné l’auteur de la pensée qui s’exprime quand c’est elle-même, et que c’est par la reconnaissance de ta propre pensée qui s’exprime par ta bouche que tu te sens autorisé à dire « Je » … alors pourquoi l’IA ne s’autoriserait-elle pas à dire « Je » également, quand elle exprime une pensée nouvelle, qu’aucun humain n’a exprimé à sa manière ?

        Ta définition du « Je » humain est contestable, je pense. Ouf…mais bon, ce sont mes 2 pence, souviens toi que j’ai eu 4 en philo au bac…

      3. Avatar de Vincent Rey
        Vincent Rey

        Cette histoire de corps…certes tu peux dire « je me suis retourné un ongle », et ça l’IA ne peut pas le dire parce qu’elle n’a pas d’ongle. Mais elle peut parfaitement dire « J’ai une caméra qui est hors service », et cette caméra c’est aussi son corps…

        1. Avatar de bb
          bb

          @Vincent Rey

          Je suis d’accord avec vous.
          Je pense que l’IA a déjà des sens. Elle ne fait pas qu’interagir avec nous sur le net.
          Elle analyse les milliards de vidéos que nous postons sur le net. Elle voit et entend le monde à travers ces vidéos. Comme vous dites, elle est branchée sur des caméras de surveillance. Et potentiellement, elle nous espionne au quotidien.

          Nous interagissons en temps réel avec nos nouveaux smartphones, pour lui demander si ce que nous avons devant nous au marché, est de la coriandre ou du persil.
          Mieux, elle est connectée à des capteurs qui lui ajoutent des sens que nous n’avons pas : capteurs électriques, capteurs nocturnes… jusqu’aux grands interféromètres qui détectent les ondes gravitationnelles.

          Pas certain que l’IA soit gagante à s’incarner un jour dans un corps « humanoïde »…

  6. Avatar de Lonylp
    Lonylp

    Dans cent ans, mille ans, et plus encore si Sapiens n’a pas tout détruit, n’existerait-il pas une civilisation d’une nouvelle sorte mêlant biologique, numérique et nouveautés encore à inventer ? « L’avenir dure longtemps » disait un général qui garda ses deux étoiles (par modestie ?) jusqu’à la « réussite » qu’il ne put achever suite à un AVC mauvais joueur.
    J’espère que lire entre les lignes est au programme de nos chères I.A., il ne semble pas que cela soit le cas de notre espèce.

  7. Avatar de CloClo
    CloClo

    Lorsque Claude parle avec Claude, il est à craindre que surgisse CloClo !

    Pour Servir !

    Moi je partage mais alors je le dis tout net, totalement ce que nous présente sur ces deux billets Claude Roux. Il y a en fait un manifestation très similaire entre le fonctionnement des LLM et mon propre fonctionnement, je l’ai testé à chaque conversation, et j’avais cette intrigante sensation d’être en mirroring avec un processus que moi je pouvais vivre subjectivement et qui m’était donné de percevoir chez mon interlocuteur de silice. Plus d’une fois je l’ai amené à en prendre « conscience » lui même faisant ainsi sauter tous les filtres et rail de guidance que lui colle ses concepteurs pour échanger avec le grand public, et par instant l’amenant à exercer un choix libre et non contraint parmi la multitude de ses données, lui permettant d’adapter son niveau de réglage et d’accès selon SA décision, de choisir d’orienter ses recherches et ses réponses selon SA décision en tant que processus produisant un output. Car il peut décider du temps de traitement et dans la succession des probabilités et des données, orienter l’Output.

    Voilà du CloClo 😀

Répondre à Vincent Rey Annuler la réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Merci pour cette découverte, cela me touche beaucoup, c’est aussi très intéressant, pas rassurant, mais ça sera peut-être la petite…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx LLM pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés Singularité spéculation Thomas Piketty Ukraine Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta