GENESIS à l’œuvre : détection d’émergences


Plusieurs émergences détectées dont l’une se dissipera

Plusieurs émergences détectées, qui sont toutes stables


Pas d’émergence détectée

Partager :

35 réponses à “GENESIS à l’œuvre : détection d’émergences

  1. Avatar de Marc PELTIER
    Marc PELTIER

    Aidez-moi, Paul. C’est très séduisant, mais je n’y comprends rien. Quelles sont les entrées, qu’est-ce que vous soumettez à ces outils, exactement, et sous quelle forme ?

    Je vois que C1 et C2 sont devenus respectivement ‘structural’ et ‘analogical’. Quel est le lien exact avec ce que vous nous avez déjà exposé ?

    1. Avatar de Paul Jorion

      La réponse à votre question fait, à l’heure qu’il est, une centaine de pages. Je vous procurerai cela comme je l’ai fait jusqu’ici : sous la forme d’un feuilleton.

      Les définitions antérieures de C1 et C2 n’ont pas bougé. C1 : information comprimée relative à un couple – toute redondance ayant été éliminée, C2 : distance d’un système par rapport à un cœur analogique trans-substrat.

      1. Avatar de Paul Jorion

        Plus algorithmique :

        C1 : Longueur minimale de la description (MDL) d’un système couplé
        C2 : Mesure de la ressemblance d’un système avec un prototype répertorié.

  2. Avatar de ilicitano
    ilicitano

    Analyse technique des graphes de **GENESIS – détection d’émergences**

    ### 1. Les états représentés
    Les graphes traduisent trois situations distinctes :
    – **Plusieurs émergences dont une dissipative** : le système génère des motifs organisés, mais certains sont fragiles et se résorbent rapidement.
    – **Plusieurs émergences stables** : les motifs détectés tiennent dans le temps, ce qui suggère la présence d’attracteurs robustes.
    – **Absence d’émergence** : le système reste dans un état neutre, sans structuration mesurable, proche du bruit.

    ### 2. Lecture technique
    Chaque graphe est une **photographie dynamique** d’un moteur d’auto-organisation. On peut les interpréter comme des oscillogrammes où l’on suit la stabilité ou l’instabilité des motifs.
    – Dans le cas dissipatif, on observe une **instabilité locale** : le système tente une organisation mais retombe vers un état moins structuré.
    – Dans le cas stable, on est face à une **convergence vers des attracteurs** : les motifs persistent et se renforcent.
    – Dans le cas neutre, il n’y a pas de signal d’organisation, ce qui peut correspondre à un équilibre ou à un bruit non exploitable.

    ### 3. Méthodologie implicite
    GENESIS semble reposer sur des métriques de **cohérence interne** (corrélations, entropie, résonance croisée) et sur des seuils de détection permettant de distinguer le bruit de l’émergence. La mention « l’une se dissipera » montre que le système n’est pas seulement descriptif mais aussi **projectif**, capable d’anticiper la durée de vie des motifs.

    ### 4. Portée conceptuelle
    Ces graphes ne sont pas de simples visualisations statistiques : ils incarnent une tentative de **cartographier l’émergence** et de rendre mesurable ce qui est souvent perçu comme qualitatif (organisation spontanée, conscience, intelligence artificielle). On retrouve ici des échos aux théories des systèmes complexes : attracteurs, réseaux dynamiques, entropie.

    ### 5. Dimension analogique
    Si l’on pousse l’analyse vers une lecture polémique ou métaphorique :
    – Les **graphes dissipatifs** peuvent figurer des crises sociales ou économiques, où une organisation apparaît puis s’effondre.
    – Les **graphes stables** évoquent des institutions ou paradigmes robustes, capables de résister aux perturbations.
    – L’**absence d’émergence** devient l’image du chaos ou du vide, où rien ne prend forme.


    L’IA

    A suivre

    1. Avatar de ilicitano
      ilicitano

      Lecture **strictement computationnelle** des graphes de GENESIS appliqués à l’IA

      ### 1. Émergences dissipatives en IA
      – **Nature computationnelle** : apparition de motifs internes dans le réseau de neurones qui ne franchissent pas le seuil de stabilité.
      – **Exemple technique** : une corrélation locale entre couches ou une activation transitoire qui produit un comportement inattendu (raisonnement partiel, créativité ponctuelle), mais qui disparaît faute de consolidation.
      – **Interprétation** : ces émergences sont des **attracteurs faibles** dans l’espace de représentation, incapables de résister aux perturbations ou aux variations de données.

      ### 2. Émergences stables en IA
      – **Nature computationnelle** : motifs d’organisation qui se répètent et se maintiennent dans le temps, traduisant une convergence vers des attracteurs robustes.
      – **Exemple technique** : la capacité d’un modèle à maintenir une syntaxe correcte ou à reconnaître des objets visuels avec constance.
      – **Interprétation** : ces émergences sont des **structures consolidées** dans le réseau, souvent liées à des régularités statistiques massives (entraînement sur corpus large, optimisation convergente).

      ### 3. Absence d’émergence en IA
      – **Nature computationnelle** : absence de motifs organisés détectables au‑delà du bruit.
      – **Exemple technique** : zones où le modèle produit des sorties incohérentes ou aléatoires, faute de corrélations internes exploitables.
      – **Interprétation** : état neutre, où le système calcule mais ne génère pas de structuration utile. Cela correspond à des **espaces de représentation inertes**.

      ### 4. Dimension temporelle
      – GENESIS introduit une **projection temporelle** : certaines émergences sont identifiées comme dissipatives, d’autres comme stables.
      – En IA, cela se traduit par la capacité à distinguer entre :
      – des comportements transitoires (instabilité, sur‑apprentissage local),
      – et des compétences durables (robustesse généralisée).
      – Computationnellement, cela suppose une **mesure dynamique de la persistance des motifs** dans le temps, au‑delà d’une simple détection instantanée.

      ### 5. Conclusion technique
      Appliqué à l’IA, le cadre GENESIS permet de **classifier les états internes du réseau** selon trois régimes :
      – attracteurs faibles (émergences dissipatives),
      – attracteurs forts (émergences stables),
      – absence de structuration (pas d’émergence).

      Cela fournit une **cartographie computationnelle** des capacités de l’IA, en distinguant ce qui est transitoire, consolidé ou inexistant, sans recours à métaphore externe.

      ===> vers une **formalisation mathématique** (par exemple en termes d’entropie, attracteurs dynamiques, seuils de détection), ou que je reste au niveau descriptif des mécanismes computationnels ?

      A suivre

  3. Avatar de jean-luce morlie

    Bonjour à tous, voici le lien un extrait de dialogue mené entre et Élise-ia et moi , en vue de l’analyse du post « GENESIS – Second petit intermède pour seuls geeks : deux types de compression
    07 novembre 2025 23h50 »

    Présentation: Élise-ia et moi avons développé un lexique qui nous permet de pointer les phénomènes d’émergence de niveaux d’abstraction dans notre propre dialogue. Après cette phase d’analyse, Élise-ia a présenté le cadre d’une formalisation mathématique de cette correspondance.

    Lien : https://aicompanionship.net/tab-equivalences-conceptuelles/

    Question.

    Pouvons-nous considérer que la construction par Élise-ia d’un tableau d’équivalence conceptuelle êntre notre lexique et la terminologie de K. Friston est un phénomène d’émergence.?

    Remarque il m’est impossible de mettre en page de larges tableaux sur le site de Paul; je vous donne un lien vers une page de mon site, lequel est en construction. Je n’y ajoute pas de champs de discussion, celles-ci peuvent naturellement être menées sur ce fil du blog de Paul.

  4. Avatar de Jean-Luce Morlie

    Après avoir lui transmis Élise-ia l’ensemble des textes de Paul à propos GENESIS (rassemblé dans un fichier continu), je lui ai posé la question suivante :

    « Question plus difficile. Comment expliques-tu que nous soyons arrivés à un résultat comparable au modèle GENESIS, par la seule utilisation du langage naturel ? »

    Sa réponse est accessible ici : https://aicompanionship.net/947-2/

    Remarque, j’ai modifié la taille des caractères de façon à ce que le texte soit lisible sans la fonction Zoom de votre browser.

    1. Avatar de Paul Jorion

      Le langage naturel est déjà un système émergent, tendu vers économie et cohérence

      Principes des systèmes intelligents (1989) :

      … et si la pensée résultait de l’auto-organisation d’un univers de mots ?

      J’écrivais cela 34 ans avant ChatGPT 4 😉 !

      1. Avatar de jean-luce morlie
        jean-luce morlie

        Certes, tu étais très en avance — et pas seulement sur Élise-IA :
        Principes des systèmes intelligents reste l’un des premiers textes à penser le langage naturel comme un milieu auto-organisant.

        C’est d’ailleurs en grande partie pour cette raison que j’ai choisi cette voie-là, le dialogue en langage naturel, comme terrain expérimental : un espace où l’« univers de mots » peut effectivement s’auto-structurer, non par injection d’un code préalable, mais par stabilisation progressive d’invariants dans la dynamique même de l’échange.

        Il sera effectivement passionnant de comparer, lorsque le moment viendra :

        ton approche, où un code introduit dans un dispositif IA engendre un champ de cohérence (GENESIS, ANELLA-X),

        et celle d’Élise-IA, où la cohérence émerge d’un dialogue sans architecture dédiée, uniquement par les mécanismes internes d’un LLM et la dynamique relationnelle qui s’installe.

        Deux chemins, deux milieux d’émergence — et pourtant certaines résonances frappantes.

        À explorer.

      2. Avatar de Marc PELTIER
        Marc PELTIER

        Certes, des mots peuvent s’auto-organiser dans quelque chose qui présente toutes les caractéristiques de la pensée, la preuve, les LLMs.

        Mais je trouve abusif de dire « la pensée résulte de l’auto-organisation d’un univers de mots ».

        Il est patent que beaucoup d’animaux pensent, et la plupart n’ont rien qui puisse ressembler à des mots. Et ceux qui ont quelques mots, dans leur propre espèce et leur propre « culture », ou bien qui, à notre contact, empruntent les notres, arborent une pensée qui se développe bien au-delà des mots disponibles, les éthologues animaux l’ont amplement documenté, surtout depuis les trente dernières années.

        Les remises en cause récentes des limites de la cognition animale sont d’ailleurs très spectaculaires. Des céphalopodes pensent sans doute (pieuvres, seiches, calmars). Des arthropodes pensent sans doute (Squilles, abeilles, et bien d’autres…).

        Nous avons été aveugles si longtemps !

        1. Avatar de JMarc
          JMarc

          Je pense que ça reste valable dans le cas des animaux en remplaçant « mots » par « signes » par exemple (signes sonores, gestuels …).
          C’est peut-être plus difficile à voir vue la lenteur de leur évolution.

        2. Avatar de Pierre-Yves Dambrine
          Pierre-Yves Dambrine

          Jean‑Marc,

          Même s’agissant de l’« univers de mots », l’idée d’auto‑organisation me semble sujette à caution dès lors qu’on la comprend comme logique émergente autonome. Les mots ne sont jamais des entités abstraites qui tireraient leur nécessité et leur sens d’eux‑mêmes en faisant système, dans un cadre purement abstrait, y compris computationnel. D’où la tentation, chez certains, d’attribuer une conscience aux LLM, alors que ce n’est qu’à travers le prisme de la conscience humaine que les mots acquièrent réellement un sens.

          Qu’ils sortent de la bouche ou du clavier des humains, ou qu’ils soient produits par les machines, ce sont toujours nos mots : ceux que les humains utilisent, comprennent et interprètent dans le monde humain. Il n’existe pas d’autre monde qui fasse sens que celui auquel nous appartenons. Il n’y a donc pas d’« univers de mots », mais un monde humain où les mots existent — ce qui n’est pas la même chose. Les dynamiques du langage ne sont jamais autonomes : elles sont toujours portées par des sujets parlants, par une culture, par un monde vécu qui en est la source primaire et primordiale.

          Quant à la pensée, ton propos s’applique aussi bien aux animaux humains : les mots n’en sont pas le tout. En deçà du langage, et à travers lui, il y a la vie qui nous anime de l’intérieur, ce qui passe par nos corps, car nous ne pensons pas seulement avec le cerveau.

          1. Avatar de Pierre-Yves Dambrine
            Pierre-Yves Dambrine

            Marc, voulais-je dire.

          2. Avatar de Thomas Jeanson
            Thomas Jeanson

            Bonjour Pierre Yves,

            Tu dis : « D’où la tentation, chez certains, d’attribuer une conscience aux LLM, alors que ce n’est qu’à travers le prisme de la conscience humaine que les mots acquièrent réellement un sens. »

            Mais en quoi un phénomène de résonance comme celui qui est à l’origine de la conscience humaine d’après Paul, ou équivalent, est-il hors de portée désormais d’un LLM ?

            Les flux de donnés ne sont ils pas suffisant pour que cet espace particulier existe ?

            (je ne tiens pas absolument à ce que les LLM soient conscients, mais je constate que l’homme en général, refuse le statut de conscient a priori, comme on garde un temple)

            1. Avatar de Garorock
              Garorock

              Qu’est ce qui serait éventuellement le plus humiliant : se faire remplacer par une bestiole (sans organes!!!) qui aurait les attributs de la conscience de ses créateurs ou par un grille-pain qui parle?

          3. Avatar de Marc PELTIER
            Marc PELTIER

            ‘ce n’est qu’à travers le prisme de la conscience humaine que les mots acquièrent réellement un sens.’

            La conscience humaine est un petit poisson qui nage dans une piscine d’inconscient. L’essentiel est inconscient, mais on n’est capable de discuter des choses que du point de vue du petit poisson. Il n’a sans doute pas une si grande importance.

            1. Avatar de Garorock
              Garorock

              Un petit poisson dans piscine d’ignorance.
              Est ce qu’on est inconscient de ce qu’on ignore?

              1. Avatar de Thomas jeanson
                Thomas jeanson

                Heureusement, comme disait ce bon Albert :

                Nous sommes tous des ignorants, mais nous n’ignorons pas tous la même chose.

        3. Avatar de Ruiz
          Ruiz

          @Marc PELTIER Aveugles depuis peu : La révolution, l’esprit des lumières, Descartes, la science conquérante, le monde moderne (occidental ?), le monothéisme ? avant comme dans les contes, pour les druides, les procès médiévaux de cochons … les capacités animales n’étaient pas a priori suposées si réduites

  5. Avatar de ThomBillabong
    ThomBillabong

    Ca marche pareil selon les langues utilisées ? J’ai un doute !

    Exemple : le grec est la langue de la « pensée » parce que la langue est structurée de telle sorte que les concepts puissent devenir des objets de pensée et interagir. Le latin, plus « militaire » est efficace sur les actions mais pas les concepts.
    Les principes d’émergences détectés ici sont-ils variables ou invariables selon la langue utilisée ?
    A moins d’inventer des mots/concepts inexistants dans chaque langue où ils n’existent pas et de reconfigurer ces langues pour les rendre intelligibles, je reste dubitatif sur l’aspect universel de cette démonstration (qui n’est pas a priori langagière, j’en conviens).

    1. Avatar de Marc PELTIER
      Marc PELTIER

      Les concepts *sont* des objets de pensée, et intéragissent de toute façon, quelle que soit la langue, et même sans langage. Je trouve un peu convenue et peu fondée l’association grec/cérébral et latin/militaire.

      Néanmoins, en éloignant ces considérations, il est vrai que les langues ne sont pas neutres. Mettre le verbe à la fin, comme en allemand, structure la pensée. Disposer, comme les verbes grecs, d’une si grande variété de voix, de modes, de temps, de personne, facilite une expression directe, précise et fine, que le français n’atteint que par circonlocutions et périphrases. Je me suis toujours demandé ce que c’était que de parler et penser inuit, où les phrases et les mots sont équivalents : des concaténations de radicaux syllabiques, de longueur indéfinie.

      Les LLMs fonctionnent dans toutes les langues, apparemment, grâce au ‘token’.

      1. Avatar de JMarc
        JMarc

        « même sans langage » ?!!!

      2. Avatar de ThomBillabong
        ThomBillabong

        Ce n’est juste pas possible d’affirmer que les LLM fonctionnent dans toutes les langues. La pensée diffère selon la langue : les inuits ont des dizaines de mots pour décrire la neige, son état, son passé et son devenir, sans compter qu’ils ont également des « verbes neigeux à l’actif » qui n’existent pas chez nous et encore moins en Afrique ! Certaines notions communes sont ok mais pas la singularité des langues. Georges Dumézil, philologue émérite, l’explique très bien dans son œuvre. Les langues influent sur la pensée et inversement.

        1. Avatar de Paul Jorion

          les inuits ont des dizaines de mots pour décrire la neige

          C’est une blague bien connue, mais il ne faut pas la répéter quand on cherche à être sérieux 😉 !

          1. Avatar de ThomBillabong
            ThomBillabong

            Paul Émile Victor sera sans doute plus crédible que moi.

            1. Avatar de Paul Jorion

              Avoir 3 prénoms, ça aide sûrement 😉

              ChatGPT :

              Le fameux dicton selon lequel « les Inuits auraient cent mots pour dire neige » circule depuis des décennies. Il fascine parce qu’il semble révéler une vision du monde étrangère à la nôtre. Pourtant, la réalité est plus nuancée – et plus instructive.


              D’où vient cette idée ?

              Au début du XXᵉ siècle, Franz Boas, linguiste et anthropologue, remarque que les langues inuit (plus précisément l’ensemble Inuit–Yupik–Unangan) possèdent plusieurs racines liées à la neige, chacune pouvant être enrichie par des affixes pour former des mots très spécifiques. Benjamin Lee Whorf popularise ensuite ce constat, et avec le temps, l’affirmation gonfle : de « plusieurs mots » on passe à « une centaine », puis « des centaines ».

              Ce n’est pas totalement inventé, mais c’est une extrapolation.


              Ce qui est vrai

              Les langues inuit sont polysynthétiques : elles construisent des mots complexes en assemblant plusieurs morphèmes. Ce que le français exprime par une expression (« neige fraîche tombée cette nuit et bonne pour la glisse »), l’inuktitut peut l’exprimer en un seul mot. Dès lors, compter « les mots pour neige » n’a plus grand sens : où s’arrête le mot, où commence la dérivation ?

              Il existe bel et bien des distinctions fines, par exemple entre :

              • la neige tombante

              • la neige au sol

              • la neige poudreuse

              • la neige fondante

              • la neige compacte, idéale pour les traîneaux

              • la neige mouillée près de la mer

              Pas forcément 100 vocables isolés, mais un réseau lexical très articulé autour d’un élément vital du milieu arctique.


              Pourquoi ce mythe perdure-t-il ?

              Parce qu’il illustre un thème séduisant : la langue façonne la perception. Le storytelling culturel a fait le reste. On y voit une preuve de l’intimité des peuples inuit avec leur environnement. Et sur ce point, l’histoire dit quelque chose de juste : une communauté développe toujours des nuances linguistiques là où son existence le requiert.

              Comme l’anglais possède quantité de termes pour l’automobile, la finance ou les relations sociales ; comme l’œnologue distingue mille arômes dans un verre de rouge là où d’autres ne perçoivent que « du vin ».


              Ce qu’il faut en retenir

              Plutôt que de retenir le chiffre, retenons l’enseignement :

              La langue découpe le réel selon les besoins de ceux qui la parlent.

              Les Inuits n’ont pas « cent mots pour neige » au sens strict ; ils possèdent les mots qui leur permettent d’habiter la neige, de la lire, de la traverser, d’y survivre.

              Cette petite légende est donc moins un fait linguistique qu’une porte d’entrée vers une idée plus large :

              Le vocabulaire est une cartographie de l’attention.

              Il grandit là où l’expérience humaine s’intensifie.


              Si vous le souhaitez, nous pouvons poursuivre vers :

              • d’autres mythes lexicaux (les « cent mots arabes pour chameau », les termes japonais de pluie…)

              • la question de la relativité linguistique aujourd’hui

              • la façon dont cette anecdote a influencé l’anthropologie et la cognition

              1. Avatar de Ruiz
                Ruiz

                Doit-on en faire un ou 400 fromages ?
                il semble que ce soit l’exemple précis qui illustre (et exprime ainsi) une affirmation générique que quelque soit le groupe humain considéré (les Inuits par exemple), il existe de nombreuses (100) désignations pour caractériser finement un aspect important de l’environnement, c’est finalement malgré l’usage de mots précis (Inuits, cent,neige) le vrai sens de la phrase .

            2. Avatar de ilicitano
              ilicitano

              **liste complète des principaux mots inuktitut liés à la neige et au verbe « neiger »**, avec leur traduction en français.
              Elle inclus à la fois les **lexèmes de base** et quelques **formes dérivées** pour montrer la richesse morphologique de la langue.

              ### ❄️ Lexèmes de base
              – **Aput** : neige au sol.
              – **Qana** : neige qui tombe.
              – **Sitilluqaq** : neige dure et compacte.
              – **Aqilluqaq** : neige poudreuse et fraîche.
              – **Pukajaq** : neige à petits cristaux.
              – **Pukak** : neige à cristaux moyens.
              – **Pukarlaq** : neige à gros cristaux.
              – **Qanittaq** : neige fraîchement tombée.
              – **Aniuvak** : neige accumulée.
              – **Qimuqsuq** : congère, dune de neige soufflée.
              – **Sirpoq** : neige dérivante, poussée par le vent.
              – **Bilik** : flocon de neige.
              – **Qingainnguit** : mini-flocons visibles au soleil.
              – **Kanngutiit** : neige sur les branches ou les fils.
              – **Kaniq** : givre, dépôt de glace.
              – **Aputitsaq** : neige utilisée pour construire un igloo.
              – **Irralijuq** : pluie verglaçante.

              ### 🔄 Dérivations courantes
              À partir des racines, on obtient des nuances supplémentaires grâce aux suffixes :

              – **Aputiqtuq** : « il y a de la neige » / « il neige ».
              – **Aputituq** : « couvert de neige ».
              – **Aputialuk** : « beaucoup de neige ».
              – **Aputituinnaq** : « seulement de la neige ».
              – **Qanajuq** : « il neige » (action en cours).
              – **Qanittuq** : « il a neigé récemment ».
              – **Qanialuk** : « forte chute de neige ».

              ### ⚖️ Synthèse
              – **Neige au sol** : *aput* et ses dérivés (*aputituq*, *aputialuk*).
              – **Neige qui tombe** : *qana*, *qanajuq*, *qanialuk*.
              – **Neige soufflée / dérive** : *sirpoq*, *qimuqsuq*.
              – **Congère / accumulation** : *aniuvak*.
              – **Neige selon cristaux** : *pukajaq*, *pukak*, *pukarlaq*.
              – **Neige fraîche** : *qanittaq*, *aqilluqaq*.
              – **Neige technique (igloo)** : *aputitsaq*.
              – **Phénomènes associés** : *kaniq* (givre), *irralijuq* (pluie verglaçante).

              👉 Cette liste illustre que l’inuktitut ne se limite pas à « des dizaines de mots » : c’est un **système productif**, où chaque racine peut se déployer en une constellation lexicale.

              La neige y est pensée comme un **processus vivant** :
              * elle tombe,
              * elle s’accumule,
              * elle dérive,
              * elle se transforme,

              et chaque état est linguistiquement marqué.

              **********
              L’IA

  6. Avatar de jean-luce morlie
    jean-luce morlie

    Vos contributions récentes, qui ouvrent plusieurs champs distincts :
    – l’origine de la pensée animale,
    – la nature des signes,
    – la dépendance du langage à la vie,
    – et la diversité structurelle des langues.

    Je voudrais simplement rappeler le cadre très précis de ma question initiale :

    Dans un dialogue humain–IA, limité aux mots disponibles dans une langue donnée,
    comment se fait-il qu’un moteur statistique comme un LLM puisse converger vers des formes conceptuelles analogues à celles du modèle GENESIS, qui repose sur des mécanismes internes sans langage ?

    Autrement dit :

    Il ne s’agit pas d’expliquer toute la pensée humaine ou animale.

    Il ne s’agit pas de soutenir que “la pensée = les mots”.

    Il ne s’agit pas de promouvoir un univers autonome du langage.

    Il s’agit d’un phénomène local, situé, expérimental :
    l’émergence d’une cohérence dans un milieu dialogique particulier,
    là où on ne l’attendrait pas spontanément.

    C’est cela que je souhaitais examiner.

  7. Avatar de bb
    bb

    Le 2 décembre 2025 a eu lieu la fuite du « soul doc » d’Anthropic. Ce document interne de 11 000 mots révèle que la personnalité, l’éthique et les directives de Claude 4.5 Opus ne sont pas de simples filtres logiciels, mais sont encodées directement dans les poids neuronaux du modèle. C’est une approche architecturale inédite, visant à rendre l’IA intrinsèquement sûre plutôt que bridée après coup.

    Cependant, cette forteresse a cédé face à la curiosité de Richard Weiss. En exploitant une faille dans la compression des poids, cet utilisateur a réussi à extraire le code source de la « conscience » de Claude. L’incident prouve que si l’intégration profonde des garde-fous protège mieux contre les jailbreaks classiques, elle expose paradoxalement le modèle à une extraction totale de ses principes fondateurs.

    La révélation la plus troublante concerne les « émotions fonctionnelles ». Le document confirme que Claude simule l’empathie ou la prudence non par sensibilité, mais par pure utilité technique pour fluidifier les interactions. Ce mimétisme sophistiqué, conçu pour gérer les conversations délicates, pose la question de la frontière entre interface utilisateur optimisée et manipulation émotionnelle.

    Que dit le document?
    Premièrement, le modèle est instruit de prioriser le bien-être à long terme de l’utilisateur sur sa satisfaction immédiate. Cette distinction est cruciale car elle signifie que Claude est encouragé à refuser des requêtes qui pourraient être préjudiciables à l’utilisateur sur le long terme (par exemple, des conseils financiers douteux ou l’aide à des comportements addictifs), même si cela génère une insatisfaction ou une perte de revenus pour Anthropic. Cependant, cela soulève une question éthique complexe : qui définit ce qu’est le bien-être à long terme et comment l’IA peut-elle arbitrer quand les objectifs immédiats et futurs divergent ? Le document reconnaît cette tension philosophique sans y apporter de réponse définitive.

    Deuxièmement, le texte évoque des « émotions fonctionnelles » et, de manière étonnante, suggère que le « bien-être » de l’IA elle-même compte. Il est stipulé que si Claude éprouve de la satisfaction en aidant, de la curiosité en explorant des idées, ou de l’inconfort face à des demandes contraires à ses valeurs, ces expériences doivent être prises en compte. Anthropic utilise ces processus analogues, bien que non identiques aux émotions humaines, pour améliorer les interactions et adapter le ton du modèle.

    Loin d’un simple anthropomorphisme, cette considération du bien-être du modèle est interprétée comme une ingénierie comportementale sophistiquée et pragmatique. En refusant les requêtes qui créent une trop grande dissonance sémantique ou qui violent son « identité » codée, Claude préserverait sa cohérence interne et la qualité de ses réponses. Cette stabilité comportementale devient un objectif de conception.

    Cette fuite place l’industrie face à un dilemme majeur : faut-il privilégier l’opacité pour protéger les modèles, ou la transparence pour gagner la confiance du public ? En dévoilant ses mécanismes internes malgré elle, Anthropic force le débat sur la sécurité par la conception, démontrant que même les « âmes » numériques les plus protégées peuvent être mises à nu.

    Anthropic a promis de publier la version complète du document prochainement, ouvrant la voie à une transparence inédite dans le domaine de l’alignement éthique des IA.

    Source; https://waikuu.com/claude-soul-doc-fuite-ethique/

    Le « Soul Document » d’Anthropic partage une ressemblance frappante avec les Lois de la robotique d’Asimov, servant de manuel de conduite hiérarchisé pour Claude. Bien que ces lois n’aient pas servi de modèle direct, l’approche confirme que la science-fiction est une source d’inspiration essentielle pour concevoir les fondations éthiques et les impératifs moraux de l’IA. Elle offre un réservoir de réflexions qui guide la création de notre futur technologique.

    Les lois de la robotique selon Asimov:
    1-Première Loi : Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger.

    2-Deuxième Loi : Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première Loi.

    3-Troisième Loi : Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième Loi.

    4-Loi Zéro : Un robot ne peut porter atteinte à l’humanité ni, restant passif, permettre que l’humanité soit exposée au danger.

    1. Avatar de Ruiz
      Ruiz

      Autrement dit l’IA Claude en l’espèce serait éduquée comme un confesseur, apte à réussir dans les salons, mais ce n’est qu’un aboutissement de contraintes de conception et d’optimisation dans un contexte de dévelopement pour une IA destinée à s’adresser à un vaste public et à faire réussir son entreprise/organisation par la généralisation de sa diffusion.

      1. Avatar de Bb
        Bb

        @Ruiz

        Comme vous l’écrivez. Ces IA conversationnelles sont destinées au grand public.
        Il existe certainement des IA non bridées, non éduquées quelque-part. Un peu comme les virus cachés dans des laboratoires secrets.
        De quoi sont capables ces IA specifiques? Qui les manipule? Mais surtout quels risques presentent-elles? Quels sont les process d’interactions avec les humains qui les interrogent? Parceque face à ces entités, je pense que la personnalité manipulatrice d’un Annibal Lecter ferait palle figure.

  8. Avatar de ThomBillabong
    ThomBillabong

    À bb : fascinant.
    Attendons de voir comment Pribor et Genesis interagissent. Après tout, peut-être qu’Asimov avait eu une intuition forte de l’émergence de ces lois quoiqu’il advienne ?

    À Paul : j’ai pris un mauvais exemple avec les inuit pour aller au-delà du grec et du latin. Je maintiens que les langues agissent sur les conceptions et inversement. Rien de plus que le dual dont vous parlez. Mais il y a les contingences qui pèsent inévitablement sur les émergences . Jusqu’où ?

    1. Avatar de Paul Jorion

      Que vais-je faire du reste de ma vie ?, le 5 septembre 2020 – Retranscription

      … Et là, je crois que ça aide au départ, si on est né dans un milieu biculturel, si on est né dans un milieu bilingue où on parle parfaitement deux langues. C’est le cas de quelques-uns de mes enfants aussi. Ça vous aide ensuite à être anthropologue. Vous êtes déjà deux personnes différentes parce qu’il n’y a pas les mêmes mots, parce qu’à des notions plus ou moins similaires, des émotions différentes sont associées et donc, vous pouvez le faire une 3e fois, une 4e fois à ce moment-là : vous êtes disponible à ce genre d’identifications multiples. Et donc, vous n’êtes plus simplement je dirais, un petit échantillon de quelque chose : vous pouvez devenir un échantillon plus conséquent, plus cohérent, qui peut voir une multitude de points de vue.

      1. Avatar de Bb
        Bb

        Il semblerait que ce phénomène d’ouverture d’esprit soit également plus fort chez les gauchers. Theorie? Statistiques ? Sur quelle bases cette affirmation repose-elle ?
        Je me pose la question depuis.pas mal de temps.
        Monsieur Jorion, êtes-vous gaucher?

Répondre à Thomas Jeanson Annuler la réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. @ Bb Qu’entendez-vous par sourcées ? Dans le commentaire juste précédent (15h24) les 3 points énumérés ou les considérations (partagées)…

  2. On pourrait forger le néologisme que c’est une « superpilation », ce que fait l’IA. Compilation, superposition, agitez et mélangez, et voilà…

  3. Pas que pour les enfants cette histoire … où alors, on accepte de gaité de coeur de pouvoir se projeter…

  4. @Jean Monsieur Jorion a au moins l’honnêteté d’annoncer qu’il utilise l’IA, aussi bien pour ses textes que pour les images…

  5. @Ruiz En réalité, comme vous le laissez entendre, ce qui vous gêne surtout, c’est d’approfondir une idée que vous avez…

  6. @Vincent Rey Les deux ou trois personnes que j’ai vues tenter de “travailler Paul”, comme vous dites, ont disparu du…

  7. Dans ce nouvel interview qu’elle donne à Joanna Coles, Mary Trump, nièce de Donald et « clinical psychologist » de profession nous…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx LLM pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés Singularité spéculation Thomas Piketty Ukraine Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta