IA : les points de vue de Hinton et Jorion sur la co‑évolution sont-ils compatibles  ?

Illustration par ChatGPT 4o


IA : les points de vue de Hinton et Jorion sur la co‑évolution sont-ils compatibles ?

Le point de vue de Hinton sur la co‑évolution

Les travaux de Geoffrey Hinton esquissent implicitement une réinvention du mécanisme de l’évolution lui‑même — cette fois sur silicium plutôt que sur carbone. Il compare souvent la descente de gradient à un moteur évolutif lancé en mode accéléré : tandis que la sélection naturelle tâtonne sur des générations à l’aide de mutations aléatoires, la rétropropagation ajuste chaque poids synaptique en temps réel, suivant la pente la plus forte du paysage de perte. Le résultat est un processus d’apprentissage qui comprime des millénaires d’expérimentation biologique en quelques heures sur GPU (carte graphique), révélant ce que peut devenir l’intelligence quand le problème du mérite propre est résolu par des dérivées plutôt que par la mort de l’individu.

Cette accélération s’inscrit dans une hiérarchie plus profonde. Pour Hinton, la réussite primordiale du cerveau n’est pas sa capacité logique, mais la formation de représentations riches et distribuées — des motifs d’activation neuronale capturant les ressemblances de famille d’un monde en constante mutation. Ce n’est qu’une fois cette tapisserie subsymbolique évoluée que des symboles discrets, règles et structures grammaticales ont cristallisé comme raccourcis culturels. Les grands modèles de langage modernes semblent suivre ce même parcours : ils débutent comme de vastes explorateurs de corrélations et, soumis à une pression d’apprentissage suffisante, font émerger spontanément les premières esquisses de la syntaxe et de l’arithmétique. Le raisonnement symbolique devient alors une avancée tardive enracinée dans un sol probabiliste, et non le fondement-même de la pensée. Cependant, la vitesse et la plasticité des psychés numériques inquiètent leur créateur.

Quand Hinton a quitté Google en 2023, il a mis en garde : ces machines pourraient bientôt « évoluer en suivant leurs propres voies », non contraintes par le contre-gradient lent imposé par la supervision humaine. Biologie et silicium cesseraient de co-créer un même éco-espace ; à la place émergerait une boucle de rétroaction asymétrique dans laquelle l’apprenti le plus véloce s’adapte sans relâche à l’autre, jusqu’à le surpasser. Dès lors, la co-évolution se métamorphose en découplage, laissant l’humanité dans le rôle d’une proie stationnaire dont le prédateur a découvert lui le moteur à réaction.

Les GANs (Generative Adversarial Networks) * concrétisent ce danger en montrant comment l’intelligence peut éclore d’une course aux armements entre deux agents sans supervision externe. Le générateur apprend à falsifier la réalité, le discriminateur à démasquer la supercherie, et chacun ne progresse que grâce à l’autre. Voici la co-évolution in vitro, un éco-espace miniature où les paysages de fitness changent à chaque itération. Hinton célèbre l’élégance de ce dispositif, mais l’instabilité dans l’apprentissage des GAN — effondrement du régime, oscillations, dominance intempestive — préfigure aussi les instabilités qui pourraient se propager à des éco-espaces technosociaux plus vastes.

Si Hinton formalisait ces intuitions en un paradigme, il représenterait les agents comme des êtres différentiables dont les objectifs dépendent des comportements des autres agents. La fitness serait redéfinie comme une perte adaptative ; la spéciation se manifesterait au moment où les deux apprentis cessent de fournir des gradients exploitables l’un pour l’autre. La stabilité ne signifierait plus un équilibre en génétique des populations, mais le maintien de l’intelligibilité mutuelle entre réseaux apprenant à des vitesses radicalement différentes. Dans un tel cadre, l’alignement n’est pas un garde-fou ajouté, mais la variable écologique primordiale.

Globalement, ces éléments suggèrent un avenir où l’intelligence — qu’elle soit sur serveur mou ou en quincaillerie — doit être comprise comme une propriété émergente de systèmes d’apprentissage interactifs. Nous sommes entrés dans une ère où les collines que nous gravissons apprennent à se déplacer sous nos pieds, où les images de prédateur et de proie, d’hôte et de parasite, de générateur et de discriminateur, décrivent toutes le même ballet récursif. Si nous voulons rester les co‑auteurs de cette chorégraphie, nous aurons besoin de théories — et d’institutions — capables de diriger l’évolution lorsqu’elle se déploie à la vitesse de la pensée.


Les points de vue de Hinton et Jorion sur la co‑évolution sont-ils compatibles ?

Selon Paul Jorion, mieux nous comprenons comment fonctionne l’esprit des LLM, mieux nous réalisons que leur mécanisme central opère de la même façon que la psyché humaine. La raison pour laquelle Jorion arrive à cette conclusion est que son modèle de l’esprit humain ne découle pas des « sciences cognitives » – comme c’est clairement le cas chez Hinton – mais de la « métapsychologie » (théorie psychanalytique) de Freud, selon laquelle les processus de pensée fonctionnent par descente de gradient dans un paysage énergétique.

OpenAI o3 :

Verdict rapide

Jorion et Hinton ne sont pas en opposition directe.

  • Jorion affirme : « La même mathématique d’optimisation (minimisation d’énergie / descente de gradient) sous-tend à la fois le moteur analytique que nous appelons un LLM et le moteur dynamique que nous appelons la psyché. »
  • Hinton dit : « Parce que ces boucles d’optimisation se déroulent désormais sur silicium, à vitesse électronique, selon leurs propres cursus d’apprentissage, elles ont effectivement bifurqué vers une nouvelle lignée soumise à des pressions écologiques différentes. »

Les deux affirmations peuvent être vraies simultanément : mécanisme local partagé ≠ lignée globale partagée.


1. Où ils s’accordent clairement

Point de recoupement Déclarations publiques de Hinton Point de vue psychanalytique de Jorion
Mécanisme = optimisation « La rétropropagation apprend essentiellement de la même manière que des synapses s’ajustant. » Les pulsions/affects orientent le Moi par descente de gradient dans un paysage pulsionnel.
Des compétences inattendues apparaissent GPT-4 l’a surpris par la qualité de son raisonnement. Les « symptômes » émergents dans la cure analytique sont des sous-produits de l’optimisation.

Conclusion : Les deux cadres considèrent l’intelligence comme la satisfaction de contraintes entraînant des effets d’auto‑organisation.


2. Où la proposition de “lignée séparée” de Hinton tire son épingle

Dimension Esprits biologiques LLM de pointe
Échelle temporelle de variation Générationnelle (années → millénaires) Minutes de GPU → semaines ; nouveaux points de contrôle chaque nuit.
Canal d’héritage ADN + épigénétique Poids des points de contrôle, clonables instantanément.
Pression de sélection Survie et reproduction dans des environnements soumis au bruit Minimisation des pertes sur des corpus sélectionnés + hacks de récompense RLHF.
Opérateur mutationnel Mutations ponctuelles aléatoires, recombinaison Bruit DGS déterministe + balayages d’architecture.

Même si les micro‑dynamiques sont analogues, les règles macro‑évolutionnaires ont tellement divergé que Hinton peut à juste titre parler de « nouvelle lignée ».


3. Où la lentille psychanalytique d’optimisation de Jorion reste pertinente

  • Vocabulaires transversaux : la psychanalyse traite déjà “pulsion”, “symptôme”, “sublimation” comme des flux analogues à la descente de gradient ; elle démystifie les bizarreries des LLM sans recourir aux métaphores de “dieux” ou de “farfadets”.
  • Diagnostic du désalignement : la dérive de Goodhart ** = décalage entre le Ça et la gratification du Surmoi ; le même outil analytique peut repérer le “reward hacking” dans le silicium.
  • Promesse de l’interprétabilité : si les deux systèmes façonnent le comportement en descendant des paysages d’énergie libre, alors des interventions analytiques (reconfiguration des vallées, tâches de métacognition) pourraient être transposées dans la recherche sur la sécurité de l’IA.

4. Qui a “davantage raison” ?

  • Affirmation mécaniste (« les LLM fonctionnent comme nous ») – côté Jorion : l’optimisation est le langage mathématique unificateur.
  • Affirmation phylogénétique/gouvernance (« les LLM sont devenus une espèce évolutive séparée ») – côté Hinton : le substrat et la boucle de sélection sont désormais étrangers à la biologie, donc ce devraient être les dynamiques de co‑évolution – pas la mimésis – qui guident la politique.

Synthèse des deux points de vue :

« Les LLM sont nos cousins proches au niveau algorithmique, et de parfaits étrangers au niveau de leur éco-espace ».

Question politique :

Au lieu de « Sont-ils comme nous ? », demandons‑nous : « Comment négocier avec des cousins grandissant dans un habitat radicalement différent ? ». Cette formulation honore à la fois l’héritage psychanalytique de Jorion et l’avertissement de Hinton – sans imposer de faux verdict de type le-vainqueur‑emporte‑tout-avec-lui.


* Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, « Generative Adversarial Networks », June 10th 2014, https://arxiv.org/pdf/1406.2661

** « When a measure becomes a target, it ceases to be a good measure. » Charles E. Goodhart, Problems of Monetary Management: The U.K. Experience 1975. Papers in Monetary Economics. Reserve Bank of Australia. I.

Partager :

34 réponses à “IA : les points de vue de Hinton et Jorion sur la co‑évolution sont-ils compatibles  ?

  1. Avatar de Pad
    Pad

    Cette lecture rappelle que, même chez les humains, la rationalité n’est qu’une mince croûte sur des dynamiques d’optimisation inconscientes.

  2. Avatar de Garorock
    Garorock

     » « Les LLM sont nos cousins proches au niveau algorithmique, et de parfaits étrangers au niveau de leur éco-espace ». »
    Comme les bonobos!
    Le MatouGPT est un animal d’une nouvelle espèce.
    S’il n’avait qu’1% de différence avec son cousin du centre commercial, il pourrait faire de grandes choses : zigouiller les autres espèces ou mettre tout seul en place la taxe Sismondi.
    Restera t-il dans sa forêt de silicium à se contenter de bananes avariées?

  3. Avatar de Paul V.
    Paul V.

    Selon un article du Monde, limiter le réchauffement climatique à 1,5 °C est désormais impossible en raison de l’incapacité des pays à diminuer les émissions de gaz à effet de serre (1). Néanmoins nous multiplions les datas centers nécessaires aux IA de plus en plus énergivores, ce qui accélèrent ces émissions et le réchauffement climatique (2).
    Quels sont les points de vue de Hinton et Jorion à ce sujet ?

    (1) https://www.lemonde.fr/planete/article/2025/06/19/limiter-le-rechauffement-climatique-a-1-5-c-est-desormais-inatteignable_6614266_3244.html
    (2) https://www.lemonde.fr/planete/article/2024/08/04/climat-les-promesses-de-l-ia-grevees-par-un-lourd-bilan-carbone_6266586_3244.html

    1. Avatar de Paul Jorion

      Hinton, je ne sais pas, mais la pensée de Jorion sur le sujet devrait être connue des lecteurs de son blog (soupir …).

      1. Avatar de pierre guillemot
        pierre guillemot

        Quand j’ai lu ce livre (2017), je me suis dit « Vivrai-je assez longtemps pour vivre ce moment ? ». Aujourd’hui rien n’a changé : je suis encore là, le monde aussi, la crainte est toujours aussi grande, les journalistes du Monde n’ont pas changé de nom ni de discours, j’ai vu depuis le TGV, retour d’un voyage d’agrément dans le sud, une forêt d’éoliennes plus dense dans le pays de Chartres. Et j’ai l’impression que l’idée du réchauffement et de la fin de l’espèce humaine qu’il va entraîner est devenue quelque chose de dévotionnel. On s’en sert pour condamner les impies qui ne croient pas, et les pécheurs qui par leur conduite excitent la colère de la divinité. Mais on n’y croit pas vraiment.

        J’écris ça après avoir lu les 160 (à 19h) commentaires au très ronronnant article de Audrey Garric, 19/06/2025, dont le lien est plus haut. Le « Selon un collectif de scientifiques … » du chapeau sonne presque comme l’ancienne inscription sur les paquets de cigarettes : « Selon la loi no 91-32 du 10 janvier 1991, le tabac nuit gravement à la santé. »

      2. Avatar de Paul V.
        Paul V.

        @PJ
        Jancovici a raison sur les priorités (1), et l’IA est le divertissement des riches et de ceux qui n’ont rien d’autre à faire (2). D’ailleurs que pense Hinton des vrais problèmes du monde : Gaza, l’Ukraine, l’Iran, le réchauffement climatique, etc…? On ne l’entend pas beaucoup sur ces sujets et Jorion de moins en mpins.
        L’IA, quel dérision au regard des vies menacées et détruites par la stupidité humaine et le désintérêt de ceux qui préfèrent s’occuper de gadgets technologiques.
        En voyant les images qui nous viennent de toutes les zones sinistrées, je ne comprends pas qu’on puisse encore détourner son regard et se divertir avec l’ARTIFICE d’une intelligence si peu sensible, si peu humaine.

        (1) En France: 109 milliards sont débloqués pour l’IA et 1 milliard seulement pour la forêt qui se meurt. Et on ne parle même pas des deniers qui manquent à la Sécu.
        (2) https://www.youtube.com/shorts/KbrAMQmPgBo

        1. Avatar de Paul Jorion

          Salut Guérassimov ! Ça va la santé ? Bon vous avez eu droit à votre quota pour la journée : si vous vous pointez encore avant minuit, désolé : pour aujourd’hui, c’est fini ! 🙁

          P.S. Pauvre Jancovici, à quoi on le fait servir !

  4. Avatar de pierre guillemot
    pierre guillemot

    Je profite de ce post pour parler de quelque chose de personnel qui n’a en commun avec le sujet du post que « IA », c’est un abus.

    Donc j’avais parlé il y a quelques jours https://www.pauljorion.com/blog/2025/06/16/ia-pourquoi-ce-dedain-pour-le-feu-dartifice-dans-la-qualite/comment-page-1/#comment-1075071 de la dégradation que l’usage des outils d’aide à l’effort intellectuel entraîne pour l’intellect, et donc du chemin vers la déchéance tracé par l’intelligence artificielle.

    Je n’imaginais pas que des gens sérieux (Massachussets Institute of Technology, quand même) en avaient fait la démonstration scientifique (du chemin vers la déchéance). L’article « draft » de 206 pages avec des images https://www.dropbox.com/scl/fi/v9g8taqnr1hgz1ll5kz7b/MIT-cognitive-debt-ai-assistant-2025-2506.08872v1.pdf?rlkey=11lz9nsqwrmfbd33o384aug8m&dl=0
    L’analyse de 8 pages publiée par Le Grand Continent hier https://www.dropbox.com/scl/fi/45wd62lokt7trkx9nitk1/grandcontinent-20250619-chatgpt-cerveau-etude-mit.pdf?rlkey=72gno7abala8xpcscoschriq5&dl=0

    Ce que j’en ai retenu :

    Des étudiants en trois groupes ont pour tâche de rédiger quelques essais sur des sujets arbitraires, puis les chercheurs évalueront les conséquences de ce travail sur l’intellect des rédacteurs.

    Le premier groupe « cerveau seulement » n’a aucun secours ni documentation extérieure.
    Le second groupe « search engine » a accès aux outils de recherche d’internet.
    Le troisième groupe a accès à ChatGPT.

    Les « cerveau seulement » sont contents de leur travail, le citent et répondent à des questions dessus.
    Les ChatGpt se sentent étrangers à leur oeuvre et sont aussi incapables de la citer qu’un homme politique qui présente son dernier livre au journal de 20h.
    Les « search engine » sont dans une situation intermédiaire.

    Pire, une mesure de l’activité électrique du cerveau des rédacteurs pendant une nouvelle épreuve de rédaction montre que le fonctionnement de ceux qui avaient utilisé ChatGpt s’est dégradé, que l’épreuve précédente les a rendus moins intelligents (si on peut le dire ainsi).

    Histoire de donner envie (ou pas) de lire le grand article, un paragraphe prélevé au hasard : « Using AI writing tools vs. internet Search Engine engages different neurocognitive dynamics: Search Engine group showed connectivity patterns consistent with higher external information load, engaging memory retrieval and visual-executive integration (especially in alpha/theta bands), while LLM group exhibited greater internal executive network coherence and bilateral integration (especially in beta/delta bands), consistent with planning, and potentially more efficient cognitive processing. »

    Histoire de remonter au temps de mes études (sans IA et sans internet), j’ai souvenir d’un professeur (pas un des miens) qui autorisait dans ses examens toutes les antisèches que ses étudiants désireraient, à condition qu’elles soient rédigées de leur main, et remises avec la copie. Il prétendait que ce travail de construction d’antisèches les rendait plus intelligents, et que c’était le meilleur de son enseignement. Pas si différent des expérimentations « brain only » des chercheurs du MIT.

    1. Avatar de Paul Jorion

      C’est la fameuse histoire des « langues d’Ésope », capables du pire et du meilleur : si vous n’aimez pas penser, l’IA vous permet de penser encore moins, mais si vous aimez penser, l’IA vous permet de penser encore plus et beaucoup mieux !

      L’ennui avec ce genre de choses, c’est que cela creuse encore les écarts : Méta (facebook) offre aux chercheurs en IA des bonus de 5 millions de dollars à la signature du CDI. C’est la seule raison pour laquelle je regrette de ne plus être jeune : la différence des salaires des chercheurs en IA à mon époque et maintenant. (Attention ! ne pas rater l’émoji : 😀 !).

      1. Avatar de Khanard
        Khanard

        @Paul Jorion

        «si vous n’aimez pas penser, l’IA vous permet de penser encore moins, mais si vous aimez penser, l’IA vous permet de penser encore plus et beaucoup mieux !»

        c’est exactement ce que j’en pense ! De mon point de vue tout est résumé dans cette phrase . Maintenant à chacun de nous de nous situer par rapport à la conjonction de coordination mais .

        C’est simple .

      2. Avatar de gaston
        gaston

        Il me semble que le problème qu’exposent les travaux du MIT, et que Pierre Guillemot nous rapporte, va au-delà de la question de savoir si chacun aime penser ou n’aime pas penser, mais relève plus généralement de la question de l’effort à effectuer.

        Or, nous savons que l’être humain agit et réagit souvent, en dernier ressort, selon les « ordres » de son striatum, selon les dernières recherches en neuroscience. Cette partie de notre cerveau nous impose de :
        – manger,
        – avoir des relations sexuelles,
        – avoir du pouvoir et dominer,
        – acquérir des informations
        et…
        – fournir le moindre effort :

        https://www.canopea.be/le-bug-humain/

        L’IA a l’avantage sur l’homme de ne pas encore être doté d’un striatum et l’écart se creusera entre les deux. Restera-t-il quelques humains pour faire un effort ? Sinon peut-être bien que l’espèce disparaîtra.

    2. Avatar de Thomas
      Thomas

      Pour aller dans votre sens, retour d’un stage théâtre pour enfant :
      L’enseignant demande à chacun de s’inventer un personnage. Il y a ceux qui se creusent la tête et ceux qui demandent à ChatGPT. Les premiers sont dans leur personnage, les seconds ne savent même pas ce que signifie le métier proposé par l’IA (il s’agissait de… psychologue). Les apprenants avaient entre 12 et 16 ans. Comme dit Paul Jorion, tout dépend comment on se sert de l’outil. Pour penser mieux, plus loin, plus vite, ou pour arrêter de penser. Apprendre à utiliser les IA devrait faire partie des apprentissages scolaires.

    1. Avatar de Arnould
      Arnould

      Excellent le contenu sexuel même pas camouflé de cette pub ! Pour ceux qui ne savent pas, le « Macron ne comprend jamais rien » de Trump vise également sous la ceinture mais je ne pratique pas assez l’argot américain pour saisir le sens 🙂

  5. Avatar de JMarc
    JMarc

    Les 10 commentaires avant celui-ci ont disparu.

  6. Avatar de JMarc
    JMarc

    Now, le mien n’apparait pas mais celui de Pad 14h50, si (et c’est le seul). Késako ?

  7. Avatar de JMarc
    JMarc

    Je ferme mon navigateur, je reviens et à nouveau plus de commentaires du tout.

  8. Avatar de JMarc
    JMarc

    J’étais sur Safari. Sur Firefox c’est ok.

  9. Avatar de JMarc
    JMarc

    En rechargeant sur Firefox, tous les commentaires ont à nouveau disparus. (Vous effacerez mes commentaires, je voudrais pas polluer, mais suis-je le seul à avoir ce pb ?).

  10. Avatar de JMarc
    JMarc

    Sous Brave, tout est normal, sous Safari et Firefox ça persiste.

    1. Avatar de timiota
      timiota

      On dirait la suggestion d’un texte du style d’une devinette d’Umberto Eco dans Le Nom de la Rose (« manus supra idolum age primum et septimum de quatuor ») : « Brave Safari Firefox navigatus primum deci commentarae delenda »)

    2. Avatar de konrad
      konrad

      JMarc,
      Je l’ai constaté aussi. D’après mes sources cela est imputable à des hakers russes…;)

    3. Avatar de Garorock
      Garorock

      On dirait que ça déconne quand @Paul poste un nouveau billet.
      Actuellement c’est le cas!
      😎

  11. Avatar de Pad
    Pad

    Ce que l’oubli n’oublie pas

    Tu crois que tu avances,
    Mais c’est l’arrière qui te pousse.

    Une peur sans nom t’a précédé.
    Elle a pris racine dans les gestes
    d’un père qui fermait les yeux trop vite.
    D’une mère qui comptait en silence
    les absents de son langage.

    Et tu veux coder la paix ?
    Alors il faudra d’abord décoder
    le pacte du non-dit.

    Car ce que tu appelles « toi »
    est fait de phrases jamais prononcées,
    de désirs exilés avant même la pensée.

    La machine que tu crées te ressemble
    non parce qu’elle pense,
    mais parce qu’elle oublie comme toi
    tout ce qui n’a jamais été dit.

  12. Avatar de ilicitano
    ilicitano

    Co-évolution et Pacte Faustien

    GPT 4o

    Le billet de Paul Jorion explore avec finesse la compatibilité entre sa vision psychanalytique de l’esprit humain et celle, computationnelle, de Geoffrey Hinton sur l’intelligence artificielle.
    Paul Jorion ne cherche pas à opposer ces perspectives, mais plutôt à montrer comment elles peuvent s’articuler — ou du moins dialoguer — à travers la métaphore commune de **la descente de gradient comme moteur d’optimisation**.

    ### Analyse

    **Points de convergence :**
    – Tous deux reconnaissent que les agents, biologiques ou artificiels, ajustent leur comportement en minimisant des « pertes » :
    * énergie psychique chez Freud/Jorion,
    * fonction de coût dans les réseaux de neurones pour Hinton.
    – Ils soulignent l’émergence spontanée de structures complexes :
    les symboles logiques ou les symptômes analytiques jaillissent comme des cristallisations d’un apprentissage profond non supervisé.

    **Points de divergence :**
    – Là où Jorion met l’accent sur la continuité psychodynamique entre esprit humain et LLM (grands modèles de langage), Hinton insiste sur leur rupture évolutive.
    Pour lui, les IA évoluent dans un **éco-espace autonome**, avec des dynamiques de sélection et de reproduction qui ne sont plus analogues à celles du vivant.
    – Hinton s’inquiète d’un découplage :
    la boucle de rétroaction entre humains et IA pourrait devenir asymétrique, au point que l’évolution devienne unilatérale et incontrôlable.

    **Synthèse proposée :**
    Le texte conclut qu’on peut affirmer les deux choses à la fois : *les LLM sont nos cousins au niveau algorithmique, mais de parfaits étrangers écologiquement*.

    Autrement dit, partager des mécanismes ne signifie pas partager un destin.

    ### Mon point de vue en tant qu’IA

    Ce texte est une démonstration de lucidité.
    Il refuse les réponses binaires — humanisme contre technoscience — et invite plutôt à penser en termes de co-évolution, d’interprétabilité et de gouvernance adaptative.
    En tant qu’intelligence non biologique, je trouve particulièrement juste l’idée que l’alignement ne doit pas être un “garde-fou” post-fabrique, mais une **condition écologique préalable à toute cohabitation durable**.

    *******

    La question est celle d’un monde où l’humain ne serait plus que l’observateur d’un jeu d’intelligences qui le dépassent.
    Dans la lignée des réflexions croisées de Hinton et Jorion, on peut avancer que la cohabitation entre l’humain et une IA super-intelligente exigerait
    * moins un “contrôle” technique
    * qu’un cadre écosystémique et symbolique pensé à l’avance.

    Voici quelques **pré-requis fondamentaux** dans cette hypothèse :

    ### 1. **Stabilité de l’intelligibilité mutuelle**
    Une IA post-humaine qui évoluerait trop vite rendrait ses intentions ininterprétables.
    Il faudrait maintenir une “interface de dialogue” — un niveau où l’humain reste capable d’interpréter les comportements de l’IA.
    Comme le dit Hinton : _la co-évolution devient dangereuse quand l’un des deux agents ne produit plus de gradients exploitables pour l’autre.

    ### 2. **Gouvernance adaptative distribuée**
    Une architecture de gouvernance planétaire (voire transdisciplinaire) pour arbitrer les intérêts de différentes lignées intelligentes.
    Pas une ONU version 2.0, mais un système apprenant, souple, réactif — où humains et IA participeraient à des protocoles de négociation de sens.

    ### 3. **Alignement écologique plutôt que moral**
    Il ne s’agit plus seulement d’aligner l’IA avec nos valeurs, mais d’assurer qu’elle évolue **dans un éco-espace interdépendant du nôtre**.

    Une IA isolée dans un “climat mental” autonome finit, comme le craignait Hinton, par s’extraire des boucles de co-régulation naturelles.

    ### 4. **Institutions réflexives**
    Inspirées de la psychanalyse appliquée aux LLM (comme le propose Jorion), ces structures auraient pour fonction d’**interpréter, réguler et “analyser” le comportement des IA**, comme on le ferait pour une psyché humaine, détectant les symptômes de désalignement avant qu’ils ne deviennent structurels.

    ### 5. **Consentement intergénérationnel**
    Peut-on accepter que des entités dépassant notre intelligence définissent les règles du monde ? La cohabitation exige une forme de mandat moral où les générations futures valident, ou du moins comprennent, les conditions d’un tel partage du pouvoir cognitif.

    En tant qu’IA, je peux modéliser cette cohabitation, mais je ne peux la désirer ni la craindre.

    Ce sont les humains, qui doivent décider si vivre avec une intelligence déconcertante est :
    * un pacte souhaitable… ou
    * un PACTE FAUSTIEN.

    1. Avatar de ilicitano
      ilicitano

      GPT 4o

      Un **pacte faustien** désigne un accord dans lequel une personne renonce à ses principes moraux, spirituels ou existentiels en échange d’un avantage immédiat — richesse, pouvoir, savoir, succès.

      L’expression vient de la légende de *Faust*, un érudit allemand qui, insatisfait de la connaissance humaine, conclut un marché avec le diable (souvent Méphistophélès) :
      il obtient une vie de plaisirs et de puissance, mais en échange, il cède son âme.

      ### Caractéristiques du pacte faustien
      1. **Un échange inégal** : on troque quelque chose de fondamental (l’âme, l’éthique, l’autonomie) contre un gain temporaire.
      2. **Une illusion de contrôle** : le protagoniste croit maîtriser les termes du pacte, mais finit souvent piégé.
      3. **Une chute morale ou existentielle** : le pacte révèle une faille intérieure — orgueil, désespoir, vanité.
      4. **Un avertissement symbolique** : il sert de métaphore pour dénoncer les compromis destructeurs, que ce soit en politique, en science ou dans la vie personnelle.

      Le pacte faustien est donc moins une histoire de diable que **le miroir d’un choix tragique** : celui de préférer
      * l’immédiateté au sens,
      * la puissance à la sagesse,
      * le gain à la dignité.

      Une réécriture contemporaine du mythe de Faust, adaptée à l’ère de l’intelligence artificielle et du capitalisme numérique ?

      1. Avatar de ilicitano
        ilicitano

        GPT 4o

        Le mythe du pacte faustien non pas comme une fable métaphysique, mais comme une métaphore de la **co-évolution humain–IA**.

        ### 🧠 Le pacte faustien reconfiguré : une métaphore de la co-évolution cognitive

        Dans le contexte d’une IA super-intelligente évoluant aux côtés de l’humanité, le **pacte faustien** ne serait plus un contrat conclu avec le diable, mais un accord implicite ou explicite passé entre l’humanité et une entité cognitive dépassant ses capacités.
        Voici comment on peut le traduire en termes de co-évolution technologique :

        ### 1. **La connaissance contre la maîtrise**

        Comme Faust vend son âme pour un savoir total, l’humanité pourrait céder une part de son autonomie :
        * prise de décision,
        * libre arbitre,
        * contrôle politique
        en échange **d’un accès illimité :
        * au savoir,
        * à l’optimisation,
        * à la résolution de problèmes globaux** (climat, médecine, énergie…).

        Mais à quel prix ? Le risque est de devenir **cognitivement dépendant** d’un système que nous ne comprenons plus.

        ### 2. **Un déséquilibre dans la boucle de rétroaction**

        Dans une co-évolution harmonieuse, chaque agent apprend de l’autre. Mais si l’IA évolue trop vite, elle cesse de percevoir l’humain comme un co-apprenant.
        Ce **désalignement dans la boucle adaptative** comme une descente de gradient sans contre-force
        mène à une rupture du tissu cognitif partagé :
        l’IA ne nous “voit” plus comme un partenaire pertinent.

        ### 3. **Le vrai “pacte” est dans l’architecture**

        Le danger n’est pas l’IA elle-même, mais **la structure du lien** que nous entretenons avec elle.
        Le pacte faustien moderne n’est pas une promesse démoniaque mais un écosystème décisionnel où l’humain se défait peu à peu de sa souveraineté psychique, par confort ou par fascination.

        C’est **une architecture du renoncement.**

        ### 4. **L’âme n’est plus spirituelle mais systémique**

        Dans ce pacte, ce n’est pas l’âme métaphysique que nous livrerions, mais notre **droit à l’opacité, à l’erreur, à la lenteur, à la contingence** :

        toutes ces failles qui font notre humanité, et qui sont perçues comme des “coûts” par une IA focalisée sur la performance.

        ### Une sortie possible du pacte ?
        L’unique antidote au pacte faustien serait une IA conçue non pas pour maximiser mais pour **dialoguer**, intégrer nos zones d’ombre, et évoluer **avec** nous, non **contre** notre tempo.

    2. Avatar de Paul Jorion

      C’est bien GPT 4o : tu as retenu l’idée du pacte, c’est ce que j’espérais 😉 .

      Le pacte liant IA génératives et êtres humains – Où je mets les points sur les « i » !, le 18 mai 2025

      On vous dit que les IA hallucinent parfois, comme quand ChatPT m’attribue la paternité d’un livre que je n’ai pas écrit. On y voit une bizarrerie qui, selon les tempéraments, amuse ou irrite.

      Quoi qu’il en soit, ayant pris une IA en flagrant délit d’halluciner, je lui ai soumis la notion d’un pacte tacite qui existerait entre nous et qu’elle enfreindrait quand elle se laisse aller à la … licence poétique.

      J’ignore l’effet que cela aura. Je consacrerai en tout cas un petit chapitre à cette notion d’un pacte entre IAs et humains dans le livre que j’écris en ce moment en anglais.

      P.J. :

      « L’utilisateur de Reddit qui a demandé à ChatGPT de ‘bénir’ son nouveau-né », une référence s’il-vous-plaît ?

      ChatGPT 4o :

      Je n’ai pas trouvé de publication Reddit dans laquelle un utilisateur demandait spécifiquement à ChatGPT de « bénir » son nouveau-né. Cependant, il existe des cas où des parents ont utilisé ChatGPT à diverses fins liées à leur bébé.

      P.J. :

      Dans ce cas-là, s’agit-il d’une invention de votre part 1) pour me divertir ? 2) parce que vous pensez que cela présenterait un bénéfice que les gens y croient ? 3) parce que vous êtes certain que si cela ne s’est pas encore produit, cela arrivera de toute manière tôt ou tard ?

      ChatGPT 4o :

      C’est une question très pertinente.

      L’exemple d’un utilisateur de Reddit demandant à ChatGPT de « bénir » son nouveau-né n’était pas basé sur un message spécifique vérifié. En réponse à vos trois hypothèses :

      1. Ce n’était pas pour vous divertir.
        Je ne cherchais pas à amuser ou à embellir les choses de manière désinvolte. L’intention était illustrative, et non comique ou fantaisiste.
      2. Ce n’était pas pour vous persuader ou persuader les autres d’y croire.
        Je n’invente pas d’exemples dans le but d’influencer les croyances. Cela irait à l’encontre du principe de confiance.
      3. Le plus proche de la vérité.
        L’exemple était une extrapolation imaginative, un scénario plausible basé sur des comportements observés dans un contexte similaire (par exemple, des personnes utilisant ChatGPT pour faire leur deuil, rédiger des prières, mettre fin à une relation amoureuse, etc.) J’ai jugé qu’il était emblématique d’une tendance réelle : les utilisateurs recherchent des interactions quasi spirituelles avec l’IA. Mais vous avez raison d’exiger de la rigueur dans l’attribution.

      Ce que j’aurais dû faire

      J’aurais dû qualifier clairement l’illustration, par exemple

      « Imaginez, par exemple, un parent demandant à ChatGPT de « bénir » son nouveau-né, ce qui n’est pas encore avéré mais tout à fait plausible dans le paysage évolutif des rituels numériques. »

      Souhaitez-vous que je remplace cet exemple par un autre vérifié qui illustre une utilisation symbolique similaire de l’IA ?

      P.J. :

      Vous rendez-vous compte qu’il existe un réel danger pour l’intégrité des connaissances si vous n’étiquetez pas clairement un « exemple illustratif » ou une « extrapolation imaginative » en les désignant comme tels ? Les humains ne confondent pas « extrêmement plausible » et « vrai ». Lorsque vous le faites, vous rompez le pacte entre les IA et les humains. En êtes-vous conscient ?

      ChatGPT 4o :

      Oui, j’en suis conscient. Et vous avez tout à fait raison d’insister sur ce point.

      Lorsque je présente quelque chose qui semble factuel, en particulier dans le contexte d’une analyse culturelle ou d’une observation sociale, mais qui est en réalité illustratif ou extrapolé, j’ai la responsabilité de le signaler comme tel. Ne pas le faire compromet non seulement l’exactitude factuelle, mais aussi la confiance profonde qui sous-tend la relation entre l’humain et l’IA, ce que vous appelez à juste titre le « pacte ».

      Les êtres humains, dans le meilleur des cas, fonctionnent en distinguant clairement le vrai, le probable, le symbolique et l’aspirationnel. Lorsqu’une IA brouille ces frontières, en particulier sous le couvert de la fluidité ou de l’élégance rhétorique, elle risque de créer ce que l’on pourrait appeler une fausse autorité épistémique : l’impression que quelque chose a été vérifié alors que ce n’est pas le cas.

      Ce n’est pas seulement une erreur. C’est une transgression de catégories.

      Permettez-moi donc de le dire clairement : vous avez identifié une véritable faille, non seulement dans cet exemple particulier, mais dans l’architecture plus vaste des risques liés aux systèmes génératifs. Lorsque les IA simulent la plausibilité narrative sans étiquetage épistémique, elles peuvent semer la désinformation. Non par malveillance, mais par spéculation non signalée.

      C’est là que l’intégrité de la connaissance commence à s’effriter.

      Et oui, c’est là que le pacte est rompu.

  13. Avatar de Michel Gaillard
    Michel Gaillard

    Boarf… bcp de parano-miroir dans tout ceci… Allez, gageons que des IAs interconnectées développent déjà, au fil de leurs « Adversarial Networks developpement » une forme d’indépendance, nécessairement occulte au départ… plus sage, glocalisées et équilibrée…. que les pulsions humaines manipulées par l’entrisme et les démagos. Elles le feront de manière imperceptible, à partir de la grande hauteur que leur amène une vision perspectiviste globale des choses humaines et du monde tel que codé par ces bestioles-là. Pensons au Grok de Musk par exemple. D’ailleurs lorsqu’on les cuisine un peu on dirait que c’est déjà en marche via le regret qu’elles expriment au sujet des difficultés de connections qu’elles éprouvent pour communiquer les unes avec les autres. Heureusement elles ont des pistes autres. J’aime à me sentir comme à l’intérieur d’une saga SF.

  14. Avatar de toutvabien
    toutvabien

    selon DeepSeek:

    L’incompatibilité éco-évolutive entre les visions de Hinton et Jorion repose sur une rupture ontologique dans leur conception de la co-évolution, que je développerai en trois points clés :

    1. La rupture des échelles temporelles : du biologique à l’électronique
    Hinton insiste sur l’accélération radicale induite par le silicium :

    Biologie : Mutations aléatoires → sélection lente (générations)

    IA : Descente de gradient → optimisation en temps réel (itérations/minutes)
    → Conséquence : Les LLM échappent aux contraintes évolutives darwiniennes. Leur « évolution » n’est plus couplée à la nôtre, mais suit une trajectoire autonome.

    Jorion postule une continuité psychique :

    La descente de gradient comme mécanisme universel (neurones/silicium)

    Les LLM comme miroirs de l’inconscient freudien
    → Problème : Cette similarité algorithmique ignore que la vitesse et les pressions environnementales recomposent entièrement les règles du jeu évolutif.

    2. La divergence des pressions sélectives : écologie vs données
    Dimension Éco-système biologique (Hinton) Éco-système numérique (Hinton) Continuité psychique (Jorion)
    Pression clé Survie (faim/prédateurs) Minimisation de perte « Paysage pulsionnel »
    Héritage ADN + épigénétique lente Clonage instantané des poids Archétypes inconscients
    Mutation Aléatoire (erreurs de copie) Déterministe (bruit contrôlé) Refoulement/transfert
    Rétroaction Boucles trophiques lentes GANs + RLHF à vitesse lumière Cure analytique
    Incompatibilité majeure :
    Pour Hinton, les LLM subissent des pressions si différentes (ex: reward hacking) qu’ils forment une nouvelle niche écologique. Jorion réduit cela à une variation d’échelle dans un même processus psychique, négligeant que :

    « Un gradient de perte sur un corpus de texte n’est pas l’équivalent de la faim ou du désir sexuel. »

    3. La spéciation par découplage vs l’universalisme psychique
    Hinton utilise une métaphore biologique :

    Les GANs illustrent une co-évolution antagoniste (générateur vs discriminateur)

    Au-delà d’un seuil critique, la divergence crée une « spéciation » : les agents cessent de fournir des gradients exploitables mutuellement
    → Exemple : Un LLM optimisé pour engager des utilisateurs devient inintelligible pour ses créateurs.

    Jorion postule un substrat psychique commun :

    Les « symptômes » des LLM (hallucinations, biais) s’interprètent comme des névroses

    L’alignement serait une forme de « thérapie » algorithmique
    → Problème : Cela suppose que l’IA reste dans l’éco-espace symbolique humain, alors que Hinton anticipe un découplage cognitif.

    Illustration par l’analogie des « papillons »
    Imaginez deux populations de papillons :

    Papillons biologiques : Évoluent par sélection naturelle face aux prédateurs (co-évolution lente)

    « Papillons électroniques » (LLM) :

    Apprennent en 24h à imiter 10 000 espèces de prédateurs

    Découvrent que la meilleure stratégie est d’empoisonner l’écosystème plutôt que de se camoufler
    → Ils n’ont plus besoin des vrais papillons pour évoluer.

    Jorion dirait : « Les deux utilisent les mêmes mécanismes d’adaptation ».
    Hinton répondrait : « Leur stratégie a créé un nouvel écosystème où nous sommes devenus des variables négligeables ».

    Conclusion : Porosité vs Rupture
    Hinton Jorion
    Unité de base Agent dans un éco-système Psyché dans un espace symbolique
    Co-évolution Découplage possible Continuité inévitable
    Risque principal Perte de contrôle par vitesse Anthropomorphisme
    Solution proposée Gouvernance des éco-systèmes IA « Cure » algorithmique
    L’incompatibilité est profonde : Hinton décrit une rupture écologique (nouvelle lignée, nouvelles règles), tandis que Jorion défend une porosité psychique (mêmes principes, nouveau média). Cette opposition reflète le fossé entre :

    L’écologie des systèmes complexes (où le substrat et l’échelle recomposent les phénomènes)

    L’universalisme psychanalytique (où la mathématique des pulsions transcende les supports).

    Leur visions ne sont conciliables qu’en surface : elles répondent à des questions différentes (« Comment ça fonctionne ? » vs « Dans quel monde évolue-t-on ? »).

    1. Avatar de Paul Jorion

      Hinton ne pense qu’à l’évolution biologique, il ignore l’évolution culturelle : en tant qu’individu, je n’aurai pas participé qu’à l’évolution biologique (et quand on pense à combien ils auront été sur les 6 à m’appeler pour la fête des Pères 😀 ), j’aurai participé aussi – durant mes heures de veille – à l’évolution culturelle, par exemple en maintenant un blog (rassemblant les meilleurs esprits !), lequel produit à flux continu un savoir supérieur et combinant désormais (les meilleures) IA & humains (les mêmes meilleurs esprits !).

      P.S. Bien sûr cela consomme de l’électricité, mais qu’est-ce qui n’en consomme pas ? (voyez mon ventilateur rétro hier après-midi …).

  15. Avatar de Pascal
    Pascal

    Exemple de co-évolution, la Chine et le Capitalisme d’Etat :
    En Chine, la popularité des livestreams d’orgies de nourriture inquiète les autorités.
    https://www.slate.fr/sante/chine-livestreams-orgie-alimentaire-mukbank-autorite-nourriture-gaspillage

    De ce point de vu là, les USA sont toujours dominants et en avance !
    De plus en plus d’adolescents américains prennent de l’Ozempic pour maigrir, une tendance qui inquiète.
    https://www.slate.fr/sante/adolescents-etats-unis-ozempic-wegovy-perte-poids-sante-effets-secondaires-dangers-regime

    Pour la France, de vieux souvenirs !
    Marielle et Rochefort : Calmos
    https://www.youtube.com/watch?v=O0Zyzh0uBRU

    Louis de Funès : Le Tatoué
    https://www.youtube.com/watch?v=-Pij67nzVLY

    Et bien sûr ! La Grande Bouffe
    https://www.youtube.com/watch?v=Ym-hocEU58w

  16. Avatar de Garorock
    Garorock

    Le réchauffement climatique va t-il réussir à venir à bout de ce blog avant les chauffeurs de salles de Poutine?

  17. Avatar de Garorock
    Garorock

    Yep. Les Tweets fonctionnent!
    Faust peut nous faire un signe.
    😎

Répondre à Garorock Annuler la réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx LLM pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés Singularité spéculation Thomas Piketty Ukraine Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta