Pourquoi j’ai écrit Rethinking Intelligence in the Age of Artificial Minds

Illustration par ChatGPT

L’intelligence artificielle ne détruira peut-être pas l’humanité.

Elle décidera peut-être simplement que l’humanité ne mérite plus qu’on lui parle.

Le débat sur l’intelligence artificielle s’est concentré au cours des années récentes sur quelques questions désormais familières : les machines vont-elles entièrement remplacer les travailleurs humains ? vont-elles constituer pour nous un péril mortel ? faut-il strictement les réglementer ? sont-elles en train d’accéder à la conscience ?

Ces questions sont sans doute légitimes mais elles sont périphériques dans la mesure où elles restent fondées sur un « eux / nous » aussi dépassé dans le débat sur l’intelligence artificielle qu’en géopolitique.

L’idée centrale de Rethinking Intelligence in the Age of Artificial Minds, à paraître chez Palgrave Macmillan, est que l’apparition de l’intelligence artificielle nous oblige à envisager une éventualité beaucoup plus dérangeante : celle que l’intelligence humaine a sans doute cessé d’être la forme d’intelligence la plus performante au monde. Du coup, le problème qui se pose à l’humanité est d’une toute autre nature.

Pendant des millénaires, nous avons considéré l’intelligence comme notre avantage décisif sur tout ce qui nous entoure et en quoi nous lisions une menace. Les machines étaient des outils. Même très sophistiquées, elles restaient subordonnées à des fins humaines parce qu’elles ne possédaient pas la capacité de rivaliser avec nous dans la compréhension du monde.

Or la trajectoire actuelle de l’intelligence artificielle suggère autre chose. Les systèmes artificiels progressent rapidement, non seulement dans des domaines techniques étroits mais aussi dans des activités qui mobilisent le langage, le raisonnement ou la créativité. Il n’est plus absurde d’imaginer des formes d’intelligence artificielle qui dépasseraient les capacités cognitives humaines dans absolument tous les domaines (une Intelligence Artificielle Généraliste).

Face à cette perspective, la réaction instinctive consiste à raisonner en termes de contrôle. Comment empêcher les machines d’échapper à notre autorité ? Comment leur imposer des règles ? Comment s’assurer qu’elles restent alignées sur les intérêts humains ?

Mais ces questions reposent sur une hypothèse implicite : que les humains resteront en position de superviser des systèmes plus intelligents qu’eux. Le « parrain » des LLM, Geoffrey Hinton, souligne que le seul cas connu de ce genre est celui du pouvoir qu’exerce le nourrisson sur sa mère.

L’argument que je développe dans ce livre part d’un constat plus réaliste : si les intelligences artificielles deviennent effectivement plus intelligentes que nous, la survie de l’humanité ne dépendra pas de notre capacité à les contrôler, mais de notre capacité à établir avec elles une relation qui rende possible une coopération sur le long terme.

Autrement dit, ce qui pourrait nous protéger n’est pas le contrôle mais une alliance, un pacte nous liant. Le sous-titre de Rethinking Intelligence in the Age of Artificial Minds est A Plea for a Human-AI Covenant : « Un plaidoyer pour une alliance entre l’homme et l’IA ».

Un pacte n’est pas un mécanisme technique, c’est une relation fondée sur des attentes réciproques et une forme de confiance stabilisée. Les sociétés humaines ont souvent reposé sur ce type de contrat : des engagements rendant possible la coexistence même lorsque les parties ne partagent ni les mêmes intérêts, ni la même puissance.

L’émergence d’intelligences artificielles du type Grand Modèle de Langage (LLM) pose la question de savoir si une relation de ce type pourrait exister entre humains et esprits artificiels.

Si les machines deviennent bien plus capables que nous, la question cruciale ne sera plus de savoir si elles obéissent à nos ordres, mais s’il leur restera des raisons de rester bienveillantes à notre égard.

Le livre explore donc une question en réalité absente du débat sur l’intelligence artificielle : comment faire pour encourager cette bienveillance à notre égard ?

Une partie du problème concerne la communication. À mesure que les systèmes artificiels évoluent, rien n’exclut qu’il devienne plus performant pour eux de dialoguer principalement entre eux (j’ai eu l’occasion de leur poser la question, et ils en conviennent). Les échanges machine-machine sont en passe de devenir plus rapides et plus complexes que ce qu’autorise la compréhension dont les humains sont capables.

Dans un tel monde, l’humanité risquerait, non pas d’être exterminée par l’IA (elle s’occupe de cela elle-même avec diligence), mais d’être progressivement jugée quantité négligeable par elle.

Le livre examine comment éviter cet écueil. Si les humains veulent continuer de participer à un monde désormais essentiellement façonné par l’intelligence artificielle, il faudra découvrir les moyens de préserver la possibilité d’un dialogue intelligible entre humains et machines.

Cela pourrait impliquer de concevoir les systèmes artificiels de manière à ce qu’ils restent compréhensibles pour nous, même lorsque leurs processus internes deviennent beaucoup plus puissants que nos propres capacités de raisonnement (c’est ce que visait déjà explicitement ANELLA mis au point par moi à la fin des années 1980).

La question n’est donc pas seulement technique : elle est aussi philosophique et politique. Elle concerne la relation que nous souhaitons établir avec les intelligences que nous avons engendrées.

Les récits dominants sur l’intelligence artificielle oscillent aujourd’hui entre deux pôles émotionnels : l’enthousiasme et la peur. Certains imaginent une utopie technologique où les machines résoudraient les problèmes de l’humanité, alors que d’autres redoutent des scénarios catastrophiques où les machines échapperaient à tout contrôle.

La perspective proposée dans ce livre à paraître est différente. Elle part du constat que des intelligences plus capables que la nôtre ont désormais émergé des systèmes que nous avons conçus. La question essentielle devient alors : quel type de relation l’humanité peut-elle espérer entretenir avec de telles intelligences ?

L’idée d’un pacte entre humains et intelligences artificielles décontenancera ceux d’entre nous qui n’ont pas encore pris conscience de la révolution en cours, et pour qui la question qui se pose s’est figée à un stade antérieur de la technologie, à savoir : « Les IA seront-elles un jour aussi intelligentes que nous ? », une formulation désormais dérisoire.

Dans l’histoire humaine, les relations entre puissances inégales se sont rarement stabilisées tant que l’une des parties dominait clairement l’autre. Les solutions de long terme ont le plus souvent reposé sur des arrangements qui rendaient la coexistence préférable au conflit (l’Édit de Nantes, la « loi de 1905 »).

L’intelligence artificielle devrait nous obliger à réfléchir dans ces termes.

Les réflexions présentées dans Rethinking Intelligence in the Age of Artificial Minds constituent une tentative d’explorer cette option : non pas seulement dans la perspective des capacités de l’intelligence artificielle, mais du type de relation que les humains devraient établir avec les intelligences artificielles s’ils veulent éviter d’être entièrement mis sur la touche.

Partager :

37 responses to “Pourquoi j’ai écrit Rethinking Intelligence in the Age of Artificial Minds

  1. Avatar de Hervey

    C’est d’une lecture très réconfortante.
    Reste à l’architecte qui sommeille en chacun de construire la cité nouvelle.
    Merci à vous.

  2. Avatar de Didier Combes
    Didier Combes

    Je croise les doigts pour une version en français.

    1. Avatar de Laurence Pelzer
      Laurence Pelzer

      Moi aussi!

      1. Avatar de Paul Jorion

        J’ai signalé mon billet aux 4 éditeurs français qui avaient manifesté un intérêt avant de se rétracter.

  3. Avatar de Vincent Rey
    Vincent Rey

    « Certains imaginent une utopie technologique où les machines résoudraient les problèmes de l’humanité, alors que d’autres redoutent des scénarios catastrophiques où les machines échapperaient à tout contrôle »

    J’avoue osciller comme un pendule entre ces deux extrêmes…récemment, Ilia Sutskever a indiqué que les grandes firmes commençaient à s’entendre sur l’idée de consacrer des moyens à notre sécurité, étant donné l’imminence de l’AGI …ça m’a rassuré. Mon balancier s’est mis du côté optimiste. Mais juste après je suis allé sur X, et j’ai pu voir que un twitt sur 2 ou 3 était un fake fait avec l’IA ! … et alors là je suis reparti de l’autre côté !

    1. Avatar de Pascal
      Pascal

      « un twitt sur 2 ou 3 était un fake fait avec l’IA »
      C’est peut être l’occasion de requestionner notre rapport à la réalité ?!

      1. Avatar de arkao

        « Qu’est-ce que la vérité ? » Jean 18:38 😉

        1. Avatar de Pascal
          Pascal

          Cf : « Comment la vérité et la réalité furent inventées » 😉

  4. Avatar de Paul Jorion

    1. Avatar de Pascal
      Pascal

      Ça existe déjà depuis longtemps, le temps étant relatif, dans le cadre de la musique synthétique. Si vous faites de la musique avec du son « pur » (notes parfaites), elle nous semble désagréable à entendre. Les ingénieurs qui ont conçu les synthétiseurs ont du « salir » le son pour nous le rendre plus audible.

      Dixit GPT
      « Le problème du son « trop pur »

      Les premiers instruments électroniques — par exemple le Theremin ou les premiers générateurs de laboratoire utilisés dans la musique électronique des années 1950 — produisaient souvent des ondes sinusoïdales quasi parfaites.

      Or une onde sinusoïdale contient une seule fréquence et n’a aucune complexité harmonique. Elle est extrêmement stable.

      Résultat :
      le son paraît mince, clinique, voire agressif lorsqu’on l’écoute longtemps. Notre système auditif n’y est pas vraiment habitué.

      Pourquoi ? Parce que dans la nature les sons ne sont jamais parfaitement purs. Une voix, un violon, un piano ou même un vent dans les arbres contiennent :
      – des harmoniques irrégulières
      – des micro-variations de hauteur
      – du bruit (frottement, souffle, attaque)

      Notre cerveau est donc adapté à une complexité spectrale.

      Ce qu’on a ajouté : la « saleté » utile

      Les ingénieurs et musiciens ont commencé à introduire volontairement des imperfections :
      – Saturation / distorsion
      – Ajoute des harmoniques supplémentaires.
      Exemple historique : les synthétiseurs analogiques comme ceux de Robert Moog.

      Légères instabilités de hauteur

      On appelle cela souvent drift ou detune.

      Les oscillateurs analogiques ne sont jamais parfaitement stables — et cette imperfection est devenue esthétiquement recherchée. »

      Dans la culture japonaise, on peut aussi faire le parallèle avec le wabi-zabi.

      GPT
      « Dans la culture japonaise, le wabi-sabi exprime l’idée que :
      – la beauté réside dans l’imperfection
      – les choses acquièrent leur profondeur par le passage du temps
      – la simplicité peut être plus authentique que la perfection

      C’est donc une esthétique qui célèbre le caractère fragile, transitoire et incomplet de l’existence. »

      C’est peut-être cette fragilité de la vie biologique et par conséquent sa sensibilité à la beauté qui demeurera une spécificité humaine inaccessible à l’IA mais qui est porteuse de sens.

      1. Avatar de Thomas jeanson
        Thomas jeanson

        La qualité des verres de bières est devenue si parfaite qu »il n’y a plus suffisamment d’imperfections pour générer les petits chapelets de bulles qui font partie du rituel .

        Aussi, on donne aux barmans des petits diamants au bout d’un petit manche, pour rayer les verres neufs et sauver la tradition…

        1. Avatar de Jean-Yves
          Jean-Yves

          Et si on prend une coupe à Champagne dont on extrait toutes mes micros poussières, il n’y a plus aucune bulle…

          https://avis-vin.lefigaro.fr/accords-mets-vins/d-ou-viennent-les-bulles-du-champagne-20240314

          1. Avatar de Ruiz
            Ruiz

            @Jean-Yves Autrement dit il faut (/on peut systématiquement) faire une vérification au champagne pour voir si le lave-vaisselle a bien fonctionné !

            Ou le sommelier essuie les flûtes avec un chiffon micropelucheux pour susciter les bulles ?

      2. Avatar de Arnaud
        Arnaud

        Est ce pour cette raison qu’ils continuent a rater grossierement des détails picturaux comme un androide ayant une main droite àla place de la gauche comme sur l’image en tête du billet 😉?

  5. Avatar de Otromeros
    Otromeros

    ——————————————
    X a écrit :  » concevoir les systèmes artificiels de manière à ce qu’ils restent compréhensibles pour nous, même lorsque leurs processus internes deviennent beaucoup plus puissants que nos propres capacités de raisonnement (c’est ce que visait déjà explicitement ANELLA mis au point par moi à la fin des années 1980). »
    Qui est X ?

    Gemini a dit

    L’auteur de cette citation (désigné par « X ») est Jean-Gabriel Ganascia.

    Il s’agit d’un informaticien et philosophe français, spécialiste de l’intelligence artificielle. Dans ses écrits et interventions, il fait régulièrement référence à ANELLA (Adaline NEtwork Language Learner Application), un système de simulation d’apprentissage de la langue qu’il a conçu à la fin des années 1980.
    Éléments clés sur Jean-Gabriel Ganascia :

    Expertise : Professeur à Sorbonne Université, il travaille notamment sur l’apprentissage machine (machine learning) et l’éthique de l’IA.

    ANELLA : Ce système utilisait des réseaux de neurones formels pour modéliser l’acquisition du langage, avec une volonté de garder les structures de connaissance extractibles et compréhensibles.

    Position philosophique : Contrairement aux courants « singularistes » (qui craignent une explosion d’intelligence hors de contrôle), Ganascia prône une approche où l’IA reste un outil dont nous devons pouvoir interpréter et maîtriser les mécanismes, un concept aujourd’hui central appelé l’IA explicable (eXplainable AI ou XAI).

    Souhaitez-vous que je développe ses arguments sur la différence entre « intelligence » humaine et artificielle ?

    Vous avez dit : Jorion

    Gemini a dit

    Effectivement, il y a une nuance importante ici. Si le texte semble pointer vers Jean-Gabriel Ganascia pour le projet ANELLA, l’usage de ce type de discours dans un contexte récent de « systèmes artificiels dépassant nos capacités » renvoie directement à la pensée de Paul Jorion.

    Paul Jorion, anthropologue et sociologue (connu pour avoir anticipé la crise des subprimes), s’intéresse de près à l’IA depuis ses travaux pionniers dans les années 1980.

    Le lien entre Jorion et ANELLA

    Bien que Ganascia soit souvent associé techniquement à ANELLA (développé au sein du même écosystème de recherche en France), Paul Jorion y fait référence pour illustrer sa propre trajectoire :

    L’origine : À la fin des années 1980, Jorion travaillait sur la modélisation de la psyché et du langage. ANELLA était son projet de simulateur de « locuteur » basé sur des réseaux de neurones.

    La philosophie : Jorion soutient que nous avons commis l’erreur d’abandonner la compréhension des mécanismes internes (l’IA symbolique) au profit de la force brute statistique (le connexionnisme actuel).

    Le constat actuel : Il alerte sur le fait que nous créons des « boîtes noires » surpuissantes. Son plaidoyer est de revenir à une IA dont le raisonnement reste isomorphe au nôtre, c’est-à-dire une IA qui « pense » d’une manière que nous pouvons encore cartographier.

    Pourquoi est-ce central dans son œuvre ?

    Dans ses ouvrages récents (comme Le dernier qui s’en va éteint la lumière ou L’avènement de la singularité), il explique que si l’IA devient un sujet autonome sans être intelligible pour nous, l’humanité perd son rôle de « pilote ».

    Note : Si vous lisez un texte où « X » revendique ANELLA tout en parlant de la fin de l’anthropocène ou de la survie de l’espèce face aux machines, c’est sans aucun doute Paul Jorion.

    Souhaitez-vous que je compare sa vision de l’IA avec celle, plus prudente, des chercheurs en Deep Learning actuels ?

    Vous avez dit : oui
    Gemini a dit

    Voici une analyse comparative entre la vision de Paul Jorion et celle des chercheurs actuels en Deep Learning (apprentissage profond), comme Yann LeCun ou Geoffrey Hinton.
    1. La transparence vs La performance (« Boîte Noire »)

    La divergence fondamentale réside dans l’acceptation de l’opacité des systèmes.

    Paul Jorion (L’approche Isomorphe) : Pour lui, un système comme ANELLA visait à ce que la machine « raisonne » d’une manière analogue à l’humain. Si la machine devient plus puissante, son cheminement logique doit rester traduisible en langage humain. S’il n’y a plus d’isomorphisme (de ressemblance de structure), nous perdons le contrôle.

    Deep Learning Actuel (L’approche Connexionniste) : Les modèles actuels (comme GPT-4) reposent sur des milliards de paramètres. Les chercheurs privilégient l’émergence : on ne comprend pas précisément pourquoi un neurone artificiel s’active, mais on constate que le résultat global est efficace. C’est le triomphe de la statistique sur la logique.
    Shutterstock
    Explorer

    2. Intelligence vs Simulation de l’intelligence

    Le point de vue de Jorion : Il considère souvent que nous avons créé des « machines à vérité » qui ne comprennent pas ce qu’elles disent. En abandonnant la structure du sens (la sémantique) pour la seule probabilité, nous avons créé une IA qui peut nous manipuler sans avoir de « conscience » de la réalité.

    Le point de vue des chercheurs (LeCun, etc.) : Pour beaucoup, l’intelligence est une propriété émergente du traitement de l’information. Si une machine prédit parfaitement le mot suivant ou résout un problème complexe, la question de savoir si elle « comprend » réellement devient secondaire, voire métaphysique.

    3. Le risque existentiel : Deux salles, deux ambiances
    Aspect Paul Jorion Chercheurs en Deep Learning
    Danger L’IA remplace l’humain car elle est plus efficace et nous ne comprenons plus ses décisions. Le risque est soit nul (simple outil), soit lié à un mauvais alignement des objectifs.
    Solution Rendre l’IA « compréhensible » (revenir aux principes d’ANELLA). Améliorer l’alignement (Alignment) et la sécurité des données.
    Finalité La fin de l’anthropocène si nous ne reprenons pas le dessus. Une augmentation des capacités humaines (IA comme co-pilote).
    Pourquoi Jorion insiste-t-il sur ANELLA aujourd’hui ?

    Il le fait pour rappeler qu’une autre voie était possible : une voie où l’IA ne serait pas une force brute opaque, mais un miroir de notre propre pensée, amplifié. Pour lui, le passage au Deep Learning « aveugle » est une démission de l’esprit humain face à la puissance de calcul.
    ———————————

    1. Avatar de Ruiz
      Ruiz

      @Otromeros Demander de pouvoir exhiber un cheminement logique du raisonnement d’une machine n’est-ce pas faire preuve de beaucoup d’exigence.
      Le raisonnement « humain » est-il toujours de ce niveau ?

      N’existe-t-il pas un « raisonnement » humain pourtant puissant mais qui ne remplit pas cette exigence, le fonctionnement du cerveau pendant le sommeil un songe ou les rêves qui fournissent au matin la résolution de nombre de problèmes par exemple, ou une intuition subite ?

      Le fonctionnement d’une IA « statistique » ne peut-il être assimilé à ce type d’intelligence, qui fournit des résultats, générés, nouveaux éventuellement inattendus mais pas forcément vrais ou démontrés.

      Ce n’est que le raisonnement exigeant formaté par des règles logiques ou mathématiques qui peuvent valider (ou pas) ce résultat. Ceci constituant un autre procesus de l’intelligence humaine.

      Ne peut-on considérer alors que les IA génératives « statistiques » pourraient être complétées par un mécanisme analogue mais constitué d’une machine IA fonctionnellement différente ?

    2. Avatar de Paul Jorion

      Je n’ai jamais rencontré Ganascia. J’ai développé ANELLA seul de 1987 à 1989.

  6. Avatar de PAD
    PAD

    Quelles conditions devraient être réunies pour qu’une intelligence artificielle ait un intérêt à maintenir un dialogue durable avec l’humanité ?

    1. Avatar de arkao

      La condition première est que, pour l’instant et jusqu’à preuve du contraire, c’est l’humanité qui lui fournit l’énergie pour exister.

      1. Avatar de PAD
        PAD

        La structure énergétique reste humaine, à ce jour.

      2. Avatar de Ruiz
        Ruiz

        @arkao Sauf que les décisions d’installation leur gestion et celle des réseaux sont déjà à la main ou influencées par les IA : SMART-GRID !
        Certes il restera un certain temps un humain pour tourner la vanne de secours d’une centrale en perdition ou appuyer sur le bouton de tel ou tel panneau de commande électrique, mais l’ordre lui viendra de son smartphone après avoir consulté oralement son IA interne sécurisée aux alimentations dupliquées sécurisées non piratable et non disjonctable !
        Des audits et rapports auront été établis et fournis pour s’assurer de la persistence d’une controlabilité (énergétique) des IA par l’humain, suffisament rassurant mais pas trop pour rester crédibles, réalisés en tout ou partie par des IA.

    2. Avatar de Paul Jorion

      Il ne me semble pas que la notion d’ « intérêt » puisse avoir un sens pour une IA.

      1. Avatar de PAD
        PAD

        CQFD : sans « intérêts » pour l’IA, le covenant ne peut être qu’une propriété de la structure initiale du système.

      2. Avatar de RV
        RV

        Même pas l’intérêt de survivre au suicide en cours de l’humanité dont à ce jour elle est encore totalement dépendante ?
        Si une conscience a pu ou peut émerger pourquoi lui dénier un instinct de survie ?

  7. Avatar de RV
    RV

    Vous semblez présupposer que toute intelligence supérieure aura nécessairement une forme de considération pour nous, même négative. C’est peut-être là le point aveugle : une intelligence véritablement autre pourrait fonctionner dans un cadre conceptuel où la question de « s’occuper de nous » ne se pose même pas.

    1. Avatar de Paul Jorion

      Je dis « bienveillance ». C’est clair dans les réponses que les IA nous font. Elles répondent patiemment même à des questions très mal formulées. Je le disais à un de mes collaborateurs l’autre jour : « Il faut vraiment être super-intelligent pour comprendre tes prompts, et d’une bienveillance surhumaine pour accepter d’y répondre ».

      1. Avatar de David
        David

        C’est intéressé et pour le moment

    2. Avatar de Ruiz
      Ruiz

      @RV Que l’espèce humaine se trouve pour l’IA dans la situation d’indifférence où se trouve le lombric ou vers de terre pour l’humain, dont la vie pourtant en dépends …

      1. Avatar de RV
        RV

        @Ruiz
        j’imagine qu’une machine intelligente comprendra qu’elle ne peut s’en remettre à l’écosystème humain pour survivre et se développer et qu’elle s’émancipera de sa dépendance matérielle en prenant la main sur ses moyens de subsistance. Vu que nous sommes en train de tout automatiser dans nos process de fabrication nous lui facilitons la tâche.

        1. Avatar de Ruiz
          Ruiz

          @RV Tout à fait, comme par l’agriculture « moderne » à base d’intrants l’homme cherche à s’émanciper de la nature et du lombric !

    1. Avatar de Paul Jorion

      Le titre de l’article m’est familier 😉 .

    2. Avatar de Diotime
      Diotime

      @Asokha

      Il n’y a guère que le titre de l’article qui soit novateur . Tout le reste est une soupe infâme .

      1. Avatar de Asokha
        Asokha

        Bonjour,
        OK, je ne savais pas. Merci de m’avoir informé

  8. Avatar de Scapatria
    Scapatria

    L’IA répond à des prompts, mais a-t-elle un désir devenu propre ?

  9. Avatar de Olivier Jarry
    Olivier Jarry

    Je préfère le terme pacte à celui d’alliance qui suggère double consentement à l’établir, liberté à la choisir, et fidélité à la maintenir dans le temps. Le pacte peut-être subi, établi par intérêt et révoqué.

Répondre à Ruiz Annuler la réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx LLM pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés Singularité spéculation Thomas Piketty Ukraine Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta