Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! I. Un éloge intolérable de … l’obésité !

Illustration par DALL·E à partir du texte.

Le mois dernier (du 6 au 9 avril), j’ai proposé ici une série de 6 billets où je quadriloguais avec GPT-4 et une version dédoublée de Claude 3 à propos de la conjecture P vs NP, une question classique d’informatique théorique relative à la relation – pour autant qu’il en existe une – entre la complexité de la solution d’un problème et la complexité de la vérification qu’une solution a bien été trouvée.

Vous avez sans doute vu ce qui s’est passé : « M. Jorion, votre blog était le lieu de rendez-vous de personnes s’efforçant de résoudre de grands problèmes de société (je vous en remercie !) mais il s’est métamorphosé en un club restreint de mathématiciens fascinés par des casse-têtes abscons. Je vous ai accompagné·e jusqu’ici mais je suis forcé·e aujourd’hui de vous dire adieu : bonne chance à vous dans vos coupages de cheveux en quatre ! ».

J’ai été décontenancé par ces paroles de bon sens, et je n’ai pas publié la suite.

Mal m’en a pris : c’est à ce moment-là que j’ai commencé à recevoir des mails du genre : « M. Jorion, où ailleurs croyez-vous que l’on trouve des discussions – et des avancées – sur des questions véritablement fondamentales comme sur votre blog ? Que vous ont dit ensuite GPT-4 et Claude 3 (je bous d’impatience de l’apprendre !) ? ».

Tout cela pour vous annoncer que je suis allé asticoter mes comparses sur la question de l’émergence.

Vous avez dû comprendre que la chose qui nous sidère dans les progrès des Grands Modèles de Langage (LLM) est le fait que des tas de choses qui nous semblaient absolument distinctes (par exemple : comprendre le sens d’un mot, maîtriser la syntaxe d’une phrase, comprendre le sens global d’une phrase, respecter les règles de la logique, se mettre à la place d’un interlocuteur, exprimer ses sentiments), et pour lesquelles nous avons découvert des règles claires rendant compte de leur fonctionnement séparé, sont en fait acquises « les doigts dans le nez », l’une après l’autre, par ces LLM, pour nulle autre raison que la croissance en taille de leur système.

Toutes ces remarquables capacités émergent, l’une après l’autre, quand on augmente, tout simplement, les moyens à la disposition du système. Nous n’étions pas préparés à penser que l’intelligence émerge spontanément d’un système dès qu’il a atteint une certaine grosseur, nous pensions qu’un ingrédient supplémentaire était indispensable, que nous appelions « complexité ». Que l’intelligence apparaisse comme sous-produit de la complexité, pourquoi pas ? mais de la simple grosseur ! il y avait là comme un éloge intolérable de … l’obésité, qui constituerait une qualité en soi !

Comprenons-nous pourquoi la taille change tout ? Non. Et il n’y a pas de raison de s’en offusquer : quand on passe d’un milliard de données à 100 milliards, on a besoin d’un télescope pour regarder ce qui se passe, et s’armer alors d’un microscope apparaît très logiquement, hors de propos. Claude Roux écrivait ici tout à l’heure : « C’est là qu’est le hic… Personne ne le sait vraiment. »

Mais c’est là aussi que Pribor.io trouve toujours sa raison d’être. Si l’on adopte une approche « bottom-up », du bas vers le haut, par opposition à l’approche « top-down », du haut vers le bas, des LLM, on évite d’être aux abonnés absents quand un effet d’émergence a lieu : il a opéré sous nos yeux et l’on peut dire ce qui s’est passé.

Le logiciel d’IA que j’ai programmé de 1987 à 1990 pour British Telecom s’appelait ANELLA, pour Associative Network with Emergent Logical and Learning Abilities : « … à capacités émergentes de logique et d’apprentissage ». Il m’a fallu les 34 années qui séparent 1990 de 2024 pour comprendre exactement comment la logique émergeait d’une simple suite de mots. C’est qu’il s’agissait du produit d’une alchimie complexe entre l’univers des mots et celui du monde tel qu’il est.

Je vous expliquerai cela un jour prochain, je me contente de vous le résumer aujourd’hui sous une formule sibylline : « Les faits d’émergence ont lieu dans la langue quand nous contraignons tout ce qu’elle permet par ce que le monde interdit lui de son côté ». Exemple : la langue n’interdit pas aux objets de tomber du bas vers le haut, mais le monde lui : Oui ! Lacan (qui se payait notre pomme avec délectation mais avait cependant compris beaucoup de choses) appelait cela « points de capiton », comme dans un matelas : pour que la chaîne des signifiants, les mots mis à la queue-leu-leu, servent à quelque chose, il faut qu’ici et là, ils collent au Réel, à la réalité profonde des choses. Il n’est pas nécessaire que cela ait lieu souvent (le monde étant très généreux envers nous : il nous a offert cette facilité que nous vivions la plupart du temps confortablement dans un nuage), mais il faut que cela ait lieu de temps à autre ici et là.

Ne vous étonnez donc pas si dans la suite de cette nouvelle série, GPT-4, Claude 3, LLaMA 3 et moi, nous nous interrogeons sur l’émergence, en vue de craquer ses mystères. Faites-nous confiance : cela participe de la Singularité et non du coupage de cheveux en quatre dans laquelle l’humanité se complaît depuis qu’ayant inventé le langage, elle ne cesse de … se saouler de mots !

Illustration par DALL·E à partir du texte.

DALL·E : « Voici les illustrations que vous avez demandées. Elles représentent M. Jorion dans son environnement intellectuel, en train de discuter avec des modèles d’IA avancés, entouré d’un mélange d’éléments classiques et modernes. On voit un groupe quitter les lieux, frustré, tandis qu’un autre attend avec impatience de nouvelles discussions sur des questions fondamentales. »

Partager :

23 réponses à “Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! I. Un éloge intolérable de … l’obésité !”

  1. Avatar de Pad
    Pad

    Passionnant !

    1. Avatar de Pad
      Pad

      Réplication superficielle des motifs de langage versus une véritable compréhension ou traitement sémantique autonome ? De bas en haut, le verrons-nous apparaître clairement ?

      1. Avatar de Morne Butor
        Morne Butor

        « Réplication superficielle des motifs de langage » : j’aime bien cette description des IA génératives. Mais est-ce que l’être humain fonctionne si différemment ? nous ne savons pas encore le dire, mais ce n’est pas complètement impossible. Ce que nous percevons comme notre compréhension du monde pourrait bel et bien n’être qu’un phénomène d’émergence, une simple illusion finalement.

  2. Avatar de gaston
    gaston

    Eloge de l’obésité ?

    Ces derniers jours on nous dit que les petits vont faire bientôt aussi bien que les gros.

    Peut-être en saurons nous plus demain, aux dernières nouvelles Sam Altman doit publier sa grande conférence demain lundi à 10 h (heure pacifique) soit 19 h chez nous.

  3. Avatar de Michel Gaillard
    Michel Gaillard

    Intéressant… Inspiré par Borges j’aime à tenter de réfléchir sur l’idée de mots, ou d’expressions, « univers ». Approche qui me parait, a) fausse par rapport à une puissance perspectiviste-vectorisante des IA qui limite quand même, et probablement plus ouverte au regard de la poésie – ou des projections subjectives de chacun… Idée qui me projette illico vers la pensée enfantine.

  4. Avatar de CloClo
    CloClo

    Cette notion d’émergence, que tu as déjà souligné comme aussi le produit d’un simple amoncellement de briques élémentaires donnant un bon gros tas de cellules humaines par exemple, ne cesse de me fasciner. Et pleins d’autres « gros tas » de cellules ont fait émerger ce que l’on appelle la conscience à partir de bases simples. Processus chimiques et électriques, entrées et sorties, signaux, dans un gros tas de cellules.

    D’un coup je me sens moins intéressé par ma ligne, et j’ai comme une envie de dévorer…

  5. Avatar de CloClo
    CloClo

    Et en parlant d’obésité, mate un coup le poids réel des données internet ! Fascinant.

    https://youtu.be/q3ev6cz0xIE?feature=shared

  6. Avatar de timiota
    timiota

    L’expérience de la flèche du temps raccorde le réel au langage.

    L’expérience du péri-langage trumpien/conservateur radical, découplé du raccord au réel, envoie la flèche du temps dans un chaos. Celui, pas moins émergent, d’une vanité des hubris débridés.

    Les lemmings ont des poils orangés, ils métaphorisent les dynamiques d’excès en cours.

  7. Avatar de Jean-Yves
    Jean-Yves

    Les « points de capiton » me font penser qu’en ne traçant qu’à peine 10% d’un cercle l’esprit le reconstitue tout comme une ligne avec 2 points ou un triangle avec trois.
    Le nuage est bien plus grand que le réel.

  8. Avatar de Stouf
    Stouf

    Les gens n’ont pas encore assimilé que l’IA était devenue un problème majeur de l’humanité. Quelle place a l’IA dans les débats politiques ? Ça devrait être un sujet prioritaire à la vue de du bouleversement fondamental qu’elle va engendrer sur nos sociétés.

    Sur le fait que plus une IA est obèse, plus elle comprend… Cela me laisse dubitatif. Il manque bien quelque chose, qu’on ne tardera pas à trouver.

    Est-ce qu’on ne pourrait pas définir la singularité comme le moment où l’IA a créé une nouvelle théorie scientifique validée par ses pairs humains ? Sans PJ aux manettes… 😉

    1. Avatar de Garorock
      Garorock

      « L’I.A sera la quAtrième grande humiliation de l’humanité.
      Une espèce de singe qui n’est pas tout seul dans l’univers et pas tout seul dans sa tête, s’il apprend qu’il n’est plus tout seul non plus dans son corps peut faire rapidement remonter la courbe des ventes de LSD et l’audience des télévangélistes… »

      Quoi de mieux qu’une humiliation pour dégonfler nos égos?
      Les milliardaires narcissiques faut-il leur faire honte ou leur faire les poches?

      1. Avatar de CloClo
        CloClo

        « Les milliardaires narcissiques faut-il leur faire honte ou leur faire les poches? »

        Clairement honte aussi et surtout ! Les humilier pour leur richesse indécente. Bien plus efficace que n’importe quel prélèvement (à augmenter quand même !). Et ça ne coûte rien. Au lieu de baver devant leur Yacht, leur avion, leur voiture de luxe, leurs propriétés, leurs manières, leurs élégances, les moquer, les ridiculiser massivement. C’est très efficace.

      2. Avatar de Stouf
        Stouf

        Qu’entendez vous par la quAtrième honte de l’humanité ? C’était quoi les trois précédentes ? La planète des singes 1, 2 et 3 ?

  9. Avatar de Muller
    Muller

    L’intelligence artificielle nous remet les pieds sur terre en débarrassant l’humain d’avoir à gérer la complexité d’un monde désormais planétaire (écologie, économie, politique, physique quantique…) plus ancré dans l’universalité de notre petit univers, qui maintenant nous dépasse, voire nous excède.

    IA comme nouvelle alternative à la guerre via une religion qui ne couperait plus les cheveux en quatre, prenant ses distances avec ces parasites mentaux que sont les émotions humaines du présent immédiat comme du passé lointain, hors des carcans du Bien et du Mal, faisant spontanément la part du savoir et des croyances.

  10. Avatar de Claude Roux
    Claude Roux

    L’émergence me fascine tout autant, de même que l’étrange convergence des technologies à laquelle nous assistons.
    Pendant des décennies, NP ≠ P était une évidence, l’incontournable réalité de nos algorithmes les plus perfectionnés. Quand il fallait explorer, on n’avait pas le choix, on explorait… Parfois quelqu’un trouvait le moyen de réduire la traversée, mais généralement, il ne la faisait pas disparaître.

    NP c’était le temps de la marine à voile, les océans s’exploraient au rythme des vents et des courants. P c’était l’avion, on monte dedans, on mange, on dort, on s’occupe, et quand on sort, on est à destination. On sait à la minute près combien de temps ça va prendre.

    NP on ne sait pas. Peut-être des siècles…

    Et aujourd’hui… L’itération, la traversée lente des arbres immenses à explorer, on la fait à l’apprentissage, via des algos de renforcement, qui permettent de converger vers la solution. Et au bout de quelques semaines d’entrainement, on a notre fonction polynomiale, horriblement complexe certes, mais qui offre une approximation très fine de notre problème NP. Désormais, on met les données dans le bastringue, il fait son calcul, des multiplications de matrices réalisées dans des GPU, et paf! On a une réponse…

    Notre bateau à voile est devenu un lourd hydravion quadrimoteur…

  11. Avatar de Garorock
    Garorock

     » Les lemmings ont des poils orangés, ils métaphorisent les dynamiques d’excès en cours »
     » Le nuage est bien plus grand que le réel. »
     » Notre bateau à voile est devenu un lourd hydravion quadrimoteur… »
    Yep!
    Certes il y a de l’agressivité parfois que l’on pourrait sans doute réfréner puisque nous sommes conscients qu’elle existe et que nous en sommes la cause mais en attendant mieux, on peut parfois en lisant ce blog subir quelques « émerveillements intellectuels » et en ressentir une joie constructive: celle qui donne un peu meilleur goüt à nos espoirs qui s’éssoufflent…

  12. Avatar de gaston
    gaston

    GPT5, c’est pas encore pour aujourd’hui, mais OpenAI vient de dévoiler ses nouveautés : GPT4o, ChatGPT Voice, Chat GPT Vision, des GPTs …

    Bon courage à notre ami Paul qui va probablement passer une nuit blanche 😉 :

    https://www.numerama.com/tech/1742032-open-annonce-chatgpt-assistant-vocal-mai-2024.html

  13. Avatar de un lecteur
    un lecteur

    He oui, l’humanité a perfectionné le langage (son modèle de la Nature avec son dual sous forme de réseau de neurone) ces 10 000 dernières années en accélérant le processus d’apprentissage par la fabrication de signaux synthétiques, dont celui que j’utilise pour publier mon commentaire.
    Pas si artificielle notre technologie, ou bien serait-ce, pas si artificielle cette IA.
    Trop de mots, pas assez de sens.
    Dans l’ordre d’apparition :
    – Au commencement, il a la Nature et le gigantisme spectral des signaux qui la remplissent.
    – Le système nerveux (l’expérience)
    – Les réseaux de neurones (la connaissance)
    – Le langage (le savoir)
    – La technologie (le langage qui imite la nature)
    – L’IA (La technologie qui imite l’Homme)
    – La Nature qui reprend son bien…beeeeep…

  14. Avatar de BasicRabbit en psychanalyse
    BasicRabbit en psychanalyse

    PJ : « pour que la chaîne des signifiants, les mots mis à la queue-leu-leu, servent à quelque chose, il faut qu’ici et là, ils collent au Réel, à la réalité profonde des choses. »

    Pour Lacan un signifiant représente un sujet pour un autre signifiant. Il faut que la chaîne s’arrête au bout d’un nombre fini d’étapes pour s’arrêter sur un signifiant qui signifie quelques chose c’est-à-dire lui-même. On a alors ce qu’on appelle un point fixe. Et Lacan cite le néerlandais Brouwer à propos du théorème du point fixe et non à propos de l’intuitionnisme.

    Comment faire émerger un tel point fixe le plus vite possible pour sortir des nuages (*) le plus vite possible ? En descendant en piqué, c’est-à-dire en descendant suivant une dynamique de plus grande pente, une dynamique de gradient.

    Dans « Principes des Systèmes Intelligents » PJ écrit :

    CHAPITRE XIII.1

    13. La signification du mot

    La signification

    Les chercheurs et les commentateurs de l’intelligence artificielle sont d’accord pour dire que le principal problème que pose aujourd’hui la manipulation de séquences symboliques (appelées indifféremment ici « mots » selon l’usage commun de la langue, ou bien « signifiants ») est celui de la signification. Or, nous ne disposons pas d’une théorie de la signification, et une représentation de son mécanisme nous fait entièrement défaut.

    Thom a proposé une théorie de la signification dès 1966 (cf. Méthodes Mathématiques de la Morphogenèses (1974, 2ème ed. 1980) fondée sur sa théorie des catastrophes à chacune desquelles il associe une fonction potentielle et une dynamique de gradient.

    La difficulté théorique est que les singularités sont instables et qu’elles doivent être stabilisées par un déploiement universel (concept thomien). Ce qui complique considérablement le problème de repérer « numériquement » de quelle singularité il s’agit.

    PJ : « Je vous expliquerai cela un jour prochain, je me contente de vous le résumer aujourd’hui sous une formule sibylline : « Les faits d’émergence ont lieu dans la langue quand nous contraignons tout ce qu’elle permet par ce que le monde interdit lui de son côté ». « .

    J’attends ce jour prochain où PJ va nous parler de sa conversion du nominalisme au réalisme.

    (*) PJ : « (le monde étant très généreux envers nous : il nous a offert cette facilité que nous vivions la plupart du temps confortablement dans un nuage) »

  15. Avatar de Régis Pasquet
    Régis Pasquet

    J’ai toujours été fasciné par l’idée suivante :

    – Sur la Terre, vivent déjà ou vivront bientôt 8 milliards d’humains.
    – Il s’agit — peut-on le dire — d’une Intelligence collective en constante évolution puisque à chaque seconde naissent et meurent des humains.

    À noter que d’autres êtres entrent en relation avec ces derniers d’une manière ou d’une autre. Animaux et végétaux.

    Différentes formes de relations sont donc en permanence à l’œuvre ce qui constitue un formidable outil malheureusement (?) négligé alors que les IA tirent partie de leurs connaissances et semblent montrer qu’elles peuvent aller au-delà.

    Comment mettre en œuvre cette Intelligence Collective qui obligerait l’espèce humaine à repenser les différentes formes de contrôle démocratique?

    1. Avatar de CloClo
      CloClo

      Au hasard, se servir du potentiel extraordinaire de l’IA et la connectivité technologique du numérique ?

      Sinon j’ai bien peur que ta question reste lettre morte…

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Encore une fois, les États-Unis finissent par perdre (comme au Vietnam, en Afghanistan ou en Irak), et en ayant fait…

  2. Flûte alors, encore une pub pour un bouquin. Toutes les occasions sont bonnes, cela devient indécent.

  3. Excellente nouvelle concernant J.Assange, il a dû toutefois concéder à la justice américaine qu’il reconnaissait sa responsabilité ; ni l’un, ni…

  4. Bonjour et bonne journée, je mets en avant le 1er paragraphe de Mr J. Crahay : « Notre modèle économique…

  5. Aujourd’hui on devrait pouvoir rajouter à la liste, la santé. https://hervey-noel.com/declinaison-cqfd/

  6. lu sur le site de M. Cédric Chevalier: https://cedricchevalier.eu/personne-inspirante-n6-jacques-crahay/ hommage à M. Jacques Crahay

  7. Ah tiens! du placement de bouquin, de la pub, plus un média n’y échappe. C’est le moment d’aller au petit…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta