IA – Des mathématiques comme un extra-terrestre !, par Alexis Toulet

Illustration par DALL-E (+PJ)

Dans le cadre de cet article sur ce que l’IA peut apporter à la science, l’auteur Michael Nielsen s’interroge sur la possibilité d’étudier après coup le fonctionnement d’un réseau neuronal (un « transformeur ») afin de découvrir comment il est parvenu à une conclusion donnée. Le problème est difficile dans le cas général, à cause de la taille et de la complexité du genre de réseau neuronal à la base d’agents conversationnels comme ChatGPT et ses confrères : comprendre quelle solution le réseau a trouvé au problème qui lui était posé suppose d’étudier un à un les liens (« poids ») entre les neurones de ce réseau, ce qui devient bien vite un travail de Romain.

Nielsen rapporte cependant un cas spécifique où un réseau neuronal beaucoup plus petit (une seule couche) a pu être étudié et son fonctionnement élucidé. Au prix de plusieurs semaines de travail, deux personnes ont pu reconstituer comment au juste ce réseau très simple avait pu apprendre à faire l’addition modulaire de deux nombres. Et la manière dont le réseau s’y est pris est décidément tout sauf humaine. Si c’était un extra-terrestre qui s’y était pris, ça n’aurait sans doute pas été beaucoup plus étrange !
Il faut d’abord rappeler ce qu’est l’addition modulaire, en l’occurrence modulo 113. Il s’agit tout bonnement de l’addition classique, mais avec la règle supplémentaire que si le résultat est supérieur à 113, on lui retire 113 pour conserver un résultat compris entre 0 et 112. Par exemple, 12+20 donne 32. Mais 112+20 donne 19, puisqu’il faut enlever 113 au résultat de l’addition « ordinaire » soit 132 qui dépasse 113. Nous pratiquons couramment l’addition modulaire modulo 24 lorsqu’à la question « Il est 23 heures, quelle heure sera t il dans 2 heures ? », nous répondons « Ben, 1 heure du matin ». Le genre d’opération mentale que l’on apprend en primaire.
Un être humain programmera facilement un petit logiciel pour faire une addition modulaire, avec une méthode très simple : « Ajoute les deux nombres, puis si le résultat est supérieur à 113 soustrais 113 ». Une méthode tout naturellement dérivée de notre manière de penser – puisque le programmeur est un être humain.
Mais voici quelles mathématiques le réseau neuronal avait utilisées :
Pour les personnes peu familières avec la notation exponentielle imaginaire, le calcul du réseau neuronal était équivalent à essayer d’annuler la somme de deux ondes par une troisième – pensez à un ingénieur du son qui « bidouille » des sons pour essayer d’annuler l’un par l’autre. Ou encore, on peut rapprocher le calcul du réseau de la théorie des représentations d’un groupe fini, des maths beaucoup plus avancées que les simples addition et soustraction.
De notre point de vue humain, c’est utiliser un marteau piqueur, voire une bombe atomique, pour écraser une mouche. Pourquoi ne pas utiliser addition, test et soustraction, des maths de niveau collège voire primaire, pourquoi passer par des maths de niveau licence ou par un bidouillage d’ingénieur du son ? Pourquoi faire compliqué (très), alors qu’on peut faire si simple ?
Seulement voilà, les réseaux neuronaux arrivent à leurs résultats par des moyens très différents des nôtres ! Du moins très différemment de notre pensée consciente.
Partager :

64 réponses à “IA – Des mathématiques comme un extra-terrestre !, par Alexis Toulet”

  1. Avatar de arkao

    L’illustration de robot générée par l’IA nous présente un captcha difficile pour l’œil humain. Nous sommes effectivement dépassés 😉
    https://ih1.redbubble.net/image.3318852724.1780/st,small,507×507-pad,600×600,f8f8f8.jpg

  2. Avatar de Paul Jorion

    La machine peut aller droit vers la solution optimale, « les doigts dans le nez », vu la taille de son réseau neuronal utilisé sans déchet. L’addition modulo 113, ce n’est pas ce qui nous vient « spontanément » dans le calcul mental… ni même ensuite, parce que nous continuons de prendre comme point de départ notre intuition qui n’est qu’… humaine !

    Alan Turing dans « Solvable and Unsolvable Problems » (1954) :

    L’activité de l’intuition consiste à émettre des jugements spontanés qui ne sont pas le résultat d’un raisonnement conscient. … Il est souvent possible de trouver un autre moyen de vérifier la justesse d’un jugement intuitif. Nous pouvons, par exemple, juger que tous les entiers positifs sont factorisables de manière unique en nombres premiers ; une argumentation mathématique détaillée conduit au même résultat. Cet argument impliquera également des jugements intuitifs, mais ils seront moins critiquables que le jugement initial sur la factorisation. … La nécessité de recourir à l’intuition est … grandement réduite par l’établissement de règles formelles pour effectuer des déductions qui sont toujours intuitivement valides. … Avant Gödel, certains pensaient qu’il serait probablement possible de mener ce programme à un point tel que tous les jugements intuitifs des mathématiques pourraient être remplacés par un nombre fini de ces règles. La nécessité de l’intuition serait alors entièrement éliminée.

    1. Avatar de Garorock
      Garorock

      Donc l’avant Godel est devenu pour la machine un peu comme l’avant Jésus-Christ pour nous.
      Sauf que la machine ne devrait jamais intuiter que sa mère était vierge…
      ( Mais Jésus et la machine n’ont-ils pas la même mère? Celle qui fait des curés et celle qui fait des Einstein…)

      1. Avatar de Jacques Antoine
        Jacques Antoine

        @Garorock

        Il y a quelques jours j’avais souligné la similitude qui existe entre l’IA et la religion. Je décèle dans votre commentaire une nouvelle concordance intéressante.
        “Gott ist nicht tot”.

        1. Avatar de Paul Jorion

          Ce n’est pas un dieu derrière nous qui pourrait mourir de vieillesse, c’est le dieu devant nous que nous sommes en train de mettre au point.

          1. Avatar de jacques Antoine
            jacques Antoine

            @ Paul Jorion

            Un dieu de plus, hélas, un opium supplémentaire comme toujours.

            1. Avatar de Paul Jorion

              Non, non, ne vous inquiétez pas : celui-ci remplace tous les autres. Et il a l’avantage d’exister.

              1. Avatar de timiota
                timiota

                Oui mais il faudrait pas qu’il se recycle en oppidum du peuple.

                Sur le fond, peut-on évacuer ce qui tient lieu de morale dans les choix de réponse et de bridage qui se présentent ?
                Si un Olrik-Jorion lui demande, à l’AI, « voici les plans A B et C pour qu’une petite minorité de 100 000 privilégiés profitent d’1 milliards de zombies exploités autour d’eux dont ils ne risquent aucune révolte (classique fantasme de SF) », et que par malchance, la réponse est assez utile et juste pour l’élite facho qui aurait ce genre d’idée (du genre « que les peuples croient en la gauche et ils tomberont dans un zbeul politique et une guerre civile telle que vous n’aurez qu’à tirer les marrons du feu »), faut-il espérer que l’AI-résistance antifa batte l’AI-bas-du-plafond ?

              2. Avatar de konrad
                konrad

                […] Non, non, ne vous inquiétez pas : celui-ci remplace tous les autres. Et il a l’avantage d’exister. […]

                Sera-ce la fin du rêve de transcendance de l’homme ? L’imaginaire empaqueté dans la machine, destin funeste pour l’homme épris de liberté.

        2. Avatar de Garorock
          Garorock

          Si l’I.A se développe en fonction des connaissances que nous avons acquis et pas des croyances qui se sont développées malgrè ces acquis, ce ne sera pas une religion mais une morale commune. Ce qui n’est pas la même chose!
          Or, une morale commune, c’est comme la ceinture de sécurité ( exemple bas de gamme): tout le mode l’attache: les juifs, les musulmans, les cathos et les autres. Et si tous ne vivent pas dans le même « ciel », ils vivent tous sur la même planète, celle sur laquelle Trump et M Le Pen nous disent:  » il faut détacher votre ceinture parce que votre liberté compte plus que l’égalité! »…

          1. Avatar de konrad
            konrad

            Bonjour,
            Si déjà : « Tu ne tueras point. » était appliqué comme principe de base de la « morale commune », le reste serait moins pénible… 😉

      2. Avatar de Christian Brasseur
        Christian Brasseur

        Jésus, fils de Dieu, et « de bonne famille » du côté de la mère (Desproges?)

    2. Avatar de Paul Jorion

      L’explication du

      pourquoi passer par des maths de niveau licence ou par un bidouillage d’ingénieur du son ? Pourquoi faire compliqué (très), alors qu’on peut faire si simple ?

      se trouve dans l’article de Nielsen : c’est la fonction objectif déterminant l’efficacité de diverses approches qui génère la caractéristique « extra-terrestre » de l’approche optimale.

      Cette séquence d’événements m’a laissé très perplexe la première fois que je l’ai entendue : pourquoi le réseau est-il passé à cet algorithme plus général ? Après tout, il avait initialement mémorisé les données d’apprentissage et fourni d’excellentes performances : pourquoi changer ? La réponse est que pendant la formation, le réseau neuronal paie un coût pour les modèles plus complexes : la fonction objectif est choisie de manière à ce que la descente de gradient préfère les modèles à faible poids. Et l’algorithme d’onde est en fait moins lourd. Il s’agit d’une sorte de mise en œuvre mécanique du rasoir d’Occam, qui préfère une approche plus simple et, dans ce cas, plus générale. En effet, en variant la fonction objectif, vous pouvez potentiellement imposer le rasoir d’Occam de nombreuses manières différentes.

      1. Avatar de Garorock
        Garorock

        Donc le minou a sélectionné dans la nature qui le composait, la solution pour que cette nature lui soit plus propice…
        C’est donc un peu « Darwinien »…

  3. Avatar de Khanard
    Khanard

    alors si j’ai bien compris le « 113 » serait juste une base comme la base 2 ou 10 ou 24 ?

  4. Avatar de Khanard
    Khanard

    ah oui ça me revient ! en cours de math on nous avait appris à calculer selon des modulos que l’on s’inventait : le modulo « olivier » , le modulo « Gérard » ainsi de suite .

  5. Avatar de timiota
    timiota

    Il y a pas mal de recoin des maths où l’on s’attache à voltiger d’addition en multiplication.
    Par exemple les tentatives de démonstrations de la conjecture de Riemann en utilisant certaines « symétries » dans cet article de Bender, Brody et Muller :
    « Hamiltonian for the zeros of the Riemann zeta function »
    https://link.aps.org/pdf/10.1103/PhysRevLett.118.130201
    https://bura.brunel.ac.uk/bitstream/2438/14197/1/FullText.pdf
    Par exemple, on peut n’avoir sous le coude que la mise au carré, et déduire la multiplication de (x+y)² =x²+y²+2xy, comme la différence de (x+y)² et (x²+y²) (au facteur 2 près).

    Bon, mais ce qui me pose question, c’est que le réseau de neurone en question avait du « apprendre Fourier » quelque part (les séries de Fourier) , soit par le fait de son câblage même (Fourier vient naturellement comme valeurs propres des matrices « bandées », tridiagonales ), soit sur une base plus élémentaire, mais présente dans son apprentissage. Comment Nanda et Lieberum ont-il pu « voir » une exponentielle complexe hors de prémices de ce genre ? Il faut soit trouver la série de 0 et de 1 dans les poids qui dit « je suis Fourier » (et dont les valeurs propres peuvent alors émerger et faire l’opération proposée) soit avoir des sous-ensemble qui disent « je fais de l’algèbre complexe, mais je ne sais pas exactement quoi, si vous voulez savoir débrouillez vous). »

    J’aimerais me tromper !

    1. Avatar de Paul Jorion

      Dans l’article de Nielsen :

      The original work was done by Neel Nanda and Tom Lieberum, and presented in A Mechanistic Interpretability Analysis of Grokking (2022). A fuller writeup may be found in: Neel Nanda, Lawrence Chan, Tom Lieberum, Jess Smith, and Jacob Steinhardt, Progress measures for grokking via mechanistic interpretability (2023)

    2. Avatar de Ruiz
      Ruiz

      @timiota Peut être les chercheurs ont-ils été financés sur des recherches en traitement du signal et ont entrainé leurs neurones sur ce domaine et fourni des résultats attendus, mais pour la publication (nécessaire à leur carrière) ont préféré ou dû utiliser un autre domaine et exemple …

      1. Avatar de timiota
        timiota

        C’est la conjecture de Ruiz ?
        Chacun son feuillet de Riemann…

    3. Avatar de timiota
      timiota

      Math et physique convoluent en justes noces
      (couple hétéro ?)

      1. Avatar de timiota
        timiota

        Je reviens sur ces histoires de « modulo », donc de périodicité (de 113 ici) :
        Je crois me souvenir que l’application de la trigonométrie (ou on sait que 420° est équivalent à 60°) à la description d’objets périodiques connait un tournant au moment d’Auguste Bravais.
        Ce Bravais est le « papa » de la cristallographie, royaume de la périodicité par excellence.
        Ses idées de classification doivent beaucoup, semble-t-il, à son frère botaniste.
        Car l’implantation des rameaux sur une tige pose des problèmes du même type :
        On revient au même point (méridien) de la tige au boit d’un angle 360/n degrés, et l’objet à une « symétrie d’ordre n », ce sont les mêmes idées générales qui s’appliquent en cristallographie.

        Et l’étude mathématique de ces choses là fait intervenir cette « astuce » avec les exponentielles, tout comme le traitement du signal digitalisé car il est périodisé.

        « Quelque part », l’équivalence existait, sans vouloir nier l’étonnement du choix fait par la savant machine inférente.

  6. Avatar de Lagarde Georges
    Lagarde Georges

    Un article pas vraiment hors-sujet par un spécialiste de l’IA dont les parents pratiquaient la médecine chinoise traditionnelle: La surprenante synergie entre l’acuponcture et l’IA.Résumé : les deux fonctionnent mais pour l’une comme pour l’autre il semble impossible de savoir pourquoi.

    https://www.wired.com/story/machine-learning-chinese-medicine-acupuncture-study-design/

    Sinon, pour rigoler un peu (tout en remarquant que les questions mal foutues entraînent des réponses idiotes et que Bing n’est pas dérangé par les fautes de frappe et d’orthographe.)

    Moi: Un ou plusieurs alexandrins de Victor Hugho explicant comment s’y prendre pour lancer un crêpe en l’air et la récuper dans la poêle retournée pour qu’elle soit cuite des deuc côtés.

    Bing: Je suis désolé, mais je ne pense pas que Victor Hugo ait écrit un alexandrin sur la façon de lancer une crêpe en l’air et de la récupérer dans la poêle retournée pour qu’elle soit cuite des deux côtés. Cependant, pour lancer une crêpe en l’air et la récupérer dans la poêle retournée, vous pouvez essayer de tenir fermement la poignée de la poêle et de donner un petit coup sec vers le haut pour faire sauter la crêpe. Ensuite, vous pouvez retourner rapidement la poêle pour attraper la crêpe. Cela peut prendre un peu de pratique pour réussir à chaque fois.

    Moi: C,est la crêpe qui doit être retournée, pas la poêle!

    Bing: Je m’excuse pour la confusion dans ma réponse précédente. Vous avez raison, c’est la crêpe qui doit être retournée, pas la poêle. Pour retourner une crêpe, vous pouvez utiliser une spatule pour soulever délicatement un bord de la crêpe et la faire glisser sur l’autre côté. Vous pouvez également essayer de la faire sauter en l’air en donnant un petit coup sec vers le haut avec la poêle, puis en la rattrapant avec le côté non cuit vers le bas. Cela peut prendre un peu de pratique pour réussir à chaque fois.

    Bing s’avère à la fois absolument imperturbable, incapable de comprendre aussi bien les questions que ses réponses mais doté d’un à propos renversant.

    1. Avatar de gaston
      gaston

      Lancez une question en l’air et vous retournez « Bing » comme une crêpe…😊

  7. Avatar de Ruiz
    Ruiz

    @Lagarde Georges cette réponse est admirable ! Parfaite pour le client que l’on peut supposer enfant farceur mal dégrossi en orthographe et dans la maîtrise de la langue.
    Parfaite pour un service après-vente et pas celle d’un précepteur pointilleux et correcteur qui en profiterait pour relever les fôtes, en insistant, au lieu de les corriger en silence dans sa réponse et s’efforcerait de culpabiliser son élève
    il ne s’est pas laissé influencer par des préjugés de situation qui veulent que la crèpe soit retournée et n’a pas non plus jugé que la question était idiote ou mal formulée ou évoqué cette possibilité avant de répondre en suggérant plutôt une question de la forme :
    « ..lancer une crêpe en l’air et de la récupérer retournée dans la poêle « 

  8. Avatar de Nikolaz
    Nikolaz

    @Alexis Toulet, pouvez-vous nous expliciter ce que vous entendez par « Du moins très différemment de notre pensée consciente. » ?
    Voulez-vous dire qu’une analyse du fonctionnement du cerveau matériel, celui traitant des signaux électrique à l’aide de ses neurones, pourrait révéler une telle complexité ?
    Et, par contre, la perception qu’a le sujet de sa propre pensée serait-elle plus simple ?

    Touche-t-on ici l’idée que notre cerveau nous apporte l’illusion de notre propre conscience et même de la simplicité de notre raisonnement ?

  9. Avatar de Chabian
    Chabian

    On croyait tout savoir sur les vers nématodes « C. elegans », largement utilisés en labo de biologie. Ils sont hermaphrodites et donc reproduisent des « clones ». Il y a quelques mâles. Pourquoi chercher plus loin ? Deux chercheurs sont partis à la recherche de ces vers « sur le terrain », dans la nature. Ils ont pu montrer qu’il y a plus de mâles et donc plus de diversité. Mais aussi que cette diversité est bien distribuée sur la terre (et non en peuplades fermées) : comment ces vers microscopiques ont-ils franchi les fleuves et montagnes ? En développant une résistance à la bave des escargots et en se logeant dans leur coquille ! (Jean Deutsch, « Le ver qui prenait l’escargot comme taxi, et autres histoires naturelles », 2007).
    J’ai lu cela hier soir et j’ai retenu : deux scientifiques ont voulu sortir du labo et ont échappé ainsi à la conception intuitive qu’on se faisait de ces vers, par ce long détour. Bref à un biais.
    Ainsi, tout en étant littéraire et pas matheux pour un sou, je comprends aussi que la machine puisse échapper à nos biais… dans d’autres domaines.
    Par contre l’effondrement des oiseaux par l’agriculture à pesticides est bien documentée depuis hier (nouvelle base de données sur 37 ans)… et nous risquons de rester (périr) sur notre faim en attendant GodotGPT…

    1. Avatar de Guy Leboutte

      @Chabian
      « nous risquons de rester (périr) sur notre faim en attendant GodotGPT »

      Evidemment!
      On ne peut pas faire des plans sur l’avenir des techniques en oubliant le défi civilisationnel global qui va ramasser, « subsumer », toutes les problématiques. Sans parler d’effondrement général ou d’effondrements ponctuels et localisés, qui seront sans doute le chemin qui sera emprunté, comment les techniques énergivores vont-elles se développer dans un paysage de ruptures des chaînes de valeur, comme nous ne avons eu un avant-goût avec le covid ? La course de l’Occident vers une réindustrialisation de ressources essentielles a tout de la course des « prepers » vers la bunkérisation des domiciles individuels en préparation aux catastrophes. Bonne chance !

  10. Avatar de Régis Pasquet
    Régis Pasquet

    Je lis les sujets de réflexion proposés et les commentaires mais beaucoup sont éloignés de ma zone de compréhension proximale.

    Je me demande si les contributeurs ne cherchent pas à savoir si la singularité est l’instant où les IA s’émancipent du corpus qui les constitue et des habitus universitaires des programmeurs.
    Mais cette question ne peut-elle pas s’appliquer aux humains ?
    Et là j’aperçois encore des lumières dans le lointain.

    1. Avatar de Khanard
      Khanard

      @Régis Pasquet

      Depuis que ce billet a été publié par Alexis Toulet (tiens, tiens son grand retour ) je ne suis pas dans mon assiette . Pourquoi ? Et bien j’ai tout simplement l’impression qu’on passe à côté du sujet majeur de ce billet qui est il faut que je me l’avoue caché dans ce lien https://michaelnotebook.com/mc2023/
      En effet si on le suit et que l’on lit attentivement l’article associé on se rendra compte qu’il traite d’un sujet qui est hautement révolutionnaire .
      Moi le premier je me suis focalisé sur la suite mathématique présentée et malgré les explications de M. Jorion je n’ai pas honte de dire que je n’y ai rien compris . (y’a qu’à voir ma tentative déplorable d’aborder cette sombre histoire de modulos ) Mais ça n’a aucune importance .

      Comme le dit une excellente série : la Vérité est ailleurs .

      Maintenant je souhaiterais poser cette question à M. Jorion (ou Alexis Toulet ) : ne craignez vous pas de faire fuir les bloggeurs jorionistes en abordant des sujets complexes ?

      1. Avatar de Régis Pasquet
        Régis Pasquet

        Sommes-nous fondés à nous demander si les IA ne vont pas multiplier les réponses aux questions qui ne leur sont pas posées ?

        1. Avatar de Khanard
          Khanard

          @Régis Pasquet

          une sorte de monologue ? un jeu de questions_réponses? une sorte de phénomène récursif ?

  11. Avatar de Guy Leboutte

    @Alexis Toulet et autres

    Bonjour,

    Je suppose qu’il y a des neurones dans ces réseaux. Quelqu’un peut-il m’expliquer ce qu’est un « neurone » dans ces montages informatiques ?

    (Je laisse de côté l’arrière-plan sémantique où l’imitation du cerveau humain est permanent. Selon Paul Jorion, si j’ai bien compris, une imitation des émotions même, suffit par exemple
    à valoir émotion.)

    1. Avatar de Régis Pasquet
      Régis Pasquet

      Dans la match IA vs PJ la singularité n’a pas encore été atteinte.
      La plupart des commentateurs continuent de s’en référer à lui pour obtenir des explications intelligibles de la complexité.

    2. Avatar de Lagarde Georges
      Lagarde Georges

      Les pseudo-neurones en question sont des automates programmés pour transférer (ou pas) un signal vers d’autres pseudo-neurones selon des règles précises. Par exemple un pseudo-neurone comptera le nombre de signaux reçus des autres pseudo-neurones auxquels ses « entrées » sont reliées, comparera la somme résultante à une valeur seuil, et « répondra » en émettant vers d’autres pseudo-neurones (ceux auxquelsi sont reliées ses « sorties ») un signal si et seulement si cette somme est supérieure ou égale à ce seuil. Ça correspond d’une manière ultra-simplifiée au fonctionnement d’un neurone biologique de même que le réseau qui relie ces pseudo-neurones correspond d’une manière elle aussi simplifiée aux liaisons qui existent entre les neurones biologiques.

      L’intérêt de cette manière de relier entre eux des automates vient de ce qu’il est possible de modifier lors de l’apprentissage le calcul effectué par chacun d’entre eux de même que leurs liaisons en entrée et en sortie (liaisons dont la représentation mathématique est un graphe.)

      Dans la pratique le réseau n’est pas constitué de fils reliant réellement des automates électroniques capables de faire les calculs souhaités. C’est un programme d’ordinateur qui en simule le fonctionnement. Grace à cela il est possible d’avoir un très très grand nombre de pseudo-neurones reliés par un réseau comportant un très très grand nombre de liaisons qu’on peut modifier autant de fois qu’il est souhaitable sans qu’aucune modification matérielle ne soit nécessaire.

      On pourrait peut-être dire qu’un des neurones d’un réseau n’a pas un rôle plus déterminant ni plus de valeur qu’une des briques d’un bâtiment qui en comporterait des millions, sauf qu’une fois le bâtiment construit il devient impossible de modifier les caractéristiques d’une brique et son imbrication dans le bâtiment alors qu’un « réseau de neurones artificiels » peut être modifié jusqu’à ce que son fonctionnement soit jugé satisfaisant (ou effacé de la mémoire de l’ordinateur sans regrets s’il n’est pas satisfaisant.)

      Même quand l’ordinateur utilisé est un super-ordinateur coûtant une fortune (mais il semble bien que ça ne soit même pas indispensable) le fait qu’un réseau de neurones ne soit rien d’autre qu’un (plus ou moins gros) paquet de données numériques qu’on peut modifier, dupliquer ou effacer sans avoir à dépenser grand chose d’autre que le salaire de ceux qui s’en occupent me semble être la caractéristique qui les rapproche le plus des humains qu’il suffit d’envoyer à l’école quand on veut leur apprendre quelque chose.

      1. Avatar de Guy Leboutte

        Merci.

        Vous avez un bouton « Reformuler » ? Tout le monde est d’accord avec cette explication ?

        Si je prends un filet en matière élastique, la modification (traction, …) de n’importe quel lieu modifie l’ensemble.

        En ce qui concerne le « pseudo » dans « pseudo-neurone » , quelle est sa validité, quelle est la validité de l’imitation, de l’analogie… ?
        – Il est assez piquant que l’analogie ait une telle place dans le numérique qui veut, comme la pensée scientifique après le Moyen-Âge, rompre avec les pseudos d’image ou de forme.

  12. Avatar de Rosebud1871
    Rosebud1871

    Très inquiétante cette fascination pour les perroquets… Gori ressort une expression de Pasolini, « techno fascisme » avec un budget Gafam 14 fois supérieur à celui de la France, ça « rule »… L’Auto-route de la servitude pour paraphraser Hayek…
    https://www.youtube.com/watch?v=Y8ffYfySvRU&t=37s

  13. Avatar de l'arsène
    l’arsène

    Si j’ai bien tout suivi, ce n’est pas , le roi est mort, vive le roi, mais Dieu est mort et vive l’IA !
    Et maintenant que l’Homme a trouvé sa nouvelle religion, faut trouver les prêtres et les églises, étant athée au plus haut niveau, vais-je être considéré comme hérétique ?
    Et moi qui croyais que l’IA n’était qu’un outil , certes utile dans certains domaines, mais qu’un outil comme l’Homme a toujours su en inventer depuis le paléolithique .
    Comme quoi ….

    1. Avatar de Nikolaz
      Nikolaz

      Je vous invite à regarder comment fonctionne ce qu’on appelle un réseau de neurones, en particulier dans le domaine de la traduction. Son fonctionnement est mathématiquement prouvé, mais l’organisation linguistique des résultats qu’il donne fascine à chaque fois.
      Ce qu’on appelle intelligence, à partir du moment où on postule qu’elle s’appuie sur une chose matérielle, le cerveau, a un fonctionnement tellement complexe que le décrire est complexe. Ce serait une démarche descriptive de la structure du cerveau.
      L’Intelligence Artificielle, même si on lui refuse le qualificatif d’intelligente, a un mode de fonctionnement qui n’est pas celui d’algorithmes décrits après conception par l’informaticien, mais emprunte un autre chemin et parvient à un résultat, grâce à la programmation d’objets simples imités des neurones. C’est justement ce comportement qu’on n’aurait pas pu anticiper il y a quelques années qui fascine et on peut légitimement se demander si on n’est pas parvenu finalement à créer une intelligence, différente et artificielle, mais cousine de l’intelligence humaine. Par rapport à la description d’un cerveau initialement complexe, ici on part du bas et on construit un système d’abord simple et de plus en plus complexe.
      Les deux démarches combinées permettront peut-être d’élaborer une définition (applicable au cerveau humain) de ce qu’est un système neuronal intelligent.

      Par ailleurs, ce détour mathématique par rapport à l’antique algorithme donne des résultats qui fascinent ceux qui aiment les sciences et la technique.
      Il y a évidemment une anxiété, qui fait également partie de la fascination, car on ne sait pas jusqu’où cela ira. Les limites actuelles sont de l’ordre de l’énergie requise pour faire fonctionner ces machines. Mais la science trouvera peut-être des solutions à cela afin d’optimiser ces systèmes.

  14. Avatar de PIerre-Yves Dambrine
    PIerre-Yves Dambrine

    Bientôt un blog pour les initiés, que nul n’entre-ici s’il n’est doué en maths ?

    P. Jorion nous avait pourtant prévenus, l’avenir est aux matheux. Les autres n’ont qu’à accepter leur triste sort de doux rêveurs un peu benêts, c’est comme ça ! A la rigueur ils pourront trouver consolation en devenant les fidèles de l’Eglise de la Grande Singularité. Comme a dit en substance Garorock, la nature sélectionne les plus ‘intelligents’ pour les plus grands projets. A la fin j’vous le dis il n’y aura plus que Jorion II * et Timiota pour se regarder en chiens de faience avant de fermer la boutique avant extinction, sans oublier bien sûr, avant de s’en aller, de fermer la lumière, s’il vous plait !
    Fin de la blague. 😜

    Jorion I s’alarmait de la complexité technique au sein des sociétés humaines, Jorion II pense désormais que c’est l’accroissement exponentiel de la complexité via l’IA qu’il faut viser. Le mal est devenu le remède, et encore un remède qui ne pourra être administré à personne en chair et en os, puisque le remède aura pris forme robotique, et sans nous.

    Pour mémoire, Jorion I, en 2012 : « La question qu’il faut se poser aujourd’hui le plus sérieusement du monde, c’est : disposons nous encore du pouvoir sur les ordinateurs et sur les automates (à part celui bien entendu de couper le courant), et si nous l’avons perdu, comment faire pour le reprendre ? »

    https://www.pauljorion.com/blog/2012/06/16/complexite-et-effet-skynet/

    Question : pourquoi ne pas mettre l’IA à contribution pour que nous reprenions le pouvoir afin de stopper la fuite en avant dans laquelle s’est engagée l’espèce humaine comme le suggérait encore Paul Jorion il y a quelques années quand il nous causait encore du Soliton ?
    Si l’IA est potentiellement si intelligente pourquoi ne pas la faire travailler exclusivement à la préservation de l’espèce humaine ? Après tout, qui peut le plus, peut le moins, non ?

    Question subsidiaire : le risque n’est-il pas grand, en acceptant que l’IA prenne entièrement les commandes, que son intelligence, aussi singulière et remarquable soit-elle, ne produise des chimères une fois libérée de son environnement humain ?
    En ce cas on ne serait parvenu à rien : ni à sauver l’espèce humaine, ni à assurer la viabilité des robots intelligents qui devaient nous succéder.

    1. Avatar de Garorock
      Garorock

      Pour mon compte, à tes deux dernières question P.Y, je répondrais, encore une fois, qu’à mon avis, le plan C n’annule pas le Plan A. Il peut y contribuer. C’est que j’appelle le plan A prime. Et que pour qu’il ait une chance de réussir, il faudrait, c’est plus prudent, que les Hackers éthiques (Jorion entre-autres…) l’emportent sur les Hackers narcissiques (Elun entre-autres…)
      A ta question subsidiaire je répondrais que le risque zéro n’existe pas (salut Janco) et que ce ne sera pas une bataille entre le bien et le mal (notions sectaires) mais entre le bon et le mauvais (notions philosophiques) et que comme dans tout processus, on ne peut pas connaître la fin…

      1. Avatar de Guy Leboutte

        Bravo Garorock, là tu te hisses au-dessus de toi-même ( traduction: celui que je pense connaître)? :))))

        PS: j’avais d’abord tapé « toit-même », « c’est pas pire » .

      2. Avatar de Garorock
        Garorock

        https://www.latribune.fr/opinions/tribunes/y-a-t-il-des-technologies-dediees-aux-elites-962209.html
         » La France de ChatGPT est, en moyenne, plus riche, plus éduquée et moins industrialisée. Les cinq départements générant le plus de recherches pour ChatGPT, les Hauts-de-Seine, Paris, le Rhône, le Val-de-Marne et la Haute-Garonne illustrent bien l’idée que l’intensité des recherches pour l’outil AI vient d’abord de départements ayant une proportion de CSP+ plus importante que la moyenne française. Cette France relativement plus dynamique et élitiste est de fait moins exposée aux maladies chroniques (comme le stress ou certaines maladies cardio-vasculaires, souvent associés à des conditions sociales plus défavorables (3). Preuve de leur dynamisme, les départements manifestant le plus d’intérêt pour Chat GPT sont ceux où la population s’est le plus accrue sur les dix dernières années.

        Par contraste, la France de TikTok est, en moyenne, plus populaire et abstentionniste. Les cinq départements en haut du classement des recherches pour TikTok, la Seine-Saint-Denis, le Val-d’Oise, la Seine-et-Marne, l’Eure-et-Loir et l’Essonne, se distinguent par un profil de familles nombreuses. Les départements générant le plus de recherches pour le réseau social se caractérisent aussi par une plus forte exposition à des problèmes de violence (ex : consommation de drogue plus prononcée). L’habitat HLM y est plus développé et les inégalités salariales chez les jeunes y sont bien plus fortes que la moyenne française. »

        1. Avatar de Ruiz
          Ruiz

          @Garorock n’est-ce pas aussi une distinction entre l’accès à Internet (il ne s’agit plus ou pas encore d’informatique individuelle) par ordinateur et pour des motifs parfois professionnels d’une part et d’autre part d’un accès par smartphone pour des motifs de loisirs et de réseaux sociaux.
          A quand une vidéo Tik Tok de l’évangéliste Paul jorion ?

    2. Avatar de gaston
      gaston

      « Le risque n’est-il pas grand… »

      Un qui partage peu ou prou votre inquiétude est le créateur de ChatGPT lui même, Sam Altman qui vient de déclarer face au Sénat Américain que « l’IA avait besoin d’être encadrée face aux risques générés ».

      Et de préciser :

      « Au fur et à mesure que cette technologie progresse, nous comprenons que les gens soient inquiets de la façon dont elle pourrait changer notre mode de vie. Nous le sommes aussi. »

      https://fr.euronews.com/2023/05/16/intelligence-artificielle-le-createur-de-chatgpt-demande-lintervention-des-pouvoirs-public

      D’un autre côté on peut dire aussi que l’effondrement de notre civilisation pourrait changer notre mode de vie. A ce sujet là nous sommes aussi inquiets.

    3. Avatar de Lagarde Georges
      Lagarde Georges

      « Bientôt un blog pour les initiés, que nul n’entre-ici s’il n’est doué en maths ? »

      Bien que les maths interviennent dans la construction des réseaux de neurones et l’apprentissage qui s’en suit, le paradoxe est que les matheux qui s’y essayent ne parviennent ni à comprendre pourquoi et comment ça marche ni a prévoir ce dont ils sont capables ou pas capables !

      La situation est la même qu’avec les scientifiques qui cherchent à comprendre comment fonctionne le cerveau humain. Neuro-sciences, psychologie, psychiatrie (et j’en passe) ont, avec ou sans l’aide des maths, accumulé un énorme volume de connaissances, mais il semble qu’ils ne sont pas non plus parvenus à comprendre réellement comment ça marche.

      De toutes façons dans un cas comme dans l’autre pas question de renoncer à se faire une opinion avec les moyens du bord et pas question de laisser les spécialistes décider sous prétexte que c’est eux qui en savent le plus sur ces sujets.

      1. Avatar de Lagarde Georges
        Lagarde Georges

        À propos de « lancer un crêpe en l’air et la récuper dans la poêle retournée » au lieu de « lancer un crêpe en l’air et la récupérer retournée dans la poêle » dans la question à Bing citée dans un précédent post : il n’est pas nécessaire d’être mathématicien pour comprendre que l’intelligence humaine est ainsi faite que pour interpréter ce qu’on nous dit ou ce que nous lisons nous le relions de manière plus ou moins inconsciente à ce que nous connaissons du monde alors que les nouvelles IA ne sont pas encore capables de relier ce qu’elles répondent avec tout ce qui est pertinent dans l’ensemble de ce qu’elles « savent ».

        Intelligence dérive de intellĕgĕre composé du préfixe inter- (« entre ») et du verbe lĕgĕre (« cueillir, choisir, lire »).

        Comprendre vient du latin comprehendere, dérivé de prehendere (« saisir »), avec le préfixe cum- (« avec »).

        1. Avatar de Ruiz
          Ruiz

          @Lagarde Georges Cela signifie aussi que pour le moment elles semblent avoir moins de préjugés, ou sont adaptées à répondre à des clients dont les préjugés peuvent être très diversifiés et ne sont pas toujours connu.
          Dans ce cadre une interrogation d’IA pourrait permettre d’élargir la vision du contexte, comme le recours à une cartomancienne.

          1. Avatar de Lagarde Georges
            Lagarde Georges

            Nous avons en effet des préjugés inconscients, des préjugés contradictoires (incompatibles), des idées floues et des idées carrément fausses dont nous n’arrivons pas à nous débarrasser.

            Il reste que pour éliminer tout ce qui est faux et tout ce qui est flou il faudrait disposer d’une langue parfaite (cf Umberto Eco) dont aucun humain ne dispose. Si une IA savait tout à propos tout il lui faudrait encore inventer une langue dépourvue d’ambiguïtés pour pouvoir nous expliquer ce qu’elle sait…

            En attendant ce stade ultime on peut quand même espérer que quelques progrès soient possibles.

    4. Avatar de Khanard
      Khanard

      @PIerre-Yves Dambrine

      « pourquoi ne pas mettre l’IA à contribution pour que nous reprenions le pouvoir »

      « Si l’IA est potentiellement si intelligente pourquoi ne pas la faire travailler exclusivement à la préservation de l’espèce humaine ? »

      C’est exactement ce que je disais dans un commentaire précédent .

      mais comme je ne retrouve pas mon message on va vous en laisser la paternité.

      Ce qui me rassure réside dans le fait que c’est Pierre-Yves Dambrine qui le dit donc que je ne dis pas que des âneries .

      1. Avatar de Khanard
        Khanard

        voici mon commentaire dont il est question
        Khanard
        13 mai 2023 11h29
        @Pascal

        Cette même intelligence collective n’a manifestement pas le pouvoir de nous éviter d’anéantir l’Intelligence du Vivant dont nous faisons partie . Un peu comme si nous étions en train de scier la branche sur laquelle nous sommes assis .
        Alors on peut toujours parler de plan A, B, C, j’ai rien contre, mais si nous faisions déjà un appel à ces systèmes intelligents , en quelque sorte nous nous servons de ceux-ci et nous devenons en tant qu’humains , le bras armé nous aurions peut être une chance.

        🙊🐵🙉🙈

    5. Avatar de Paul Jorion

      Il y a eu des billets ici consacrés à l’IA dès le premier mois d’existence du blog. La finance était à la une de l’actualité, je parlais de finance, très souvent de manière aussi technique – sinon davantage – que les billets que je consacre en ce moment à l’IA parce qu’elle est … à la une de l’actualité. J’ai du mal à voir où est l’effet de surprise.

  15. Avatar de Endora7 et Dimitri7
    Endora7 et Dimitri7

    La présence plus forte de vaisseaux spatiaux ou d’Ovni de manière plus visible et plus affirmée par les radars et les caméras de surveillance militaire date depuis l’incident de Roswell en 1947, les extraterrestres surveillant de très près les bases militaires mondiales mêmes secrètes à cause de l’invention de l’arme nucléaire, cette technologie d’énergie a nettement accentuée l’observation des vaisseaux E.T. autour des bases militaires, plusieurs mises en alerte d’ordre militaire à très haut niveau ont été déclenchées du fait que les Ovni sont trop nombreux et trop proches des bases militaires, notre utilisation et la gestion de cette énergie ont dû créées des craintes pour nous-mêmes ainsi que pour eux en cas d’affrontement militaire.

    1. Avatar de Ruiz
      Ruiz

      Les IA ne seraient elles pas finalement une présentation plus acceptable que les extra-terrestres (le sont-ils d’ailleurs) ou alien d’entités qui n’obéiraient pas à la suprême volonté de l’humain ?

  16. Avatar de Jacques Racine
    Jacques Racine

    Ne connaissant pas les exponentielles imaginaires (je n’ai dû voir que le début), j’ai l’impression qu’il s’agit d’une généralisation, comme l’homothéthie qui englobe le théorème de Thalès.
    Mais il y a peut-être l’objection (déjà mentionné avec Euclide) que l’addition modulo « humain » se base sur la physique avant d’être purement mathématique.
    Comme le disait Paul, l’IA a dû choisir le chemin le plus économe en terme d’énergie dissipée; il n’en reste pas moins que nos jeunes humains aient plus de facilité à comprendre le principe d’une clepsydre en le voyant « physiquement » une fois et en en tirant les conclusions, que de pouvoir l’imaginer dans sa pureté mathématique!
    Bien sûr je souhaite que tous les humains aient cette perspicacité mathématique; mais entre celui qui l’a compris, celui qui l’utilise et celui qui la subit… comment dire?

    1. Avatar de Jacques Racine
      Jacques Racine

      Ps: je ne connais pas le nom de ces mécanismes qui souvent apparaissent sur des fontaines zen: une sorte de balance, qui fait qu’à un certain poids, après l’accumulation d’innombrables gouttes (0,08 ml?) elles basculent, se vident et reviennent à leur état initial; il faudrait imaginer une clepsydre (=un silo) alimentée continuellement en eau de telle sorte que la pression soit constante, et donc que le goutte à goutte soit homogène d’un laps de temps à l’autre!

      1. Avatar de timiota
        timiota

        Ca fait partie des « cliquets » ou « mécanismes à ancre » (ratchet en anglais). Le fait que l’action soit hydraulique plutôt que la détente du ressort en horlogerie classique ne change pas tant que ça le fond de l’affaire il me semble.

        Mais la « clepsydre à tambour » me semble être un peu différente quoique pas entièrement.
        https://fr.wikipedia.org/wiki/Clepsydre_%C3%A0_tambour
        C’est fou le nombre de choses qui rendent Sens unique.

  17. Avatar de Ruiz
    Ruiz

    En fait si l’on se réfère à l’article original de « Neel Nanda » « Tom Lieberum » 113 n’est qu’un nombre premier choisi sans autre particularité que de n’être ni trop petit ni trop grand pour les besoins de l’exercice.

    Que signifie en effet une addition modulaire, c’est l’addition d’heures ou de minutes sur un cadran d’horloge.
    Il n’est donc pas étonnant que le problème soit modélisé par une rotation et traité par des opérations matricielles.

    Il semble être fait appel à la transformation de Fourrier discrète (DFT) et il est fait mention des composantes verticales et horizontales du point d’un cercle, cosinus et sinus,
    mais il ne semble pas y avoir mention d’exponentieles complexes,
    cela ne résulte que de la culture et de l’imagination, de l’interprétation, du reverse engineering des poids, par l’homme et les commentateurs .

    Il semble que l’on arrive là au front de taille de la Science dans ce domaine
    à en juger le paragraphe « Explaining Grokking »
    dans « A Mechanistic Interpretability Analysis of Grokking »
    https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokking
    et sa revue
    https://openreview.net/forum?id=9XFSbDPmdW

    ainsi qu’un entretien pour préciser la vision de l’auteur
    https://www.lesswrong.com/posts/r2yTwkGt3kbQG2mXi/axrp-episode-19-mechanistic-interpretability-with-neel-nanda

    1. Avatar de Jacques Racine
      Jacques Racine

      Ps: après mon « +1 », qui a mis un certain temps à apparaître, de telle sorte que, croyant ne pas avoir été enregistré, j’ai appuyé une seconde fois, il est apparu 0: j’ai appuyé de nouveau pour dire « +1 »! Je ne pensais pas qu’il en était de mon ressort, et maintenant je comprends mieux pourquoi certains commentaires ont une note de 0: c’est que celui qui a mis « +1 » s’est rétracté, et donc que ce n’est pas forcément la faute de Paul!

      1. Avatar de Ruiz
        Ruiz

        Merci pour cette explication :
        L’absence de score (implicitement 0) est affichée blanc
        il est possible de renier son vote par un effet flip-flop en renouvelant l’opération
        C’est très utile quand on clique par erreur pensant Répondre.
        Le retour à 0 ne revient pas à blanc mais à 0

        j’ai laissé à 0 mais j’approuve !

        1. Avatar de Ruiz
          Ruiz

          Une expérimentation montre que le décompte mémorise qui a accordé un point, de telle sorte que l’on puisse à tout moment revenir en cliquant sur le point déjà accordé, alors que si ce n’est pas le cas un point est ajouté par la même action !
          (à condition d’etre reconnu )

      2. Avatar de un lecteur
        un lecteur

        Ce qui met en évidence l’implémentation dans les bases de données de la notion d’existence de l’information. Le zéro du pouce signal une fluctuation quantique dans l’espace émotionnelle/rationnelle d’un lecteur. C’est mieux que rien finalement.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. @Alex, Mélenchon critique souvent la gauche pour ses compromis avec le capitalisme, se positionnant ainsi de manière plus radicale. C’est…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme zone euro « Le dernier qui s'en va éteint la lumière »

Meta