Geoffrey Hinton : C’est quoi comprendre ? ou Comment le cerveau traite les mots.

Illustration par DALL·E (+PJ)

L’entretien a eu lieu à Londres le 15 mai 2024. La vidéo s’intitule « Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition », donc « Travailler avec Ilya [Sutskever], choisir les problèmes, et le pouvoir de l’intuition ». Comme vous le verrez si vous regardez la vidéo en entier, l’hôte, Joel Hellermark, est surtout intéressé de comprendre ce que c’était qu’avoir Ilya Sutskever comme étudiant thésard puis comme collaborateur. Or, la question met manifestement Hinton très mal à l’aise : il plaisante et botte en touche jusqu’à ce que l’hôte laisse tomber.

Rappel : Geoffrey Hinton est surnommé le « parrain des Grands Modèles de Langage » (tel ChatGPT). Ilya Sutskever fut longtemps chercheur en chef chez OpenAI (qui a produit ChatGPT), il était en novembre dernier l’un des co-conspirateurs du coup d’État raté contre le P-DG Sam Altman ; il a créé le 20 juin sa propre firme : SSI (Safe Superintelligence Inc.).

Joel Hellermark :

Le cerveau humain a-t-il évolué pour bien fonctionner avec le langage ou pensez-vous que le langage a évolué pour bien fonctionner avec le cerveau humain ?

Geoffrey Hinton :

Je pense que la question de savoir si le langage a évolué pour fonctionner avec le cerveau ou si le cerveau a évolué à partir du langage est une très bonne question. Il me semble que voici ce qui s’est passé : j’avais auparavant l’impression que nous pouvions accomplir de nombreuses tâches cognitives sans avoir besoin du langage, mais j’ai maintenant un peu changé d’avis. Permettez-moi donc de vous présenter trois points de vue différents sur le langage et ses liens avec la cognition.

Il y a la vision symbolique à l’ancienne, selon laquelle la cognition consiste à disposer de chaînes de symboles dans une sorte de langage logique épuré où il n’y a pas d’ambiguïté et à appliquer des règles d’inférence. Et c’est ce que serait la cognition : ce ne sont que des manipulations symboliques de choses qui sont comme des chaînes de symboles linguistiques. Il s’agit là d’un point de vue extrême.

Le point de vue opposé est le suivant : « Non, non : une fois que vous êtes à l’intérieur de la tête, ce ne sont que des vecteurs ! ». Les symboles entrent donc et vous convertissez ces symboles en grands vecteurs et tout ce qui se passe à l’intérieur est fait avec de grands vecteurs. Ensuite, si vous voulez que ça se réassemble, vous produisez à nouveau des symboles.

Il y a donc eu un moment dans la traduction automatique, vers 2014, où les gens ont utilisé des réseaux neuronaux récurrents et des mots qui continuaient d’arriver, qui avaient un état caché (hidden state) et qui continuaient d’accumuler des informations dans cet état caché. Lorsqu’ils arrivent à la fin d’une phrase, ils disposent d’un grand vecteur caché qui capture le sens de cette phrase et qui peut ensuite être utilisé pour produire la phrase dans une autre langue. C’est ce qu’on appelle un vecteur de pensée (thought vector), et c’est une sorte de deuxième vision du langage : on convertit le langage en un grand vecteur. Il n’y a rien de tel que le langage, et c’est là tout ce dont il s’agit avec la cognition.

Mais il y a aussi une troisième vision, qui est celle à laquelle je crois aujourd’hui : on prend ces symboles, on les convertit en enchâssements (embeddings – sous forme de vecteurs) et on utilise plusieurs couches de ces enchâssements. Vous obtenez ainsi des enchâssements très riches. Mais les enchâssements sont tellement liés aux symboles que vous avez un grand vecteur pour ce symbole-ci, un grand vecteur pour ce symbole-là et ces vecteurs interagissent pour produire le vecteur qui générera le symbole du mot suivant.

Et c’est cela « comprendre » : comprendre, c’est savoir comment convertir les symboles en ces vecteurs, et savoir comment les éléments du vecteur doivent interagir pour prédire le vecteur du symbole suivant. Voilà ce qu’est la compréhension, à la fois dans ces grands modèles de langage et dans notre cerveau.

Voilà un exemple qui est donc un juste milieu : vous restez avec les symboles, mais vous les interprétez comme de grands vecteurs et c’est là que se situe tout le travail. Toute la connaissance réside dans les vecteurs utilisés et dans la manière dont les éléments de ces vecteurs interagissent, et non dans les règles symboliques. Mais il ne s’agit pas d’abandonner complètement le symbole, il s’agit de transformer les symboles en vecteurs, tout en conservant la structure superficielle en symboles. Et c’est ainsi que ces modèles fonctionnent. Et c’est ce qui me semble être un modèle plus plausible de la pensée humaine.

P.J. : « … la manière dont les éléments de ces vecteurs interagissent. » Tout est là !

(à suivre…)

Illustration par DALL·E (+PJ)

Partager :

16 réponses à “Geoffrey Hinton : C’est quoi comprendre ? ou Comment le cerveau traite les mots.

  1. Avatar de Pad
    Pad

    Geoffrey Hinton a parlé de l’intuition dans le contexte de la sélection des talents et de la formation des collaborations tout au long de sa carrière. Voici quelques points clés de ses réflexions sur l’intuition :

    Sélection des talents :

    Hinton a décrit comment l’intuition joue un rôle significatif dans la reconnaissance des talents prometteurs. Il a partagé des anecdotes sur l’identification d’étudiants exceptionnels comme Ilya, qui l’a impressionné par ses intuitions brutes et son intérêt immédiat pour travailler sur des problèmes complexes.

    Hinton a souligné que bien que les compétences techniques et la créativité soient cruciales, l’intuition de l’instinct le guide souvent pour reconnaître quand quelqu’un « comprend tout simplement ». Cette reconnaissance intuitive a été une partie vitale de son processus de sélection des étudiants et des collaborateurs.

    Développement de l’intuition :

    Selon Hinton, une forte intuition se développe en n’acceptant pas tout pour argent comptant et en ayant un cadre solide pour comprendre la réalité. Cela implique de rejeter les informations non-sensées et d’intégrer de nouveaux faits qui s’alignent avec sa vision du monde.
    Il a souligné que les personnes avec une bonne intuition ne croient pas simplement tout ce qu’on leur dit. Au lieu de cela, elles manipulent les faits entrants pour les adapter à leur cadre existant, ce qui les aide à maintenir des intuitions claires et pratiques.

    Intuition dans la recherche :

    Hinton a également discuté de la façon dont l’intuition guide son approche de la recherche. Il se concentre souvent sur des domaines où les croyances communes semblent légèrement erronées, utilisant son intuition pour explorer ces suspicions plus avant. Cette méthode l’a conduit à remettre en question les idées établies et à découvrir de nouvelles perspectives dans le domaine des réseaux de neurones et de l’IA.

    Les réflexions de Hinton indiquent que l’intuition, bien que difficile à quantifier, joue un rôle significatif dans son approche personnelle de la sélection des talents et dans sa méthodologie de recherche plus large. Son succès est en partie attribué à sa capacité à faire confiance à ces intuitions et à agir en conséquence.

    1. Avatar de Ruiz
      Ruiz

      @Pad Plutôt que l’intuition, n’est-ce pas plutôt l’art de savoir sortir des sentiers battus (comme parfois l’algorithme de Youtube), un peu le contraire de la « compilation » qui est le fort des IA des index de Google et des encyclopédies.

      1. Avatar de Pad
        Pad

        Sortir des sentiers battus,
        Loin des cadres institués,
        Là où l’esprit, libéré,
        Crée, imagine et percute.

        Hinton cherche l’inconnu,
        À l’écart des idées reçues,
        C’est là qu’il trouve ses trésors,
        En défiant les vieux accords.

        L’intuition guide ses pas,
        Mais c’est l’audace qui éclaire,
        Un chemin neuf qu’il espère,
        Pour l’avenir, ici-bas.

        🙂

  2. Avatar de Didier Combes
    Didier Combes

    Cela ressemble à Anella ou je me trompe?

    1. Avatar de Paul Jorion

      Pour être tout à fait honnête, je n’attacherais pas un intérêt spécial à des choses qui ne m’évoqueraient rien 😀 .

  3. Avatar de PHILGILL
    PHILGILL

    Moi, cela m’évoque le mystère de la chrysalide.

    Geoffrey Hinton :
    « Les symboles entrent donc et vous convertissez ces symboles en grands vecteurs et tout ce qui se passe à l’intérieur est fait avec de grands vecteurs. Ensuite, si vous voulez que ça se réassemble, vous produisez à nouveau des symboles. »

    ilicitano (30 juin 3024) :
    « On peut considérer l’espace latent comme une sorte de « boîte noire » dans un modèle de langage à grande échelle (LLM). C’est parce que bien que nous sachions que l’espace latent contient des informations importantes que le modèle a apprises lors de sa formation, nous ne pouvons pas directement observer ou accéder à ces informations. »

    Paul Jorion (Les nervures de l’avenir – 02 mars 2010) : « Si l’on brise une chrysalide, on y découvre un liquide noirâtre et épais où l’on ne distingue ni la forme de la larve en train de se dissoudre, ni celle de l’insecte parfait qui émergera un jour. […] Si l’époque est au changement radical, il existe en son sein des « nervures » : des trajectoires rectilignes qui relient le passé au futur en passant par les points qui constituent la trame du présent. »

    Pourquoi ce que nous voyons devant nous, nous regarde toujours dedans ?

    https://filmcolossus.com/wp-content/uploads/2020/10/Under-the-Skin-explained-1024×576.jpg

  4. Avatar de Pad
    Pad

    Un dialogue tout à fait fictif 😉

    Geoffrey Hinton : Bonjour Paul. Je suis fasciné par votre travail sur les réseaux associatifs avec ANELLA. Pouvez-vous m’expliquer comment vous voyez l’émergence de la logique et de l’apprentissage dans ces réseaux ?

    Paul Jorion : Bonjour Geoffrey. Merci pour votre intérêt. Dans ANELLA, j’ai cherché à démontrer que des capacités logiques et d’apprentissage peuvent émerger spontanément à partir d’associations simples entre concepts. L’idée est que le réseau, par l’interaction de ses éléments, forme des structures logiques sans qu’elles soient explicitement programmées. En fait, la manière dont les éléments de ces vecteurs interagissent. Tout est là !

    Geoffrey Hinton : C’est fascinant. Dans nos modèles de langage actuels, comme GPT-4, nous utilisons des vecteurs dans un espace latent pour transformer des symboles et permettre des interactions complexes. Ces capacités émergent lorsque nous augmentons les ressources et la complexité du réseau. Comment vos réseaux associatifs se comparent-ils en termes de capacité d’émergence avec nos approches modernes ?

    Paul Jorion : Nos approches diffèrent principalement par l’échelle. Vos modèles exploitent des milliards de paramètres et des données massives, ce qui permet l’émergence de capacités sophistiquées. Dans ANELLA, l’émergence repose davantage sur la dynamique des associations locales. La complexité n’est pas dans la taille mais dans la qualité des interactions entre les éléments du réseau.

    Geoffrey Hinton : Vous avez raison, l’échelle est un facteur déterminant dans nos modèles. Cependant, votre approche met en lumière des aspects essentiels de l’émergence que nos techniques peuvent parfois négliger. Par exemple, comment voyez-vous l’intégration de vos réseaux associatifs avec des données massives ?

    Paul Jorion : C’est une question intéressante. Je pense que l’intégration des principes des réseaux associatifs avec des données massives pourrait enrichir la capacité d’émergence. En combinant des interactions locales de haute qualité avec des volumes de données plus grands, nous pourrions peut-être découvrir de nouvelles dynamiques émergentes. D’ailleurs, j’aborde cette idée dans mon texte « Le mystère de la chambre chinoise ».

    Geoffrey Hinton : Cela semble prometteur. J’aimerais aussi ajouter une perspective sur le langage et la cognition. Je pense que la question de savoir si le langage a évolué pour fonctionner avec le cerveau ou si le cerveau a évolué à partir du langage est une très bonne question. Il me semble que voici ce qui s’est passé : j’avais auparavant l’impression que nous pouvions accomplir de nombreuses tâches cognitives sans avoir besoin du langage, mais j’ai maintenant un peu changé d’avis.

    Permettez-moi donc de vous présenter trois points de vue différents sur le langage et ses liens avec la cognition.

    Vision Symbolique Traditionnelle : La cognition consiste à manipuler des chaînes de symboles dans une sorte de langage logique épuré où il n’y a pas d’ambiguïté et à appliquer des règles d’inférence.

    Vision Vectorielle Pure : Une fois que vous êtes à l’intérieur de la tête, ce ne sont que des vecteurs. Les symboles entrent donc et vous convertissez ces symboles en grands vecteurs et tout ce qui se passe à l’intérieur est fait avec de grands vecteurs. Ensuite, si vous voulez que ça se réassemble, vous produisez à nouveau des symboles.

    Vision des Enchâssements (Embeddings) : Vous prenez des symboles, les convertissez en vecteurs, et utilisez plusieurs couches de ces enchâssements. Les enchâssements sont tellement liés aux symboles que vous avez un grand vecteur pour ce symbole-ci, un grand vecteur pour ce symbole-là, et ces vecteurs interagissent pour produire le vecteur qui générera le symbole du mot suivant. Comprendre, c’est savoir comment convertir les symboles en ces vecteurs et comment les éléments du vecteur doivent interagir pour prédire le vecteur du symbole suivant.

    Paul Jorion : J’apprécie ces distinctions, Geoffrey. En effet, comprendre comment les éléments de ces vecteurs interagissent est crucial. Dans « Le mystère de la chambre chinoise », j’explore comment la syntaxe et les structures locales peuvent produire du sens de manière émergente. C’est cette interaction dynamique qui est au cœur de l’intelligence.

    Geoffrey Hinton : Vous avez raison. Nos modèles modernes exploitent cette même idée de convertir des symboles en vecteurs et de permettre à ces vecteurs d’interagir pour générer de nouveaux symboles. Cette approche hybride que vous mentionnez est probablement un modèle plus plausible de la pensée humaine. Je serais très intéressé de lire votre texte sur « Le mystère de la chambre chinoise ».

    Paul Jorion : Absolument. En intégrant nos approches et en explorant plus avant les interactions vectorielles, nous pourrions découvrir de nouvelles façons de modéliser et de comprendre l’émergence de l’intelligence. Voici le lien vers mon texte sur « Le mystère de la chambre chinoise » pour approfondir cette discussion : Le mystère de la chambre chinoise.

    Geoffrey Hinton : Merci pour cette discussion enrichissante, Paul. Continuons à explorer ces voies ensemble.

    Paul Jorion : Merci Geoffrey. J’attends avec impatience nos futures collaborations.

    1. Avatar de timiota
      timiota

      Dans le 999 !

  5. Avatar de Maxime
    Maxime

    C’est bizarre d’illustrer la compréhension des choses et le traitement des mots par des chiffres. Est-ce bien raisonnable? Avez-vous bien compris le problème DALL-E ? Mais peut-être que le prompt était mal formulé, que les mots n’étaient pas les bons ou que celui qui a passé la commande n’a pas su se faire comprendre…

    1. Avatar de Paul Jorion

      « Peut-être que le prompt était mal formulé, que les mots n’étaient pas les bons ou que celui qui a passé la commande n’a pas su se faire comprendre… »

      Rien de tout ça, mon bon Ami ignorant de la philosophie !

      « Illustrer la compréhension des choses et le traitement des mots par des chiffres. Est-ce bien raisonnable ? »

      Est-ce bien raisonnable ? Platon aurait considéré que cela allait de soi. Aristote aurait été beaucoup plus sceptique. Mais comme c’est Aristote qui a codifié pour la première fois ce qu’est précisément le « raisonnable » … Tout cela explique sans doute pourquoi la philosophie a décrété, dès ses tout débuts, que « Non, décidément, rien n’est simple ! ».

  6. Avatar de ilicitano
    ilicitano

    L’AI LLM et la vie de tous les jours au travail .( « mais pas que » !!!)

    Ceci est un rapport du 15 novembre 2023 de Microsoft sur l’utilisation de Copilot mis à disposition depuis plus de 6 mois

    Synthèse ( traduction automatique)

    https://www.microsoft.com/en-us/worklab/work-trend-index/copilots-earliest-users-teach-us-about-generative-ai-at-work

    Rapport spécial sur l’indice des tendances du travail

    Que peuvent nous apprendre les premiers utilisateurs de Copilot sur l’IA générative au travail ?
    Un premier aperçu de l’impact sur la productivité, la créativité et le temps

    Il y a quelques mois, nous avons introduit Copilot pour Microsoft 365 afin de réduire la dette numérique et d’augmenter la productivité afin que les gens puissent se concentrer sur le travail qui est uniquement humain.
    Ce que tout le monde veut savoir maintenant, c’est :
    l’IA générative va-t-elle vraiment transformer le travail, et comment ?

    De nouvelles données montrent que les gains de productivité sont réels. Nous avons mené des recherches à l’aide d’une combinaison d’enquêtes et d’expériences pour comprendre en profondeur comment Copilot transforme le travail, en apprenant avec et aux côtés de nos clients à mesure que nous évoluons.
    Déjà, Copilot rend les gens plus productifs et créatifs, et fait gagner du temps.
    Les premiers utilisateurs ne veulent pas retourner au travail sans lui : 77 % ont déclaré qu’ils ne voulaient pas y renoncer.

    Et ce n’est que le début.
    À mesure que l’utilisation de l’IA générative au travail se répand, la véritable opportunité est non seulement de transformer la productivité personnelle, mais aussi d’améliorer les capacités de l’ensemble de l’organisation.
    Copilot établit une nouvelle base de référence, où chaque employé acquiert les compétences nécessaires pour écrire, concevoir, coder, analyser des données, etc.
    Et cela amplifie l’expertise, faisant passer le travail de bon à exceptionnel.

    Lisez la suite pour savoir ce que révèlent les premières études approfondies de Copilot au travail.

    Premier coup d’œil
    À travers nos recherches, voici ce qui ressort :

    70 % des utilisateurs de Copilot ont déclaré qu’ils étaient plus productifs et 68 % ont déclaré que cela améliorait la qualité de leur travail.

    Dans l’ensemble, les utilisateurs étaient 29 % plus rapides dans une série de tâches (recherche, écriture et résumé).

    Les utilisateurs ont pu rattraper une réunion manquée près de 4 fois plus rapidement.

    64 % des utilisateurs ont déclaré que Copilot les aidait à passer moins de temps à traiter les e-mails.

    85 % des utilisateurs ont déclaré que Copilot les aidait à obtenir un bon premier jet plus rapidement.

    75 % des utilisateurs ont déclaré que Copilot « me fait gagner du temps en trouvant tout ce dont j’ai besoin dans mes fichiers ».

    77 % des utilisateurs ont déclaré qu’une fois qu’ils avaient utilisé Copilot, ils ne voulaient plus y renoncer.

    Le rapport complet pour approfondir le sujet:
    https://assets-c4akfrf5b4d3f4b7.z01.azurefd.net/assets/2023/11/Microsoft_Work_Trend_Index_Special_Report_2023_Full_Report.pdf

    Table des matières:
    * Gains de productivité perçus de Copilot
    * L’impact de Copilot sur les réunions, les e-mails, la recherche d’informations et la rédaction
    * Points faibles et opportunités spécifiques au rôle

    1. Avatar de Paul Jorion

      Copilot est un autre nom de ChatGPT 4o … comme l’explique celui-ci :

      « Microsoft Copilot utilise en effet le dernier modèle d’OpenAI, GPT-4o. Ce modèle, où le « o » signifie « omni », est un modèle d’IA multimodale qui peut traiter des entrées textuelles, visuelles et audio. L’intégration de GPT-4o dans Microsoft Copilot améliore considérablement ses capacités, permettant des interactions plus avancées et plus naturelles à travers les applications Microsoft 365 (Azure) (TECHCOMMUNITY.MICROSOFT.COM).

      Avec GPT-4o, Copilot peut comprendre et générer des réponses basées non seulement sur du texte, mais aussi sur des entrées visuelles et audio. Cela signifie que les utilisateurs peuvent interagir avec Copilot à l’aide de commandes vocales et même fournir un contexte visuel, ce qui rend les tâches telles que l’édition de photos et la navigation dans les applications plus intuitives. Par exemple, Copilot peut aider en temps réel les utilisateurs à effectuer des tâches dans des applications comme Excel, Word et même en jouant à des jeux comme Minecraft (All Things How) (UC Today).

      Cette mise à jour rend Copilot plus puissant et polyvalent, offrant une assistance plus précise, un traitement plus rapide et une expérience conversationnelle plus naturelle. L’intégration de GPT-4o fait partie de la stratégie plus large de Microsoft visant à améliorer les outils de productivité et à maintenir un avantage concurrentiel par rapport à d’autres géants de la technologie comme Google et Apple (Azure). »

      1. Avatar de ilicitano
        ilicitano

        Merci de l’info concernant GPT4o

        Le « problème » avec Copilot est que Microsoft fait des « mises à jour » régulièrement ( tous les 15 jours en moyenne) sur mon ordi , qui fait que j’ai de nouvelles fonctionnalités que je n’ai pas encore toutes testées.

        Dorénavant ,lors des dialogues, il m’envoie non seulement du texte et des liens mais aussi des photos ,des vidéos .
        Sa réponse gagne de plus en plus en  » richesse » et aussi sur l’info en temps réel.

        En plus lorsque j’ouvre un PDF multilingues on peut en discuter après qu’il en ait fait une synthèse sur les points clés .

        L’un des avantages les plus importants avec Copilot est que je peux reprendre une conversation sur un sujet bien ultérieurement ( théoriquement stocké 90 jours par le LLM ).
        Et il reste dans la « trame » de la discussion.

  7. Avatar de timiota
    timiota

    L’oignon cybernétique existe, ne restons pas si bernés par les extrêmes (pur vecteur et pur symbole).

    Après, reste à relier l’ontogenèse et la phylogenèse de l’oignon-cerveau.
    Est-ce que ces couches (entre {vecteurs-symboles-etoussa} sont nées l’une après l’autre ou toutes en même temps dans une espèce de hiérarchie. Un peu comme on peut se demander comment est née la colonne vertébrale, c’est des gènes qui ont une fonctionnalité qui « fabrique l’enquillage » bon gré mal gré, et qui sont ensuite décorés de pleins de falbalas pour gérer le go/encore/stop de l’ontogenèse. Mais la phylogenèse s’est contentée d’abord de faire du « un peu enquillable » (au niveau trilobite voire moins).

    1. Avatar de ilicitano
      ilicitano

      La métaphore de l’oignon est souvent utilisée pour illustrer des systèmes ou des concepts qui sont structurés en couches, où chaque couche enveloppe la précédente et est elle-même enveloppée par la suivante.
      C’est une façon de représenter la complexité et la hiérarchie dans un système.

      Dans le contexte de la cybernétique, qui est l’étude des systèmes de contrôle et de communication chez les êtres vivants et dans les machines, l’oignon pourrait représenter comment ces systèmes sont construits en couches de complexité.
      Par exemple, au cœur de l’oignon, vous pourriez avoir les composants de base du système (comme les neurones dans un cerveau ou les transistors dans un ordinateur).
      Ensuite, chaque couche successive représente un niveau plus élevé d’organisation et de complexité – les neurones se regroupent pour former des circuits, qui se regroupent pour former des régions du cerveau, et ainsi de suite.

      Cela dit, il est important de noter que cette métaphore a ses limites. Les systèmes réels, en particulier les systèmes biologiques, ne sont pas toujours aussi bien ordonnés et hiérarchisés que les couches d’un oignon. Il y a souvent beaucoup d’interactions et de rétroactions entre les différentes « couches », et la distinction entre elles peut parfois être floue.

      La métaphore de l’oignon cybernétique et le cerveau humain.

      1. **Couche la plus interne** :
      Au cœur de l’oignon (le centre), nous avons les **neurones**, les cellules de base du cerveau. Chaque neurone est une unité de traitement d’information qui reçoit des entrées d’autres neurones, effectue des calculs sur ces entrées et envoie des sorties à d’autres neurones.

      2. **Deuxième couche** :
      Les neurones se regroupent pour former des **circuits neuronaux**.
      Ces circuits sont spécialisés pour effectuer des tâches spécifiques, comme traiter l’information visuelle ou contrôler un mouvement musculaire.

      3. **Troisième couche** :
      Les circuits neuronaux se regroupent pour former des **régions du cerveau**.
      Par exemple, le cortex visuel est une région du cerveau qui traite l’information visuelle, tandis que le cortex moteur contrôle le mouvement.

      4. **Quatrième couche** :
      Les différentes régions du cerveau sont connectées pour former le **cerveau entier**, qui est capable de tâches incroyablement complexes comme la pensée, la mémoire, l’émotion, et la conscience.

      Chaque couche de cet « oignon » ajoute un niveau supplémentaire de complexité et de fonctionnalité au système. Cependant, il est important de noter que cette métaphore est une simplification. Dans le cerveau réel, il y a beaucoup d’interactions et de rétroactions entre les différentes couches, et la distinction entre elles n’est pas toujours claire.

      La métaphore de l’oignon cybernétique et GPT-4 :

      1. **Couche la plus interne** :
      Au cœur de l’oignon, nous avons les **paramètres du modèle**.
      Ce sont les poids et les biais qui sont appris pendant l’entraînement du modèle.
      Chaque paramètre joue un rôle dans la détermination de la sortie du modèle pour une entrée donnée.

      2. **Deuxième couche** :
      Les paramètres se regroupent pour former des **neurones artificiels**.
      Chaque neurone artificiel prend plusieurs entrées, effectue un calcul sur ces entrées (comme une somme pondérée), puis passe le résultat à travers une fonction d’activation.

      3. **Troisième couche** :
      Les neurones artificiels se regroupent pour former des **couches de neurones**.
      Dans un modèle GPT-4, ces couches sont généralement organisées en une architecture de réseau de neurones profond, où chaque couche reçoit l’entrée de la couche précédente et transmet sa sortie à la couche suivante.

      4. **Quatrième couche** :
      Les couches de neurones se regroupent pour former le **modèle GPT-4 entier**.
      Le modèle prend en entrée une séquence de mots (ou plus précisément, une séquence de vecteurs d’incorporation de mots), et produit en sortie une distribution de probabilité sur le mot suivant dans la séquence.

      GPT-4 introduit une toute nouvelle dimension, en plus du texte : l’image.
      Le moteur devient ainsi multimodal et est désormais capable d’analyser des images, en plus du texte, pour produire des réponses textuelles.

      Chaque couche de cet « oignon » ajoute un niveau supplémentaire de complexité et de fonctionnalité au système. Cependant, il est important de noter que cette métaphore est une simplification.
      Dans un modèle GPT-4 réel, il y a beaucoup d’interactions et de rétroactions entre les différentes couches, et la distinction entre elles n’est pas toujours claire.
      (Copilot)

  8. Avatar de Pascal
    Pascal

    Les robots sont prêts à nous remplacer !
    https://www.facebook.com/reel/480168774669815?sfnsn=scwspmo&s=F5x8gs&fs=e
    Ou à nous le faire croire 😉

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme zone euro « Le dernier qui s'en va éteint la lumière »

Meta