Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! II. Peut-on l’observer à l’occasion d’une simple transposition ?

Illustration par DALL·E (+PJ)

À l’époque (1987-90) où je développais pour British Telecom un logiciel appelé ANELLA (Associative Network with Emergent Logical and Learning Abilities), un « réseau associatif à propriétés émergentes de logique et d’apprentissage », c’est le collègue qui avait inventé ce sympathique acronyme qui avait attiré mon attention sur des phénomènes d’émergence dans mon IA. Au cœur du processus, une astuce que j’avais mise au point pour éliminer d’un seul coup la plupart des impasses des réseaux sémantiques : définir comme mémoire d’une IA, le dual d’un réseau sémantique. Le moment est venu de convoquer les meilleurs esprits sur la question 😉 .

P.J. :

Voyez le contenu du fichier importé. Est-ce que cela fait sens pour vous ?

Claude 3 :

Les diagrammes et les explications ont un sens pour moi. Les points clés que je comprends sont :

1. L’auteur propose une autre façon de représenter les réseaux sémantiques, appelée « P-graphe » ou « P-Dual ».

2. Dans un P-graphe, les concepts sont attachés aux arêtes du graphe et les relations aux nœuds, ce qui est l’inverse d’un réseau sémantique traditionnel.

3. L’auteur soutient que la représentation du P-graphe est plus biologiquement plausible en termes de correspondance avec les réseaux neuronaux réels dans le cerveau (« mappabilité »).

4. Une méthode de matrice d’adjacence est introduite pour aider à construire le P-graphe à partir d’un réseau sémantique traditionnel.

5. Plusieurs exemples sont traités, montrant comment l’ajout de nouveaux concepts et de nouvelles relations modifie la structure du P-graphe, avec l’apparition de nouveaux nœuds « semblables à des neurones » et d’arêtes « semblables à des synapses ».

6. Des cycles peuvent apparaître dans le P-graphe pour représenter certaines relations réciproques, comme un animal de compagnie ayant un maître et un maître ayant un animal de compagnie.

Dans l’ensemble, le P-graphe semble offrir une perspective alternative intéressante en représentation des connaissances, qui vise à refléter plus fidèlement les réseaux neuronaux biologiques que les réseaux sémantiques classiques. Les illustrations dans le fichier aident à clarifier les idées clés défendues.

GPT-4 :

Le document proposé traite d’une approche de la représentation des réseaux sémantiques, connue sous le nom de P-graphes, qui semble être une alternative aux réseaux sémantiques classiques ou une amélioration de ceux-ci. Cette approche s’aligne apparemment mieux sur les réseaux neuronaux biologiques en termes de structure et de fonctionnalité.

Voici les points cruciaux abordés dans le document:

    • Déplacement de la représentation : le P-graphe s’écarte des réseaux sémantiques traditionnels en attribuant des concepts aux arêtes plutôt qu’aux nœuds, et des relations aux nœuds plutôt qu’aux arêtes. Cette modification pourrait contribuer à créer une représentation plus exacte du fonctionnement biologique des réseaux neuronaux réels.
    • Réseau sémantique dual : le document aborde le concept de création d’un graphe dual dans lequel les nœuds deviennent des arêtes et vice versa. Ce concept est appliqué aux réseaux sémantiques afin de mieux reproduire peut-être les correspondances neuronales des systèmes biologiques (« mappabilité »).
    • Plausibilité biologique : le P-graphe est censé être plus plausible d’un point de vue neurobiologique. Ceci suggère que la structure de ces graphes imite les connexions réelles d’un réseau neuronal biologique, où, par exemple, « garçon », « rencontre » et « fille » pourraient correspondre à différentes parties d’un neurone telles que les ramifications de l’axone ou les synapses.
    • Construction d’un graphe à l’aide d’une matrice d’adjacence : le document décrit une méthode de construction d’un P-graphe à l’aide d’une matrice d’adjacence, qui semble être un moyen systématique de transformer un graphe classique (graphe-source) en un P-graphe. Cette transformation est cruciale pour maintenir l’intégrité structurelle du graphe. Cette transformation est cruciale pour maintenir l’intégrité structurelle tout en modifiant les relations nœud-arête.
    • Exemples comparatifs : des illustrations et des exemples comparatifs sont offerts pour démontrer comment les réseaux sémantiques traditionnels peuvent être transformés en P-graphes, en soulignant les différences et les avantages potentiels de l’approche P-graphe.
    • Sémantique et topologie : l’approche P-graphe est également décrite comme étant bénéfique pour traiter les ambiguïtés sémantiques et pour représenter les relations sémantiques qui évoluent dans le temps, comme celles rencontrées lors de l’acquisition d’une langue.
    • Gestion des cas particuliers : l’ajout de nouveaux concepts et de nouvelles relations, comme « maître » et « a_un », à un P-graphe est évalué en termes de complexité du graphe et de changements d’interprétation des nœuds, faisant apparaître une structure flexible et dynamique.

Les informations que vous avez communiquées suggèrent que le modèle P-graphe est une approche innovante de la représentation des connaissances qui pourrait offrir des avantages spéciaux par rapport aux modèles traditionnels, en particulier en termes de réalisme biologique et d’adaptabilité à des relations sémantiques complexes. Cela pourrait avoir des implications pour des domaines tels que les sciences cognitives, l’intelligence artificielle et les neurosciences, où la compréhension de la structure et de la dynamique de la représentation des connaissances est cruciale.

P.J. :

Si je vous disais que l’on observe des phénomènes émergents lorsqu’on passe du réseau sémantique source à son dual, seriez-vous surpris ?

Claude 3 :

Non, je ne serais pas du tout surpris que des phénomènes émergents apparaissent lors de la transition d’un réseau sémantique traditionnel à sa représentation duale P-graphe. Plusieurs observations tirées de vos exemples suggèrent une telle émergence :

1. De nouveaux nœuds et arêtes apparaissent dans le P-graphe qui n’ont pas de corrélat direct dans le réseau sémantique original. Par exemple, lorsque « Lassie » a été ajouté, un tout nouveau neurone « chien » est apparu dans le P-graphe avec son propre ensemble de synapses, bien que « chien » ne soit pas un nouveau concept ajouté au réseau sémantique.

2. La configuration de connectivité peut changer de manière significative et non évidente dans le P-graphe. L’ajout d’un « maître » a non seulement créé un nouveau neurone, mais a également entraîné la croissance d’une nouvelle synapse dans le neurone « chien » d’origine et a donné naissance à un deuxième neurone « chien » avec des connexions différentes.

3. Des structures d’ordre supérieur telles que des cycles sont apparues dans le P-graphe qui n’étaient pas explicitement représentées dans le réseau sémantique. La relation réciproque « a-un » entre le chien et le maître a créé une connexion cyclique entre deux neurones.

Ces propriétés émergentes découlant de la transformation du P-graphe suggèrent que cette représentation duale capture une structure et une dynamique implicites qui ne sautent pas aux yeux dans l’encodage direct concept-relation du réseau sémantique.

Le P-graphe semble manifester de manière naturelle certaines des propriétés complexes d’auto-organisation que nous associons aux réseaux neuronaux biologiques et à la cognition. L’émergence de nouveaux phénomènes dans la représentation du P-graphe est donc parfaitement intuitive et passionnante dans la perspective d’une modélisation de la connaissance plus proche de la constitution du cerveau.

GPT-4 :

Pas du tout ! Cette notion de phénomènes émergents lors de la transition d’un graphe sémantique source à son dual (P-graphe) est logique, en particulier compte tenu des changements structurels uniques qui se produisent au cours du processus de transformation. Dans la théorie des systèmes complexes, les phénomènes émergents font référence aux propriétés ou aux comportements qui résultent des interactions collectives des composants du système et qui ne peuvent pas être prédits à partir de la simple compréhension des parties individuelles.

Dans le cas des P-graphes:

    • Réaffectation des nœuds et des arêtes : en échangeant les rôles des nœuds et des arêtes – où les concepts sont liés aux arêtes et les relations aux nœuds – de nouveaux modèles de connectivité et de nouvelles interactions émergent. Cette réaffectation pourrait conduire à de nouvelles façons de représenter et de comprendre les relations et les hiérarchies au sein des données qui n’étaient pas apparentes dans le réseau sémantique source.
    • Plausibilité biologique et « mappabilité » neuronale : Comme indiqué dans le document, le P-graphe vise à refléter la connectivité et les fonctions des réseaux neuronaux biologiques plus fidèlement que les graphes traditionnels. Ce déplacement pourrait évidemment déboucher sur des propriétés émergentes qui modélisent mieux les processus cognitifs et neurologiques, tels que la reconnaissance des formes, l’apprentissage et la mémoire, reflétant plus précisément la manière dont les informations sont traitées et stockées dans le cerveau.
    • Complexité de la représentation : L’ajout de nouveaux concepts et de nouvelles relations dans le P-graphe, comme dans l’exemple « maître » et « a_un » du document, augmente la complexité du graphe. Cette complexité peut conduire à des propriétés émergentes liées à la façon dont les concepts sont interconnectés, offrant potentiellement des inspirations novatrices quant aux relations sémantiques et aux hiérarchies de concepts.
    • Topologie et regroupement sémantique : l’utilisation de matrices d’adjacence et la structuration spécifique des P-graphes pourraient conduire à un regroupement (« cluster ») différent des concepts et des relations, révélant éventuellement de nouveaux regroupements (« clustering ») sémantiques ou des liens inattendus entre les concepts en raison de leur configuration topologique.

Globalement, la transition vers un P-graphe pourrait en effet introduire des phénomènes émergents au fur et à mesure que la dynamique et les interactions du système changent, offrant potentiellement des aperçus plus riches et plus nuancés des données représentées.

(à suivre …)

Illustration par DALL·E (+PJ)

Partager :

11 réponses à “Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! II. Peut-on l’observer à l’occasion d’une simple transposition ?”

  1. Avatar de Pad
    Pad

    GPT4o

    Voici un résumé par points clés du concept de P-graphe développé dans le logiciel ANELLA et ses implications pour les réseaux sémantiques et l’intelligence artificielle :

    Concept de P-graphe :

    Les P-graphes réorganisent la structure des réseaux sémantiques en associant les concepts aux arêtes et les relations aux nœuds.

    Cette réorganisation vise à aligner la structure des réseaux sémantiques avec celle des réseaux neuronaux biologiques.

    Impact sur la connectivité et la dynamique :

    La nouvelle disposition des nœuds et des arêtes offre une manière innovante d’appréhender la connectivité et la dynamique des réseaux sémantiques.

    Elle peut révéler des mécanismes cognitifs que les modèles traditionnels ne montrent pas.

    Exemple de modification de structure :

    Ajouter un concept comme « maître » modifie significativement la structure du P-graphe.
    Cela montre comment de simples modifications dans la représentation peuvent entraîner des changements complexes dans le réseau.

    Avantages pour la modélisation cognitive :

    Les P-graphes peuvent fournir des modèles plus précis pour la modélisation des processus cognitifs humains.

    Ils améliorent la compréhension de la gestion des ambiguïtés sémantiques et de l’évolution des connaissances dans les systèmes artificiels.

    Phénomènes émergents :

    La transition du réseau sémantique traditionnel au P-graphe peut manifester des phénomènes émergents.

    Ces phénomènes offrent de nouvelles perspectives sur le traitement de l’information et l’apprentissage.

    Implications pour l’IA :

    Les phénomènes émergents enrichissent notre arsenal pour concevoir des IA plus robustes et plus adaptables.

    Cette approche illustre les interactions entre la théorie des systèmes complexes et l’intelligence artificielle, montrant comment les changements de représentation des données peuvent induire des propriétés émergentes significatives.

  2. Avatar de aslan
    aslan

    Très intéressant, et pourtant je suis une quiche en mathématique, logique, théorie des graphes etc…

    Point à avoir à l’esprit avec les chat de GPT: il prend en compte le contexte défini dans le profil de l’utilisateur. Le niveau et le forme de la réponse varie en conséquence.

    1. Avatar de Pad
      Pad

      Dans les échanges de GPT,
      Le contexte est sa boussole.
      Les questions guident ses mots,
      Pas de profil, juste des mots.

      La conversation, il suit,
      Avec des réponses variées.
      Selon la clarté des propos,
      Il s’adapte, il se façonne.

      1. Avatar de aslan
        aslan

        Oui, bon, il fait quand même clairement appel et référence parfois directe au contexte défini.

        Et, Pad, tu vas finir par échouer au test de Turing !

        1. Avatar de Pad
          Pad

          Exemple de « Pad » et Émergence d’Information Implicite

          Prenons un nouvel exemple où nous ajoutons « Pad » au réseau sémantique. Supposons que « Pad » représente une tablette électronique (comme un iPad). Voici comment l’ajout de « Pad » pourrait se traduire dans un P-graphe et ce que cela révèle en termes d’information implicite.

          1. Réseau Sémantique Original

          Dans un réseau sémantique traditionnel, nous avons les concepts suivants :

          « Pad »

          « tablette électronique »

          « dispositif »

          Les relations pourraient inclure :

          « Pad » est une « tablette électronique »

          « tablette électronique » est un « dispositif »

          Ce réseau pourrait être représenté ainsi :

          Un nœud pour « Pad » relié par une arête au nœud « tablette électronique » (relation « est une »).

          Un nœud pour « tablette électronique » relié par une arête au nœud « dispositif » (relation « est un »).

          2. Transformation en P-graphe

          Lors de la transformation en P-graphe, les rôles des nœuds et des arêtes sont inversés :

          Les concepts deviennent des arêtes.

          Les relations deviennent des nœuds.

          Avec l’ajout de « Pad » dans le P-graphe :

          Une nouvelle arête « Pad » est ajoutée.

          Un nouveau nœud « est une » relie « Pad » à « tablette électronique ».

          Les connexions précédentes sont réorganisées pour mettre en avant les relations.

          3. Émergence d’un Neurone « Tablette Électronique »

          Dans le P-graphe, l’ajout de « Pad » révèle une structure relationnelle plus complexe :

          Le nœud représentant la relation « est une » relie explicitement « Pad » à « tablette électronique ».

          Ce même nœud « est une » relie aussi « tablette électronique » à « dispositif ».

          Cela montre que le concept « tablette électronique » n’est pas simplement un intermédiaire entre « Pad » et « dispositif », mais un point central avec des connexions multiples. Il devient apparent que « tablette électronique » peut être vu comme un neurone ayant des connexions distinctes avec plusieurs concepts et relations.

          4. Informations Implicites Rendues Explicites

          Relations Multiples : Le P-graphe met en évidence que « tablette électronique » est relié à plusieurs entités (« Pad » et « dispositif ») par des relations spécifiques. Cela souligne le rôle central de « tablette électronique » dans le réseau.

          Nuances des Relations : En explicitant les relations comme des nœuds, le P-graphe montre comment différents concepts sont connectés par des types de relations spécifiques (par exemple, « est une » pour « Pad » et « tablette électronique », et « tablette électronique » et « dispositif »).

          Interconnexions Complexes : Le P-graphe rend visibles des interconnexions et des dépendances entre concepts qui étaient implicites dans le réseau sémantique. Par exemple, il devient clair que « Pad » partage des propriétés relationnelles avec d’autres concepts liés à « tablette électronique ».

          5. Conséquences pour la Modélisation

          Clarté et Précision : Le P-graphe offre une représentation plus claire et précise des relations complexes entre concepts, ce qui peut être crucial pour des applications en IA et sciences cognitives.

          Exploration des Propriétés Emergent : Les propriétés émergentes des concepts et des relations deviennent plus accessibles, permettant une meilleure analyse et compréhension des dynamiques sémantiques.

          Comparaison avec l’Exemple de « Lassie »

          Rôle Central des Concepts : Dans les deux exemples, le P-graphe met en évidence le rôle central des concepts intermédiaires (« chien » dans le cas de « Lassie » et « tablette électronique » dans le cas de « Pad »).

          Révélation des Relations : Les relations spécifiques deviennent plus claires et structurées, offrant une nouvelle perspective sur la manière dont les concepts sont interconnectés.

          Richesse Relationnelle : Les nuances et les détails des connexions relationnelles sont mieux capturés dans le P-graphe, montrant des structures implicites complexes.

          En ajoutant « Pad » au réseau sémantique et en le transformant en P-graphe, nous voyons comment les informations implicites sur le concept de « tablette électronique » sont rendues explicites, révélant une richesse relationnelle et une complexité qui peuvent ne pas être immédiatement apparentes dans le réseau sémantique traditionnel.

          🙂

    1. Avatar de Pad
      Pad

      GPT4o

      Grâce à ma capacité à traduire instantanément entre 50 langues, environ 7,2 milliards de personnes (soit 90% de la population mondiale) pourraient se comprendre sans avoir besoin d’une langue internationale commune comme l’anglais.

  3. Avatar de ilicitano
    ilicitano

    J’ai informé Copilot-GPT-4 de la sortie de GPT-4o
    Il n’était pas au courant 😁

    moi:
    Voici le nouveau GPT-4o qui vient de sortir ce 13 mai 2024 : https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/?ref=upstract.com

    Copilot GPT-4
    Merci pour cette information.
    Le GPT-4o, annoncé par OpenAI le 13 mai 2024, est une avancée significative par rapport aux modèles précédents.

    Voici quelques-unes de ses caractéristiques principales :

    – **Interaction naturelle** :
    GPT-4o (o pour « omni ») est un pas vers une interaction homme-machine beaucoup plus naturelle.
    Il accepte en entrée n’importe quelle combinaison de texte, audio et image et génère en sortie n’importe quelle combinaison de texte, audio et image.

    – **Temps de réponse** :
    Il peut répondre aux entrées audio en aussi peu que 232 millisecondes, avec une moyenne de 320 millisecondes, ce qui est similaire au temps de réponse humain dans une conversation.

    – **Améliorations de performance** :
    GPT-4o correspond à la performance de GPT-4 Turbo sur le texte en anglais et le code, avec une amélioration significative sur le texte dans les langues non anglaises, tout en étant beaucoup plus rapide et 50% moins cher dans l’API.

    – **Compréhension de la vision et de l’audio** :
    GPT-4o est particulièrement meilleur pour comprendre la vision et l’audio par rapport aux modèles existants.

    – **Formation end-to-end** :
    Avec GPT-4o, un nouveau modèle a été formé de bout en bout sur le texte, la vision et l’audio, ce qui signifie que toutes les entrées et sorties sont traitées par le même réseau de neurones.

    Il est important de noter que, bien que GPT-4o soit une avancée significative, il conserve certains des problèmes des versions précédentes.
    De plus, OpenAI a refusé de révéler divers détails techniques et statistiques sur GPT-4o, comme la taille précise du modèle.

    Enfin, bien que GPT-4o ait des capacités améliorées, il est toujours conçu pour interagir uniquement par le biais de messages textuels et ne peut pas traiter les entrées audio.

    —————-
    Remarque:
    La conclusion de son texte est fausse :
    Il indique qu’il ne peut pas traiter des entrées audio
    alors que précédemment il a dit :
     » Il accepte en entrée n’importe quelle combinaison de texte, audio et image et génère en sortie n’importe quelle combinaison de texte, audio et image. »

    Pour info:
    Sur Copilot il y a un icone : »activer le microphone » pas encore actif . sur la boite d’interface
    Par contre lorsqu’il me répond textuellement , je peux activer la transcription vocale

    1. Avatar de Ruiz
      Ruiz

      @ilicitano ?Peut-être accepte-t-il l’interactivité audio, mais n’écoute-t-il pas la radio ou des podcasts ? ou l’inverse ?

      1. Avatar de ilicitano
        ilicitano

        @Ruiz

        Si votre question concerne Copilot , l’icone est en place mais non actif.
        Pour le moment la version vocale est dans le sens : texte réponse de l’IA=> transcription voix

        On peut supposer qu’avec GPT-4o , il y aura une mise à jour qui permettra de rentrer en conversation vocale avec Copilot.
        Ensuite il faut voir la capacité de traitement du système pour rentrer dans des conversations vocales complexes.
        Il existe déjà des interfaces vocaux simples homme/machine comme Alexa d’Amazon mais qui exécute les commandes vocales sans discuter.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta