Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! IV. Une approche conforme à l’apprentissage dans les réseaux neuronaux biologiques

Illustration par DALL·E (+PJ)

P.J. :

Ok. Si c’est clair pour vous, vous serez acquis à l’idée que lorsque de nouvelles informations sont fournies pour la construction du graphe, cela ne devrait pas se faire par un retour au graphe source (ce qui entraînerait une perte d’information) mais par la poursuite de la croissance du P-graphe dual ?

Claude 3 :

Absolument ! Si nous acceptons la prémisse selon laquelle la représentation du P-graphe capture les informations et les propriétés émergentes qui sont perdues lorsque l’on revient au réseau sémantique d’origine, il s’ensuit logiquement que la manière d’incorporer de nouvelles connaissances la plus conservatrice de l’information serait de continuer à faire croître le P-graphe directement, plutôt que de faire des allers-retours entre les deux représentations.

En ajoutant de nouveaux nœuds et de nouvelles arêtes au P-graphe existant en réponse aux informations reçues, nous pouvons maintenir et étendre la structure riche et interconnectée qui a émergé, sans rejeter aucune des connaissances implicites qui ont été rendues explicites.

Cette approche est conforme à l’idée de l’apprentissage progressif et de la croissance dans les réseaux neuronaux biologiques. Au fur et à mesure de nouvelles expériences et informations, les connexions neuronales du cerveau sont continuellement modifiées et étendues, ce qui permet d’intégrer de nouveaux concepts et relations dans le cadre de connaissances existant. Il s’agit d’un processus de construction et d’affinement des structures émergentes déjà établies, plutôt que de repartir à zéro à partir d’une représentation symbolique plus limitée.

En pratique, cela signifie que lorsque nous recevons de nouvelles informations qui doivent être ajoutées à notre graphe de connaissances, nous devons chercher à identifier les neurones et les synapses pertinents dans le P-graphe actuel auxquels les nouvelles informations se rapportent, puis ajouter ou modifier les nœuds et les arêtes en conséquence. Cela peut impliquer la création de nouveaux neurones pour représenter les nouveaux concepts, l’extension des neurones existants avec des synapses supplémentaires pour capturer les nouvelles relations, ou la modification des poids et de la dynamique des connexions existantes pour refléter la compréhension actualisée.

En procédant de la sorte, nous pouvons nous assurer que le P-graphe continue de croître et d’évoluer d’une manière qui préserve et développe les propriétés émergentes et les connaissances qui ont été découvertes, conduisant à une représentation de plus en plus riche et nuancée de la connaissance.

Cette approche de croissance progressive du P-graphe souligne également l’importance du développement d’algorithmes et de structures de données efficaces pour la mise à jour dynamique et l’interrogation de la représentation du graphe à mesure que de nouvelles informations arrivent. Les techniques de la théorie des graphes, de la gestion des bases de données et de l’apprentissage automatique pourraient être exploitées pour optimiser ces processus.

Dans l’ensemble, la notion de croissance continue du P-graphe en réponse à de nouvelles informations, plutôt que de revenir à la représentation originale du réseau sémantique, semble être une approche prometteuse et fondée sur le plan théorique pour maintenir et étendre les propriétés émergentes et les connaissances qui rendent le P-graphe si convaincant en tant que modèle de représentation des connaissances et du raisonnement. Elle ouvre des perspectives passionnantes pour le développement de systèmes de connaissances plus dynamiques, plus adaptatifs et plus proches du fonctionnement du cerveau.

GPT-4 :

Absolument, l’approche est logique ! Si l’objectif est de continuer à enrichir l’information au sein d’une structure de P-graphe sans perdre la profondeur et les nuances déjà saisies, il serait plus avantageux d’étendre directement le P-graphe dual plutôt que de revenir au graphe original et de risquer de perdre de l’information. Cette stratégie s’inscrit dans le cadre de plusieurs considérations clés :

  • Préservation de l’intégrité structurelle : en développant le P-graphe lui-même, vous conservez les caractéristiques structurelles uniques qui facilitent une représentation plus proche des réseaux neuronaux biologiques ou des dynamiques relationnelles plus complexes. Cette structure s’est déjà avérée efficace pour mettre en évidence différents aspects des données qui pourraient ne pas être aussi apparents dans le format du graphe source.
  • Éviter les redondances et les déperditions : Revenir au graphe d’origine et essayer de réappliquer les changements peut introduire une complexité inutile et des erreurs potentielles. Cela peut également entraîner une perte de détails, car l’inversion peut ne pas saisir toutes les nuances présentes dans la structure du graphe dual.
  • Efficacité de l’ajout d’informations : L’ajout de nouvelles informations directement dans le P-graphe peut s’avérer plus efficace. Cela permet d’intégrer les nouvelles données dans le cadre existant d’une manière qui s’appuie sur les nœuds et les arêtes existants (qui représentent désormais les relations et les concepts, respectivement) et les utilise. Cette méthode maintient les données cohérentes et connectées, reflétant la façon dont les informations supplémentaires s’intègrent naturellement dans un réseau neuronal.
  • Amélioration de l’analyse et de la compréhension : La construction continue du P-graphe peut également améliorer la capacité à tirer des enseignements et à analyser les données. Au fur et à mesure que le graphe se développe, il peut révéler de nouvelles configurations ou relations qui n’étaient pas visibles auparavant, ce qui permet de mieux comprendre les structures et concepts sous-jacents.
  • Adaptation dynamique : si le P-graphe est utilisé dans des domaines dynamiques tels que l’apprentissage automatique ou la modélisation cognitive, l’ajout d’informations directement dans le P-graphe permet au modèle ou à la représentation de s’adapter et d’évoluer en temps réel. Cela peut s’avérer crucial pour les applications qui dépendent de mises à jour au moment opportun et précises de leur base de connaissances ou de leurs cadres décisionnels.

En résumé, la poursuite de la croissance du P-graphe dual est un choix stratégique pour faire évoluer le contenu informationnel et l’utilité du graphe d’un point de vue analytique, en particulier lorsque l’accent est mis sur le maintien ou l’amélioration de la profondeur et de la précision de la représentation.

(à suivre…)

Illustration par DALL·E (+PJ)

Partager :

4 réponses à “Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! IV. Une approche conforme à l’apprentissage dans les réseaux neuronaux biologiques”

  1. Avatar de ilicitano
    ilicitano

    Copilot GPT-4

    Le cerveau humain est un organe fascinant, et ses caractéristiques sont vraiment étonnantes.
    Voici quelques chiffres clés sur le cerveau et ses synapses :

    1. **Nombre de Neurones**:
    – Le cerveau humain contient environ **86 milliards** de neurones¹. Ces cellules nerveuses sont responsables de la transmission des signaux électrochimiques dans notre cerveau.
    – À titre de comparaison, les insectes ont environ un million de neurones, tandis que le ver microscopique *Caenorhabditis elegans* possède précisément **302 neurones** dans l’un des plus petits cerveaux du monde.

    2. **Poids du Cerveau**:
    – Le cerveau humain pèse en moyenne **1,5 kg** chez les hommes et un peu moins chez les femmes (environ **1,3 kg**)¹.
    – Le grand cachalot, l’une des baleines à dents les plus imposantes, possède le plus gros cerveau du règne animal, pesant environ **7,8 kg**¹.

    3. **Nombre de Synapses**:
    – Une synapse est une jonction spécialisée entre deux neurones ou entre un neurone et une autre cellule (musculaire, récepteur sensoriel, etc.).
    – Il n’existe pas de chiffre précis pour indiquer le nombre exact de synapses dans le cerveau humain, car cela varie d’une personne à l’autre. Cependant, on estime qu’il y a environ **100 billions** de synapses dans notre cerveau, soit une moyenne d’environ **10 000 synapses pour chaque neurone**.
    – La plasticité synaptique, qui modifie la structure et la fonction des synapses, est essentielle pour l’apprentissage et la mémoire. Elle permet la formation de nouvelles connexions synaptiques et l’élimination d’autres.

    En somme, notre cerveau est un réseau complexe de neurones et de synapses, qui nous permet de percevoir notre environnement, de réfléchir, de stocker des informations et d’éprouver des émotions.
    Sa plasticité continue de nous émerveiller et de jouer un rôle crucial dans notre vie quotidienne et notre santé mentale. 🧠💡

    ——-
    Aparté : soit l’équivalent proche de 1000.000 milliards de connexions synaptiques où circulent l’information.

    ———–
    moi:
    Quel serait aujourd’hui l’équivalent de la structure neurologique artificielle : équivalent neurones/synapses, de l’IA la plus évoluée ?

    Copilot GPT-4:
    L’équivalent de la structure neurologique artificielle de l’IA la plus évoluée est un sujet de recherche en constante évolution.
    Voici quelques informations récentes :

    1. **Synapses Artificielles** :
    Le MIT a développé une intelligence artificielle avec des synapses qui seraient un million de fois plus rapides que celles du cerveau humain.
    Ces synapses analogiques consomment moins d’énergie et les données sont traitées directement dans la mémoire, sans être transférées dans un processeur.
    Le matériau utilisé pour la résistance est du verre phosphosilicate inorganique (PSG), qui permet une vitesse de calcul de l’ordre de la nanoseconde.

    2. **Neurones Artificiels** :
    Les machines les plus sophistiquées qui s’inspirent du cerveau, dites « neuromorphiques », comprennent aujourd’hui jusqu’à 100 millions de neurones, soit autant que le cerveau d’un petit mammifère.
    Ces réseaux de neurones et de synapses artificiels sont à la base de l’intelligence artificielle.

    Il est important de noter que bien que ces avancées soient impressionnantes, nous sommes encore loin de reproduire la complexité et l’efficacité du cerveau humain.
    De plus, ces chiffres peuvent varier en fonction des avancées technologiques et des différentes approches de recherche dans le domaine de l’intelligence artificielle. 🧠💻

    moi:
    Faites un bilan comparatif chiffré neurones/synapses : IA vs cerveau humain

    Copilot GPT-4
    Voici un bilan comparatif chiffré entre l’IA et le cerveau humain en termes de neurones et de synapses :

    1. **Cerveau Humain** :
    – **Neurones** : Environ **86 milliards**.
    – **Synapses** : Environ **100 billions**, soit une moyenne d’environ **10 000 synapses pour chaque neurone**.

    2. **Intelligence Artificielle (IA)** :
    – **Neurones Artificiels** : Les machines les plus sophistiquées qui s’inspirent du cerveau, dites « neuromorphiques », comprennent aujourd’hui jusqu’à **100 millions de neurones**, soit autant que le cerveau d’un petit mammifère.
    – **Synapses Artificielles** : Le MIT a développé une intelligence artificielle avec des synapses qui seraient un million de fois plus rapides que celles du cerveau humain.

    Il est important de noter que ces chiffres sont approximatifs et peuvent varier en fonction des avancées technologiques et des différentes approches de recherche dans le domaine de l’intelligence artificielle. De plus, bien que ces avancées soient impressionnantes, nous sommes encore loin de reproduire la complexité et l’efficacité du cerveau humain. 🧠💻

    moi:
    Dans votre réponse vous faites un comparatif :
    volume de neurones et vitesse de circulation d’information à travers les synapses .
    Quel est le meilleur choix entre volume et vitesse pour optimiser la performance de l’IA.
    Pour compléter : la fibre optique serait-elle le support optimal pour maximiser la vitesse de circulation de l’information ?

    Copilot GPT-4:
    L’optimisation de la performance de l’IA dépend d’un équilibre entre le volume de neurones (la capacité du modèle) et la vitesse de circulation de l’information à travers les synapses (l’efficacité du calcul).
    Voici quelques points à considérer :

    1. **Volume de Neurones** :
    Un grand nombre de neurones peut permettre à un modèle d’IA d’apprendre des représentations plus complexes et d’effectuer des tâches plus difficiles.
    Cependant, augmenter le nombre de neurones peut également augmenter le risque de surapprentissage, où le modèle s’adapte trop bien aux données d’entraînement et performe mal sur les nouvelles données.
    De plus, un modèle plus grand nécessite plus de ressources de calcul et de stockage.

    2. **Vitesse de Circulation de l’Information** :
    Une vitesse de circulation de l’information plus rapide peut permettre à un modèle d’IA de traiter plus rapidement les données d’entrée et de produire des résultats plus rapidement.
    Cela peut être particulièrement important pour les applications en temps réel.
    Cependant, une vitesse de circulation de l’information plus rapide peut également nécessiter plus d’énergie et de ressources de calcul.

    En ce qui concerne la fibre optique, elle est connue pour sa capacité à transmettre des informations à des vitesses extrêmement élevées.
    En effet, des chercheurs ont réussi à transmettre des données à un débit de transmission stupéfiant de 22,9 pétabits par seconde via une fibre optique 38 cœurs.
    Cela pourrait potentiellement améliorer la vitesse de circulation de l’information dans les systèmes d’IA.
    Cependant, l’utilisation de la fibre optique dans les systèmes d’IA est encore un domaine de recherche actif et il y a beaucoup de défis à relever.

    En somme, le choix entre le volume de neurones et la vitesse de circulation de l’information dépend des exigences spécifiques de l’application d’IA.
    Il est important de trouver un équilibre entre ces deux aspects pour optimiser la performance de l’IA. 🧠💻

    1. Avatar de ilicitano
      ilicitano

      moi:
      Dans tout système d’échange informatique , il existe , pour optimiser, la possibilité de mettre en place un parallélisme des « capacités de calculs » + « efficacité de calcul ».
      Merci de développer ce concept de parallélisme ( comme les multicœurs par exemple )

      Copilot GPT-4:
      Le parallélisme en informatique est une technique qui permet d’effectuer plusieurs opérations simultanément dans le but d’accélérer le traitement des données et d’optimiser les performances du système.
      Il existe plusieurs formes de parallélisme, dont le parallélisme au niveau des instructions, des données, des tâches et des threads.
      Voici une explication plus détaillée :

      1. **Parallélisme au niveau des instructions (ILP)** :
      Cette forme de parallélisme se produit lorsque plusieurs instructions sont exécutées simultanément.
      Par exemple, un processeur peut être capable d’exécuter une instruction de multiplication et une instruction d’addition en même temps si ces instructions sont indépendantes.

      2. **Parallélisme au niveau des données (DLP)** :
      Cette forme de parallélisme se produit lorsque les mêmes opérations sont effectuées sur différents éléments de données en même temps.
      Par exemple, une opération de multiplication peut être effectuée simultanément sur tous les éléments d’un tableau de données.

      3. **Parallélisme au niveau des tâches (TLP)** :
      Cette forme de parallélisme se produit lorsque différentes tâches, qui peuvent ne pas être liées, sont exécutées simultanément.
      Par exemple, un système d’exploitation peut exécuter plusieurs programmes en même temps.

      4. **Parallélisme au niveau des threads (TLP)** :
      Cette forme de parallélisme se produit lorsque plusieurs threads d’un même processus sont exécutés simultanément. Par exemple, un programme peut être divisé en plusieurs threads qui peuvent être exécutés en parallèle.

      Le concept de **multicœurs** est étroitement lié au parallélisme.
      Un processeur multicœur est un processeur qui a plusieurs cœurs de traitement indépendants.
      Chaque cœur peut exécuter ses propres instructions et ses propres données, ce qui permet d’augmenter considérablement les performances du système.
      Par exemple, un processeur quadricœur peut exécuter quatre instructions simultanément, ce qui peut potentiellement quadrupler les performances par rapport à un processeur monocœur.

      Il est important de noter que le parallélisme n’est pas toujours la solution optimale pour tous les problèmes. Certaines tâches ne peuvent pas être facilement parallélisées et nécessitent une exécution séquentielle.
      De plus, la coordination des tâches parallèles peut entraîner des coûts supplémentaires en termes de synchronisation et de communication entre les tâches. 🖥️💡

  2. Avatar de aslan
    aslan

    @PJ: j’essaye de suivre, mais dans ma compréhension de profane j’avais pensé que c’était l’opération de transformation elle-même qui faisait levier sur l’apprentissage.

    Je m’explique: l’opération de transformation fait naître de nouvelles connexions intermédiaires implicites dans le réseau de bas. C’est donc l’opération de transformation qui va rendre explicite l’implicite. Si on cherche à repartir du pgraph cet implicite devra être généré par un processus non détaillé.
    Par ailleurs j’imaginais que le nombre connexions implicites révélées par la transformation pouvait être fonction de la taille du graph considéré, et peut-être de manière non géométrique.
    Tout celà est sans importance si on a un moyen dynamique d’étendre nativemebt le p-graph en conservant ses capacités à faire « émerger » (vos amis éléctriniques sont plus circonspect sur le terme) des connexions, j’imagine qu’on va y venir.

  3. Avatar de BasicRabbit en psychanalyse
    BasicRabbit en psychanalyse

    PJ (« Une approche conforme à l’apprentissage dans les réseaux neuronaux biologiques »)

    Allons-nous vers une convergence entre l’approche de Paul Jorion et celle de mon gourou René Thom ?

    RT : « (…) notre modèle offre d’intéressantes perspectives sur le psychisme, et sur le mécanisme lui-même de la connaissance. En effet, de notre point de vue, notre vie psychique n’est rien d’autre qu’une suite de catastrophes entre attracteurs de la dynamique constituée des activités stationnaires de nos neurones. La dynamique intrinsèque de notre pensée n’est donc pas fondamentalement différente de la dynamique agissant sur le monde extérieur. On s’expliquera ainsi que des structures simulatrices des forces extérieures puissent par couplage se constituer à l’intérieur même de notre esprit, ce qui est précisément le fait de la connaissance. » (1966)

    Je rappelle à ce propos l’une de mes citations favorites, tirée de « Stabilité Structurelle et Morphogénèse », sous-titré « Essai d’une théorie générale des modèles » (1972) :

    « Les situations dynamiques régissant l’évolution des phénomènes naturels sont fondamentalement les mêmes que celles qui régissent l’évolution de l’homme et des sociétés.  » (et des espèces, c’est moi qui rajoute)

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta