Que se passe-t-il vraiment dans un réseau neuronal ?

Ouvert aux commentaires.

C’est Naftali Tishby qui, à mon sens, comprend le mieux ce qui se passe dans un réseau neuronal (artificiel). Son image est parlante d’un réseau neuronal comme un pipeline fuyant abondamment à chacune de ses soudures, pour ne plus débiter qu’une seule goutte à l’arrivée. Le débit à l’entrée, ce sont tous les pixels d’une image, et la goutte à l’arrivée, c’est le bit qui dira si oui ou non, il s’agit bien de l’image d’un chien.

Dans ses vidéos, il fait allusion au fait que ses collègues sont très réservés quant à ses explications, voire tentent de le descendre en flammes. À mon avis, c’est parce ses explications les dépassent.

Ceci dit, bien qu’il ait défriché considérablement la question, il reste des choses à expliquer. Je voudrais constituer un petit groupe de scientifiques et autres mathématiciens appliqués pour qu’on aille de l’avant sur cette question. Vous pouvez m’écrire ici, mais nous pouvons aussi bien lancer le débat ici même, s’il y a suffisamment de lecteurs du blog que cela intéresse.

cf. mon billet Le deep learning en termes de théorie de l’information par Naftali Tishby, le 24 décembre 2017

et le billet de Marc Peltier De l’intelligence artificielle produite par des méthodes optiques (et quelques réflexions à ce sujet), le 6 août 2018

Partager :

44 réponses à “Que se passe-t-il vraiment dans un réseau neuronal ?

  1. Avatar de Jean-Baptiste Auxiètre
    Jean-Baptiste Auxiètre

    A mon sentiment ce serait plutôt un réseau de tubes bouchés de différentes épaisseurs et quand il est mis sous pression l’endroit où il commence à fuir. S’il commence à fuir à un endroit donné c’est reconnu, s’il fuit ailleurs cela ne l’est pas.

  2. Avatar de timiota
    timiota

    Dans la série « les intellectuels qui intellectualisent » (mais on sait jamais, ça peut être intéressant en soi ou comme réservoir de recrues sur le sujet « réseau neuronal » proposé dans ce billet) :

    http://cardano.visions-des-sciences.eu/fr
    Lié à Girolamo Cardano, porté entre autres par Giuseppe Longo (Dept info de l’ENS, défend que les maths existent tout autrement que ce qu’on en fait d’habitude, et que ceux qui le pratique sans le savoir sont du côté de la bio, c’est moi qui dit ça comme ça pas lui)

    https://blogs.mediapart.fr/les-amis-de-la-generation-thunberg

    Danger, « Stiegler inside », avec les concepts comme « l’internation », et la question de la transmission entre les générations (penser en pansant, se dérider en derridant mais sans se poiler s’il vous plait, s’agissant de trouver sans doute une « pharmacologie de la biosphère » aussi chouette que la pharmacologie du Front National de Bernard Stiegler. Sérieux, il y a des concepts à glaner, mais la gangue de jargon esquichera plus d’un réseau d’humains neurones)

  3. Avatar de Georges Cortez
    Georges Cortez

    Ok, je suis dispo…

  4. Avatar de chienchien
    chienchien

    qu’est ce qui pourrait réellement se passer dans une fonction avec de nombreuses variables ? Je vais vous le dire , des réels , voila merci bien fin du débat 🙂

  5. Avatar de Paul Jorion

    C’est bien : ça va vite ! Notre petit groupe compte déjà 3 personnes, dont 2 physiciens (le 3e, c’est moi).

  6. Avatar de Paul Jorion

    J’ai le sentiment que la manière dont l’information est traitée dans un automate cellulaire, comme le jeu de la vie de Conway, est une bonne manière d’aborder le traitement par un réseau neuronal, ou l’équivalent optique.

    Question : Mon sentiment intuitif est que la succession des étapes dans un automate cellulaire est une chaîne de Markov, mais je suis surpris en cherchant un peu sur Wikipedia de ne trouver ni mention des automates cellulaires dans l’article sur les chaînes de Markov, ni mention des chaînes de Markov dans l’article sur les automates cellulaires. Est-ce bien le cas ?

    Une fois qu’on aura compris ça, expliquer la conscience ne sera plus qu’un jeu d’enfants 😉 . J’ai mon hypothèse bien entendu !

    1. Avatar de Yoann Nicod

      Mdr les scientifiques de bas étages. Ceux qui comprennent le mieux ce qu’il se passe dans un réseau de neurones sont ceux qui les étudient mathématiquement, pas ceux qui en font une représentation graphique fausse.

    2. Avatar de Dup
      Dup

      Voyez Phillipe Guilleman pour IA et conscience …

      1. Avatar de Paul Jorion

        Vous pouvez résumer ce qu’il dit ?

      2. Avatar de Dup
        Dup

        Ce serait long grosso modo que la conscience n’est pas le produit du cerveau mais plutot quelquechose que celui ci capte. Il m’a semblé comprendre qu’il prend pour preuve de cela l’impossibilité d’avoir une mémoire de l’information par les réseaux neuronaux impossible de faire se souvenir d’un chat à un système capable de reconnaitre un chat. ça ressemble aussi n peu a votre théorie de la conscience qui saccroche à un cerveau fonctionnel dans une dimension ou une autre mais ça à l’air plus solide mathématiquement derrière avec un modèle a seulement 6 dimensions mais la j’ai pas le niveaux. La conscience serait un « résolvateur » d’état quantique qui crée une illusion de réalité et de temps. Il travaille à la fois côté science dure avec des modélisation de système de billard pour démonter qu’au bout d’un certain temps l’information se perd et donc pas de déterminisme mécanique et du côté méditation etc en essayant de trouver un moyen de provoquer des rétrocausalités du futur dans le présent type scarabé de Yung, la c’est plus ésotérique mais il tint absolument a ne pas être classifié new age.

        Un extrait ou il parle du sujet d’une video (pas forcément la meilleure pour le reste cependant), voyez sa chaine youtube si vous avez le temps.

        https://www.youtube.com/watch?v=f81gmUCIcxc

  7. Avatar de chienchien
    chienchien

    Qu’est ce que vous voulez savoir au juste ? Comment s’est fait dedans un ordinateur ?
    https://www.youtube.com/watch?v=W08poVdPTGo

    1. Avatar de Paul Jorion

      « Comment c’est fait dans un ordinateur » ?

      Non, c’est gentil, j’ai une idée assez précise. J’ai même une idée assez précise de ce qu’est un réseau neuronal, ce que je cherche à établir c’est un modèle complet du processus de traitement des données d’entrée à la donnée en sortie, en termes par exemple de filtrage, convergence, compression, etc. C’est pour cela que je pose des questions assez précises à propos des outils que l’on peut utiliser pour répondre à cette question comme, tout à l’heure, « le passage d’une couche à l’autre dans un RN peut-elle bien être assimilée à un automate cellulaire, et la transition d’une étape discrète à la suivante dans un automate cellulaire constitue-t-elle bien une chaîne de Markov ? »

      Ce que je voudrais savoir au juste c’est par exemple pourquoi la descente de gradient stochastique ne provoque pas d’overfitting mais une belle convergence. Vous voyez c’est très précis.

      1. Avatar de chienchien
        chienchien

        Ah ce n’est que ça , je pense qu’un physicien pourrait vous le modéliser facilement avec un microcontroleur

        1. Avatar de Paul Jorion

          On va voir : deux physiciens font d’ores et déjà partie du groupe.

      2. Avatar de Patrick
        Patrick

        Paul,

        Merci s’ouvrir le débat sur le SGD (Stochastic Gradiant Descent), mais n’oublions pas la retropropagation sans laquelle le SGD ne fera pas grand chose.

        Comment pense un réseau de neurones ? D’abord il ne pense pas.
        Comment voit un réseau de neurones ? Il ne « voit » pas non plus.
        Comment comprendre le fonctionnement d’un réseau de neurones ? A ce jour, sauf erreur, on ne sait pas.

        Etc…etc…

        Pour preuve ? Si vous voulez connaître les « variables importantes » dans un fatras de données, rien ne vaut un traditionnel RandomForest ou encore mieux un algorithme de boosting (xgBoost, LightGBM…) : il s’agit d’un découpage des données par feuilles ou arbre selon, chaque intersection représentant un choix booléen (oui/non)… explication simpliste certes mais cela fonctionne.

        L’avantage de ces derniers algorithmes est que l’on peut visualiser l’importance de chaque variable.

        Exemple trivial, les survivants du Titanic ou le sexe (F/M) est la première variable en importance pour solutionner ce problème que les Femmes furent de mémoire quasi 100% à survivre : les femmes et les enfants d’abord ! Viennent ensuite les notions de classe du voyageur (1/2/3)…

        Bien sûr un réseau de neurones est tout à fait capable de « comprendre » cette mécanique, mais le problème c’est que le même réseau est un peu « autiste » dès lors qu’il faut expliquer le pourquoi du comment.

        Pour la reconnaissance d’images, j’avoue qu’un réseau est bien plus performant, mais de la, nous dire avec précision comment il a détecté un chien plutôt qu’un chat, on n’en sait pas grand chose.

        1. Avatar de Paul Jorion

          Ah ! Ce n’est pas moi qui vous démentirai : l’apprentissage, c’est dans la rétropropagation qu’il est bien entendu. Et mes deux petits camarades qui m’ont rejoint pour former un petit groupe (vous êtes le bienvenu à nous rejoindre bien entendu) vous confirmerons que j’ai lancé ce matin une discussion sur le processus d’Ising.

          Ce n’est pas moi non plus qui démentirai qu’il existait des méthodes de classement ou d’analyse causale automatique depuis longtemps, bien avant qu’on ne parle de deep learning (j’ai toujours mon exemplaire de L’analyse des données de Benzécri, publié en 1973 – je vois d’ailleurs qu’il est mort il y a quelques semaines, fin novembre).

  8. Avatar de Florian
    Florian

    Hum…pas si sûr. C’est un peu brut comme representation sachant que c’est pas tellement une question de Pixels mais dans l’analyse d’image par reseau de neurones on utilise des reseaux convolutionnel donc il y a aussi une notion de proximité dans les CNN . De plus il arrive souvent qu’on fasse une reduction de dimension avant d’entrainer son modèle pour être sûr ( ou presque )d’avoir une matrice de rang complet sur les poids du reseaux. Du coup les vecteurs engendrés par une reduction de dimensions ne representent pas des « pixels ». Et encore on pourrait allez plus loin dans la complexité et parler des couches cachés non convolutionnel comme des RNN ou des dropout pour eviter le sur apprentissage.
    De surcroit la sortie n’est pas binaire ( ou en tout cas pas obligatoirement) dans un réseau de neurone pour faire de la detection d’image. On a plutôt un vecteur des probabilités de chaque labels possibles.
    Donc cette visualisation pourrait être plausible,mais dans un cas très simple, avec un réseau peu complexe ( voir un simple perceptron ) , donc pas en adéquation avec les bonnes pratiques et les performances du deep learning. Mais ce n’est que mon simple avis, je ne detiens pas la vérité absolu.

    1. Avatar de Paul Jorion

      Merci pour votre éclairage. Le convolutionnel est un pré-traitement opérant un filtrage des données en entrée pour « faciliter la tâche » du réseau neuronal qui est lui-même un filtre bien entendu.

      J’ai l’impression que le convolutionnel s’efforce de compenser la compréhension incomplète que nous avons en ce moment du processus global. Si nous réussissons dans ce projet, on pourra s’en passer.

    2. Avatar de Patrick
      Patrick

      Florian,

      Merci de rappeler que « De surcroit la sortie n’est pas binaire ( ou en tout cas pas obligatoirement) dans un réseau de neurone pour faire de la detection d’image. On a plutôt un vecteur des probabilités de chaque labels possibles. »

      Nous n’avons pas une réponse tranchée mais une probabilité de labels (chien/chat/voiture/bateau par exemple) définis lors de l’apprentissage. Notre réseau ne connaitra donc que ces 4 catégories d’images et cherchera à caser toute nouvelle image dans une de ces « cases » : en fait un tigre se rapprochera sans doute d’un chat avec la plus forte probabilité parmi les autres catégories (labels).

      Bien sûr, il existe des réseaux déjà pré entrainés (Resnet par exemple) qui sont capables de différencier un éléphant d’Afrique d’un éléphant d’Asie (bluffant !) mais ce réseau prêt à l’emploi a lui aussi été entrainé sur des millions d’images sur les serveurs de Google pendant des jours, voire des semaines et encore une fois, si l’entrainement n’a pas montré d’image de la Lune, ce réseau au vue d’une image de la lune y verra sans doute un ballon.

      Il existe le site Kaggle que je pense vous connaissez 😉

  9. Avatar de Lagarde Georges
    Lagarde Georges

    À propos de « De l’intelligence artificielle produite par des méthodes optiques (et quelques réflexions à ce sujet) . »

    Je ne suis pas du tout d’accord pour dire que c’est le système optique qui « produit de l’intelligence ». Il me semble qu’au mieux il la « reproduit » et  c’est seulement pendant la conception du dispositif optique que de l’intelligence intervient.

    C’est la même chose dans le cas de l’énigme de la chambre chinoise où il me semble clair que l’intelligence n’intervient que lors de l’établissement du manuel qui prescrit comment les caractères chinois doivent être manipulés par la personne qui ne comprend pas cette langue mais compose quand même des phrases qui sont des réponses valables aux questions posées.

    Même s’il parait difficile de dire qu’un ordinateur est un dispositif passif parce que ce n’est pas comme ça que nous les percevons, il n’y a pas différence de principe entre le fait d’utiliser un dispositif passif basé sur la diffraction de rayons lumineux et le fait d’utiliser un circuit électrique où circulent des électrons plutot que des photons.

    Bon, étant donné mon metier d’analyste-programmeur je ne me suis jamais mis en colère contre un ordinateur et j’ai toujours adressé mes injures à ceux qui l’avait programmé, mais tout le monde peut concevoir que ça n’est pas pendant leur utilisation mais avant que les choses interessantes se produisent.

  10. Avatar de Kaiel

    Je ne crois pas pouvoir beaucoup aider à cette étude.
    J’observe dans le monde du jeu d’échecs que les joueurs s’inspirent de ce que alphazéro leur a appris. On peut voir dans les parties du champion du monde Magnus Carlsen des manoeuvres inspirées par cette machine. Il y a aussi de nouveaux moteurs d’analyse (basés sur les réseaux de Neurones) open source comme Leela chess zero qui sont apparus et ont pris la première place en 2 ans seulement, utilisé actuellement par les joueurs de haut niveau.
    L’influence des ordinateurs a été profonde dans ce microcosme depuis les années 80 (avec notamment Garry Kasparov comme ambassadeur). En effet au plus haut niveau sans machines performantes on est mort.
    Un territoire où le rôle des machines est testé depuis 30 ans et a, sans conteste, beaucoup appris aux humains.
    Ma seule question est : comment utiliser ces machines en faveur du progrès humain, social et environnemental ?

  11. Avatar de timiota
    timiota

    Diable, Paul a un cerveau « intersectionnel » [J’ose à peine dire : comme vous et moi].
    Sujet 1 évoque Sujet 2, avec assez bonne conviction, même si pas 100%.
    Mais surprise, personne n’a publié de papier scientifique se posant vraiment la question de « l’intersectionnalité »
    (Sujet 1 combiné avec 2, l’un implique l’autre ? La combinaison est-elle plus riche que la « somme » naïve, etc.).

    Depuis que wikipedia existe, je me dis qu’il faut un tel « moteur de recherche à deux vraies entrées » (pas au niveau du contenu, mais du signifié, du « complexe significabile »). Ce serait presque un but en soit d’une des IA à faire. Une sorte de « machine de la vie des concepts ou idées, voir lesquels ce survivent comme soliton, comme « breathers », (les mots modernes pour les structures oscillantes semi-élémentaire qu’on voit dans la video de Paul « epic Conway game of life », qui apparaissent souvent en physique non-linéaire)

    1. Avatar de timiota
      timiota

      Exemple de papier 1986 qui parle de Cellular automata « to be viewed as a Markov process » :

      https://drum.lib.umd.edu/bitstream/handle/1903/4458/TR_86-33.pdf?sequence=1
      On the prediction of local patterns in cellular automata
      WJ Wilbur, DJ Lipman, SA Shamma – Physica D: Nonlinear Phenomena, 1986 – Elsevier
      Volume 19, Issue 3, April 1986, Pages 397-410

      Cette recherche générique
      https://scholar.google.fr/scholar?as_q=markov&as_epq=cellular+automata&as_oq=&as_eq=&as_occt=any&as_sauthors=&as_publication=&as_ylo=&as_yhi=&hl=fr&as_sdt=0%2C5
      montre qu’on en parle plus au Zambèze qu’en Corrèze : Le premier article qui sort est
      Applied Geography Volume 29, Issue 3, July 2009, Pages 435-447
      « Rural sustainability under threat in Zimbabwe – Simulation of future land use/cover changes in the Bindura district based on the Markov-cellular automata model »
      (En lien ici
      https://www.researchgate.net/profile/Courage_Kamusoko/publication/37645589_Modelling_land_usecover_changes_in_the_Bindura_District_Zimbabwe/links/550a9fd50cf29e53c80bc650/Modelling-land-use-cover-changes-in-the-Bindura-District-Zimbabwe.pdf)

      C’est intéressant que ce soit surtout en socio-géographie (land use, urbanism) que l’on rencontre le mixte CA et Markov, mais c’est en fait la combinaison de deux outils.

      Le CA (Cellular Automaton) standard est en effet ***déterministe***, alors qu’un processus de Markov est quelque chose de ***stochastique*** (les probabilités ne dépendent pas des états antérieurs, mais ce ne sont que des probas).
      Donc l’un ***ne peux pas*** être l’autre…
      ….sauf si je rajoute « stochastique » aussi à CA :

      https://en.wikipedia.org/wiki/Stochastic_cellular_automaton#PCA_as_Markov_stochastic_processes

      alors le tour est joué.
      Les gens de la socio-géographie (en Corrèze ou au Zambèze) me semblent avoir développé CA et Markov comme une « suite » au sens quasi logiciel du terme, (mot qui m’embête car la « suite de Markov » est l’objet mathématique aussi !).

    2. Avatar de Krasci
      Krasci

      « Depuis que wikipedia existe, je me dis qu’il faut un tel « moteur de recherche à deux vraies entrées » (pas au niveau du contenu, mais du signifié, du « complexe significabile ») »

      Peut-être trouverez-vous des choses intéressantes du côté du web des données : https://en.wikipedia.org/wiki/Linked_data

      1. Avatar de timiota
        timiota

        Merci je n’avais pas connecté.
        Faut il que le sens soit déjà « bien construit » dans le jeu de choses ainsi traitées? va t on au delà des corrélations en très gros ?

  12. Avatar de Bernadette
    Bernadette

    Pensez à une personne handicapée âgée qui réside devant le cimetière de la commune de son lieu de résidence. Cette personne a comme environnement visuel le cimetière et elle ne peut pas faire autrement que de penser à ceux qui y sont. C’est logique.

    1. Avatar de Patrick
      Patrick

      Bernadette,

      Votre réflexion me fait penser à Platon et son « Mythe de la caverne » 🙂

      Nous ne serions donc que notre proche environnement ?

      1. Avatar de chienchien
        chienchien

        Le monde physique emerge du monde mathematique , le monde mathematique emerge du monde psychologique , le monde psychologique emerge du monde physique qui emerge du monde mathematique qui emerge du monde psychologique qui emerge du monde physique …

    2. Avatar de Decoret Lucas
      Decoret Lucas

      À elle de sublimer ces jolies tombes et de voir de petites créatures Pleine de vie .
      Elles rejoignent d’ailleurs des espèces de V à plumes noirs et brillantes.

      En dessous des gardiens à griffes et poils plus ou moins long et ils font attention à vous quand vous dormez!!

      En dessous des petites choses gluantes À anneaux violets viennent rendre ceux qui ont vécu bien plus utilent que lorsqu’ils ont vécu!!!
      ( quand les droits de Lhomme s’estompent devant les droits des asticots. Desproges)

      Ah mais je veux Juste dire il y a vraiment plein de choses à penser devant une feuille blanche, Un paysage ou un cimetière.

  13. Avatar de Toulet Alexis
    Toulet Alexis

    Une découverte potentiellement fondamentale sur le fonctionnement du cerveau a été annoncée tout récemment. Même si elle ne contribue pas à répondre aux questions proposées par Paul, il me semble qu’elle représente un élément de contexte important.

    Je n’ai pas trouvé d’article de vulgarisation en français en accès libre. En voici un en anglais https://www.livescience.com/newfound-brain-signal-discovered-in-human-neurons.html

    En résumé :
    – La compréhension actuelle du fonctionnement des neurones est qu’ils reçoivent des signaux activateurs ou inhibiteurs (positifs ou négatifs) d’un certain nombre d’autres neurones amont, par l’intermédiaire de leurs dendrites, puis transmettent ou non un signal activateur (« allumé » ou « éteint ») en aval par l’intermédiaire de leurs synapses. En somme, le neurone ne fait que s’activer ou pas en fonction des nombres et poids respectifs des signaux positifs et négatifs qu’il reçoit. C’est ce modèle qui sert notamment de base aux réseaux de neurones formels, c’est-à-dire à la simulation par ordinateur du fonctionnement du tissu neuronal
    – Une équipe de chercheurs allemands vient d’annoncer avoir découvert un autre fonctionnement, nettement plus riche, dans les dendrites de neurones issus du cortex humain. Ces dendrites ne se contentent pas de transmettre ou non en fonction du passage d’un certain seuil dans le signal reçu : ils ne transmettent que si le signal est dans une certaine plage de valeurs
    – Cette propriété signifie que les dendrites eux-mêmes, et donc un neurone unique, pourrait déjà disposer à lui seul d’une « capacité de calcul » importante, ou pour le dire autrement d’une richesse de fonction et de comportement telle que l’on pensait jusqu’ici que seul un réseau de neurones pourrait en disposer
    – L’équipe va chercher à déterminer entre autres si ce comportement des dendrites est spécifique à l’espèce humaine : il n’a pas été repéré tel quel sur des neurones de rongeurs, même si certaines choses pouvaient y faire penser, mais il a peut-être simplement été négligé. Même s’il n’existe pas chez les rongeurs, il pourrait exister chez nos proches cousins primates
    – La manière précise dont cette capacité de calcul fonctionne, quels en sont les rôles et fonctions , comment elle interagit avec le niveau d’échelle supérieure c’est-à-dire les comportements d’échelle réseau de neurones… ne peuvent pour l’instant qu’être l’objet de spéculation. L’article scientifique n’a été publié que le 3 janvier, il y a une semaine !

    S’il s’agit bien d’une découverte fondamentale – ça y ressemble – il faudra probablement un certain temps avant qu’on arrive à bien comprendre tout cela, et à ce qu’il puisse être question de s’en inspirer pour raffiner ou compléter les modèles de neurones formels.

    Reste qu’il est intéressant sans doute d’être conscient de ce contexte… et que les modèles de neurones formels devront probablement être complétés le moment venu de modèles représentant la « capacité de calcul » des dendrites. Et surtout, _comment_ cette capacité s’articule avec le niveau « réseau de neurones ».

    L’article scientifique est en accès libre ici https://science.sciencemag.org/content/367/6473/83.abstract

    1. Avatar de Toulet Alexis
      Toulet Alexis

      Correction : ce lien n’est en accès libre que pour le résumé de l’article. Je n’ai pas accès à l’article complet

    2. Avatar de timiota
      timiota

      Disons que ça ressemble plus à une découverte sur le hardware que sur le software, ça ne change pas drastiquement le « comment » d’un réseau neuronal, ça permet de subsumer certaines étapes, si je me fais l’avocat du diablotin…

      1. Avatar de Toulet Alexis
        Toulet Alexis

        Pas sûr, pour plusieurs raisons :

        – On n’a pas de détails sur les capacités et fonctions précises des dendrites. On vient tout juste de découvrir qu’ils en ont ! Il est pour le moins un peu tôt pour tirer des conclusions sur la nature et l’importance de ces capacités et fonctions.

        – La possibilité que chaque neurone puisse réaliser des traitements de l’information plus complexes que la compréhension que nous avions jusqu’ici pourrait nous amener à changer notre modèle mathématique même du genre de dispositif apte à simuler le fonctionnement neuronal. En gros, si chaque « nœud » du réseau des cellules du cerveau réalise des traitements plus riches que l’image que nous en avions… alors l’objet mathématique propre à les modéliser pourrait devoir être changé. Ce ne serait plus ce que nous appelons aujourd’hui un réseau de neurones formels.

        – Enfin la distinction entre matériel et logiciel est issue des ordinateurs, lesquels sont des approximations physiques de la machine de Turing. Un réseau de neurones formels n’est pas une machine de Turing – même si une machine de Turing est certes capable de le modéliser. Partant, la distinction entre matériel et logiciel n’est pas tellement pertinente s’agissant des réseaux de neurones

      2. Avatar de Sacristain
        Sacristain

        Les vertiges de l’analogie ! Un neurone formel a autant à voir avec un neurone biologique qu’un automate cellulaire avec une cellule vivante

      3. Avatar de Toulet Alexis
        Toulet Alexis

        @ Sacristain,

        Ce n’est pas une analogie, mais une modélisation.

        Il est bien évident que le neurone formel n’est pas le neurone réel, l’objectif de la modélisation n’est pas de faire du premier l’équivalent d’une cellule vivante, mais seulement de rendre compte de la « logique » appliquée par le neurone réel – tel qu’on la comprend à ce jour.

        Les réseaux de neurones formels sont utilisés très largement en intelligence artificielle, avec des résultats tout à fait probants. La modélisation du réel et du vivant par du formel a donc bien un sens.

        Épuise-t-elle l’ensemble de ce qui est « important » dans les neurones, et qui concourt à faire en sorte qu’entre les deux oreilles d’une personne vivante se trouve… quelqu’un ? C’est une autre question, qui est largement ouverte. Pour un exemple d’avis sceptique, voir https://www.pauljorion.com/blog/2017/09/15/intelligence-artificielle-forte-quatre-raisons-de-douter-par-alexis-toulet/

        Quoi qu’il en soit, même si la modélisation de l’activité cérébrale par réseau de neurones formels ne permet pas de rendre compte de l’ensemble de l’activité intellectuelle d’une personne, il reste qu’elle a un certain sens et une certaine efficacité. Les faits le montrent.

        Et si la logique appliquée par le neurone réel s’avère plus riche et plus complexe qu’on ne l’a soupçonné jusqu’à présent – c’est ce que suggère fortement, voire démontre l’étude publiée ces derniers jours – alors il est fort probable qu’il serait utile d’enrichir la modélisation du neurone formel pour continuer à progresser en intelligence artificielle.

        1. Avatar de Paul Jorion

          Je suis d’accord avec Sacristain que le recours aux réseaux neuronaux formels pour un certain type de traitement de l’information n’a pas, en intelligence artificielle, pour objectif de simuler le fonctionnement des neurones naturels, mais de tirer parti des propriétés émergentes intéressantes de ce type de filtre non-linéaire.

      4. Avatar de chienchien
        chienchien

        quelles prises de têtes avec tous ces cables ! Apprenez à vous construire des petites boites noires sans vous faires des noeuds au cerveau !

        1. Avatar de Paul Jorion

          Parfois on accueille les trolls avec une sorte de soulagement : ils créent comme une zone de repos bienvenue. Comme un Pierre Richard à un Gérard Depardieu. Ils permettent aux neurones de se refroidir quelques instants.

          P.S. Il est dommage que les filtres comme Akismet soient aussi efficaces qu’ils le sont.

      5. Avatar de timiota
        timiota

        D’accord, j’ai été voir l’abstract et c’est au moins un peu plus.
        Le « Larkum Lab » à Berlin (qui prend ses échantillons sur les épileptiques du Charité Hospital à côté) est un endroit bien intéressant :

        Matthew Evan Larkum
        https://www.projekte.hu-berlin.de/en/larkum/publications
        https://www.frontiersin.org/articles/10.3389/fnsys.2019.00043/full
        « Coupling the State and Contents of Consciousness » , le second plus récent après celui cité est en libre accès.

        Pas mal d’autres sont alléchants…

  14. Avatar de Bernadette
    Bernadette

    Oui Patrick. C’est cela avec notre vieillissement en spirale. Le gros problème est que nous n’avons plus de religion dans les campagnes avec une église romane. Plus de prêtres pour célébrer l’office du dimanche. Les enterrements sont actuellement réalisés par des femmes. La commune a réhabilité le presbytère pour en faire des locations.
    Non ça ne va plus…..

    1. Avatar de Bernadette
      Bernadette

      Il devient nécessaire de reprendre le sujet inversé. Un cerveau trop vieux qui a subi des chocs émotionnels de différentes importances devraient refonctionner depuis sa base. Il faut tester, mais attention aux éclaboussures.

    2. Avatar de timiota
      timiota

      Étrange symétrie que ces enterrements « de femmes » avec les naissances « de (sage-) femme ».

      Les hommes ont eu trop de loisir avec leur neurones (trop de pouvoir…) et ne se voient jamais assez comme préposés auX corpS humainS, sauf par le truchement d’une position de pouvoir/savoir, cléricale ou militaire ( me souffle Stendhal).

  15. Avatar de BasicRabbit
    BasicRabbit

    @ PJ

    1. Votre premier paragraphe est une analyse morphodynamique d’une image d’un chien, qui se termine par une synthèse logique, par exemple « c’est un chien ». Jean Petitot a étudié ce problème du hiatus entre logique et morphologique¹.

    Quid en 2020 des modèles géométriques initiés il y a déjà plus de 50 ans par Christopher Zeeman, René Thom² et développés par Petitot ?

    2. Où en est-on sur le problème des neurones miroir ? Je rêve d’un tel neurone en singularité du réseau, surtout si la singularité est associée à une catastrophe élémentaire thomienne (la fronce me satisferait tout-à-fait).

    Bien à vous,
    BR (toujours indécrottable thomien)

    ¹: http://jeanpetitot.com/ArticlesPDF/Petitot_ThomUrbino.pdf (jadis communiqué à Marc Peltier, que je salue au passage)

    ²: Cf. Apologie du logos (Hachette, 1990) pp. 569 à 576.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta