14 mars 2023 : le jour où le genre humain fut assailli par le doute VII. Nos théories linguistiques s’égaraient

Illustration par DALL-E (+PJ)

Quelles sont les conséquences du succès des LLM pour notre compréhension de l’apprentissage de la langue et du raisonnement chez nous, sujets humains ? Ce succès remet en question en réalité la quasi-totalité de nos modèles et en particulier les représentations de type classique désormais comme la linguistique transformationnelle ou générative de Noam Chomsky, mise au point par lui à partir de la fin des années 1950, qui supposent chez l’être humain une structure innée lui permettant l’usage du langage, l’enfant se contentant de « constater » quelle est la langue qui sera sa langue maternelle, pour se couler alors dans son moule. Or rien dans la « compréhension » de la langue par les LLM ne laisse entrevoir quoi que ce soit de la sorte . Les guillemets s’imposent bien sûr pour « compréhension » quand on évoque le processus par lequel les LLM appréhendent les amorces que les utilisateurs leur proposent, mais lorsqu’on voit les réponses structurées et toujours bien à propos qu’ils proposent en retour, on est forcé d’imaginer qu’est à l’œuvre chez eux un processus comparable à celui que nous appelons compréhension lorsqu’il a pour cadre notre for intérieur.

Ilya Sutskever, directeur du département recherche chez OpenAI, et l’un des fondateurs de la firme, avait prévu depuis de nombreuses années que les capacités linguistiques émergeraient dans des réseaux neuronaux complexes, ignorant l’opposition que nous établissons spontanément entre la forme et le fond, la structure et le contenu. Dans un entretien qu’il accordait en 2020, il prédisait qu’une montée en taille du réseau neuronal lui permettrait d’abord d’appréhender sur un mode statistique les structures syntaxiques, et qu’une augmentation additionnelle de sa taille le ferait parvenir ensuite à une compréhension de type sémantique, toujours sur un mode purement statistique.

Aucun fossé dans ce cas entre le sens des mots et l’organisation de la phrase, juste les différentes étapes d’un processus progressif, selon une logique de montée en puissance d’ordre purement quantitatif : une première intuition de la structure globale de la phrase, suivie d’une compréhension du sens des mots, tombant au lieu qui leur est assigné au sein de ce cadre.

Bien entendu des seuils sont franchis au cours de ce processus de montée en puissance quantitative mais il n’y a à aucun moment dans ce mouvement progressif de compréhension, nécessité de se tourner vers un corpus de règles à appliquer : au sein de la globalité désorganisée des mots, l’ordre émerge par niveaux pour nulle autre raison que celle, banale, sinon désespérante, de moyens plus puissants mis à disposition : davantage de phrases ingurgitées, un réseau neuronal plus gros pour les absorber, sans adjonction de nouveaux dispositifs de traitement qui introduiraient eux des considérations d’ordre qualitatif, comme ce serait le cas s’il était question de règles à appliquer en contexte, selon les cas.

Bref, si l’on garde les yeux fixés sur la performance, on constate qu’en-dessous d’une taille minimum pour le réseau neuronal, la capacité du logiciel à résoudre des problèmes requérant de l’intelligence demeure nulle ou presque, alors qu’aussitôt ce seuil franchi, la performance s’améliore avec régularité avec la taille, et cela, quelle que soit la nature du casse-tête à résoudre.

Illustration par Stable Diffusion (+PJ)

Partager :

4 réponses à “14 mars 2023 : le jour où le genre humain fut assailli par le doute VII. Nos théories linguistiques s’égaraient”

  1. Avatar de arkao

    DALL-E nous a pondu un nouveau manuscrit de Voynich 😉
    https://fr.wikipedia.org/wiki/Manuscrit_de_Voynich

  2. Avatar de Paul Jorion

    Une question m’est posée :

    En espérant un bref éclairage, voire des conseils bibliographiques en grammaires adaptées au TALN (Traitement automatique du langage naturel), question courte : quelles sont les grammaires « linguistiques » et « théoriques » les plus adaptées au TALN ? Celle de Chomsky ? Autres ?

    Voici ma réponse :

    Merci pour votre message. Le paradoxe présent, c’est qu’aucune théorie linguistique ne fonctionne : les Grands Modèles de Langage apprennent la syntaxe et la sémantique « sur le tas », les seuils de compréhension correspondant à des critères purement quantitatifs : c’est la taille, et elle seule, du « tas » qui fait la différence. Là où on attendait des structures et des règles se coulant dans ces structures, il n’y a en réalité que de l’émergence et de l’auto-organisation. C’est le paradigme tout entier de la « science linguistique » : « On va trouver des règles », qui est ébranlé.

    1. Avatar de un lecteur
      un lecteur

      L’émergence et l’auto-organisation à la source même du langage lui permet de se placer au-dessus de toutes les théories humaines, puisqu’un plus gros tas permet de faire des théories plus générales.
      Nous sommes déjà les orang-outang du langage.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Bienvenu en Charente que de nombreux britaniques sont venus habiter de façon temporaire et souvent permanente et grâce à eux…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta