14 mars 2023 : le jour où le genre humain fut assailli par le doute IV. Le transformer a autorisé une intelligence supérieure à celle de l’humain

Illustration par Stable Diffusion (+PJ)

Ce qui a fait de GPT-4 publié le 14 mars 2023, une Intelligence Artificielle supérieure à celle de l’humain, ce n’est pas sa carte « probabiliste », c’est son « transformer », le dispositif qui lui permet l’équivalent d’une compréhension de ce qu’il lit et ce qu’il dit lui-même semblable à celle des humains : en faisant émerger un sens global d’une suite de mots.

Fait remarquable, ni ses concepteurs, ni les techniciens qui l’ont placé au cœur de machines ne comprennent toutes les subtilités du comportement du transformer, sa mise au point ayant réclamé une part considérable de tâtonnement empirique. La raison en est que l’on se situe ici au lieu où se manifestent des phénomènes d’émergence, où la combinaison particulière d’éléments en grand nombre et en interaction complexe produit de manière inattendue cette nouveauté qui a conduit à affirmer que le GPT-4 de OpenAI ou le LaMDA de Google, en situation de laboratoire : utilisés dans une version non-bridée, « pensent exactement comme nous », « disposent d’une conscience semblable à la nôtre », autant de déclarations bien entendu inédites dans l’histoire de l’humanité.

Le transformer est composé d’une batterie de têtes de lecture en parallèle, qui permettent d’intégrer en un sens global l’information contenue dans une suite de mots. On désigne par « auto-attention » de la machine ce mécanisme d’abstraction d’un sens global, par lequel l’impact particulier de chacun des mots de la phrase est évalué et agrégé à celui de l’ensemble des autres, le sens des phrases précédemment « comprises » constituant un contexte global de signification. L’auto-attention a résolu empiriquement une énigme qui avait condamné au silence les linguistes médiévaux, qui la désignaient du nom approprié de complexe significabile. L’article scientifique qui avait introduit en 2017 le concept-même du transformer était très pertinemment intitulé « Attention Is All You Need » : l’attention est tout ce qui compte .

La longueur de la suite de mots pris en considération pour en faire émerger un sens global n’a pas de fondement théorique : elle a été déterminée par essai et erreur. La combinaison du sens des divers mots, articulée à la carte de proximité de sens des mots constituée « une fois pour toutes » lors de l’apprentissage d’une génération du produit, permet de faire émerger du « prompt » entré par l’utilisateur, un sens global qui détermine la forme des phrases générées en sortie. Ce qu’on appelle « profondeur » d’un LMM, c’est le nombre d’étapes de calcul utilisées pour produire à partir du « prompt », la réponse offerte à l’utilisateur.    

Illustration par Stable Diffusion (+PJ)

Partager :

2 réponses à “14 mars 2023 : le jour où le genre humain fut assailli par le doute IV. Le transformer a autorisé une intelligence supérieure à celle de l’humain”

  1. Avatar de Hervey

    Un autre type d’attention devrait être porté aux langages des grands cétacés comme des petits oiseaux.
    Du travail pour ces Grands Modèles de Langage.

    https://www.youtube.com/watch?v=y_6QfurseNE

    https://www.youtube.com/watch?v=w0XQCnwCTcw

  2. Avatar de Paul Jorion

    Une illustration, par Max Tegmark.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Bienvenu en Charente que de nombreux britaniques sont venus habiter de façon temporaire et souvent permanente et grâce à eux…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta