Illustration par Stable Diffusion (+PJ)
Ce qui a fait de GPT-4 publié le 14 mars 2023, une Intelligence Artificielle supérieure à celle de l’humain, ce n’est pas sa carte « probabiliste », c’est son « transformer », le dispositif qui lui permet l’équivalent d’une compréhension de ce qu’il lit et ce qu’il dit lui-même semblable à celle des humains : en faisant émerger un sens global d’une suite de mots.
Fait remarquable, ni ses concepteurs, ni les techniciens qui l’ont placé au cœur de machines ne comprennent toutes les subtilités du comportement du transformer, sa mise au point ayant réclamé une part considérable de tâtonnement empirique. La raison en est que l’on se situe ici au lieu où se manifestent des phénomènes d’émergence, où la combinaison particulière d’éléments en grand nombre et en interaction complexe produit de manière inattendue cette nouveauté qui a conduit à affirmer que le GPT-4 de OpenAI ou le LaMDA de Google, en situation de laboratoire : utilisés dans une version non-bridée, « pensent exactement comme nous », « disposent d’une conscience semblable à la nôtre », autant de déclarations bien entendu inédites dans l’histoire de l’humanité.
Le transformer est composé d’une batterie de têtes de lecture en parallèle, qui permettent d’intégrer en un sens global l’information contenue dans une suite de mots. On désigne par « auto-attention » de la machine ce mécanisme d’abstraction d’un sens global, par lequel l’impact particulier de chacun des mots de la phrase est évalué et agrégé à celui de l’ensemble des autres, le sens des phrases précédemment « comprises » constituant un contexte global de signification. L’auto-attention a résolu empiriquement une énigme qui avait condamné au silence les linguistes médiévaux, qui la désignaient du nom approprié de complexe significabile. L’article scientifique qui avait introduit en 2017 le concept-même du transformer était très pertinemment intitulé « Attention Is All You Need » : l’attention est tout ce qui compte .
La longueur de la suite de mots pris en considération pour en faire émerger un sens global n’a pas de fondement théorique : elle a été déterminée par essai et erreur. La combinaison du sens des divers mots, articulée à la carte de proximité de sens des mots constituée « une fois pour toutes » lors de l’apprentissage d’une génération du produit, permet de faire émerger du « prompt » entré par l’utilisateur, un sens global qui détermine la forme des phrases générées en sortie. Ce qu’on appelle « profondeur » d’un LMM, c’est le nombre d’étapes de calcul utilisées pour produire à partir du « prompt », la réponse offerte à l’utilisateur.
Illustration par Stable Diffusion (+PJ)
Laisser un commentaire