![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-03-08-16.42.47-Create-a-detailed-visualization-of-a-universe-of-words-depicted-as-a-hypercomplex-network-on-a-pale-yellow-background.-The-image-should-feature-a-vast.webp\")
<\/a><\/p>\nIllustration par DALL\u00b7E (+PJ)<\/em><\/p>\n Je suis tr\u00e8s heureux d’entendre enfin un son de cloche positif quant \u00e0 l’IA quand le discours ambient vise soit \u00e0 d\u00e9former soit m\u00eame \u00e0 nier les progr\u00e8s faits dans le domaine.<\/p>\n Je suis chercheur en linguistique informatique depuis pr\u00e8s de 30 ans. J’ai fait une maitrise d’informatique \u00e0 l’Institut de Programmation de Paris VI dans les ann\u00e9es 80 avant de faire une th\u00e8se en linguistique \u00e0 l’Universit\u00e9 de Montr\u00e9al. J’ai fait la majorit\u00e9 de ma carri\u00e8re autour des m\u00e9thodes symboliques au sein de l’\u00e9quipe ParSem \u00e0 XRCE (le centre europ\u00e9en de recherche de Xerox \u00e0 Grenoble). J’y ai d\u00e9velopp\u00e9 \u00e0 la suite de ma th\u00e8se un moteur d’analyse syntaxique\u00a0: XIP qui dans les ann\u00e9es 2000 permettait d’extraire des d\u00e9pendances dans un texte \u00e0 la vitesse de 3000 mots\/s. En 2016 nous avons m\u00eame gagn\u00e9 une comp\u00e9tition \u00e0 SemEval pour l’extraction des sentiments dans un corpus de critiques de restaurant.<\/p>\n Puis en 2017 est sorti transformer<\/em><\/a> (l’article \u00ab\u00a0Attention is all you need\u00a0\u00bb<\/a>) et \u00e0 partir de l\u00e0 tout s’est emball\u00e9…<\/p>\n Pour les esprits chagrins qui nient l’existence de ces progr\u00e8s, je r\u00e9ponds la chose suivante: JE NE PENSAIS PAS VOIR D\u00c9BARQUER UNE TELLE TECHNOLOGIE DE MON VIVANT.<\/p>\n Suis-je amer\u00a0? Certainement pas, j’ai la chance de vivre tout ce dont j’ai r\u00eav\u00e9 quand j’ai commenc\u00e9 \u00e0 travailler dans le domaine. Traduction Automatique, Analyse de texte, G\u00e9n\u00e9ration de texte et de code, Compr\u00e9hension du texte, j’en passe et des meilleurs.<\/p>\n Alors pourquoi ont-ils r\u00e9ussi l\u00e0 o\u00f9 l’\u00e9quipe dans laquelle j’ai travaill\u00e9 pendant 20 ans a \u00e9chou\u00e9 ?<\/p>\n Il n’y a certainement pas de r\u00e9ponse simple, mais je vais tenter d’apporter ma pierre personnelle, qui vaut ce qu’elle vaut. Que les vrais sp\u00e9cialistes pardonnent \u00e0 quelqu’un qui a err\u00e9 sur les chemins du symbolique…<\/p>\n La linguistique traditionnelle (j’y inclus aussi les m\u00e9thodes \u00e0 noyaux) a divis\u00e9 la langue en une multitude de champs diff\u00e9rents : lexicologie, syntaxe, s\u00e9mantique, analyse du discours sans jamais r\u00e9ussir \u00e0 jeter des ponts entre ces domaines<\/em>.<\/p>\n Nous faisions de la syntaxe en m\u00ealant un peu de s\u00e9mantique dans notre groupe, mais nous nous heurtions sans cesse \u00e0 un plafond de verre, car le sens commun nous \u00e9chappait. Nous n’arrivions pas \u00e0 injecter suffisamment de connaissances du monde dans nos approches et le moindre ant\u00e9c\u00e9dent qu’il soit anaphorique ou pire cataphorique faisait d\u00e9raper nos mod\u00e8les.<\/p>\n Malgr\u00e9 tous nos efforts, notre travail restait laborieux et maladroit… Nous arrivions \u00e0 quelques r\u00e9sultats, certes, mais au prix d’un labeur de b\u00e9n\u00e9dictin.<\/p>\n Les Grands Mod\u00e8les de Langue unifient l’ensemble de ces axes. Car lorsque un GML fonctionne, il dispose d’une repr\u00e9sentation unifi\u00e9e de la s\u00e9mantique (les plongements ou embeddings<\/em>) que l’utilisation de l’attention permet de mettre en regard les uns avec les autres.<\/p>\n On entend souvent des critiques affirmer avec une certaine morgue que ces mod\u00e8les ne font que compl\u00e9ter le mot suivant. C’est idiot… Ce que ces mod\u00e8les font c’est apprendre sur des contextes de plusieurs milliers de tokens<\/em> \u00e0 deviner un mot masqu\u00e9. D’une certaine mani\u00e8re, ils sont entrain\u00e9s \u00e0 r\u00e9soudre des milliards d’exercices \u00e0 trous. Et ils apprennent d\u00e8s lors, des milliards de motifs s\u00e9mantiques extr\u00eamement fins, je dis s\u00e9mantique<\/em>, parce que les plongements ne sont pas vraiment li\u00e9s \u00e0 une langue donn\u00e9e, mais bel et bien \u00e0 des concepts s\u00e9mantiques. En ing\u00e9rant toute la connaissance du monde, ils finissent par construire un filet qui lie entre elles toutes les exp\u00e9riences pr\u00e9sentes et pass\u00e9es de notre humanit\u00e9.<\/p>\n En cela, ils sont une parfaite distillation de nos civilisations.<\/p>\n Aujourd’hui, je crois qu’il faut absolument d\u00e9multiplier nos efforts en recherche dans tous les domaines et dans toutes les langues, pour fournir toujours plus de donn\u00e9es \u00e0 ces mod\u00e8les, parce que nombre de nos probl\u00e8mes actuels, dans le monde de l’\u00e9nergie ou de la m\u00e9decine, trouveront peut-\u00eatre leur solution dans le croisement de donn\u00e9es scientifiques disparates que nos cerveaux humains limit\u00e9s sont incapables d’\u00e9tablir. Il existe peut-\u00eatre un texte en sanscrit qui d\u00e9crit une m\u00e9thode pour soigner certaines maladies avec certaines plantes. Aujourd’hui, il devient possible pour n’importe qui d’y avoir acc\u00e8s.<\/p>\n Il s’est publi\u00e9 pr\u00e8s de 3 millions d’articles scientifiques l’an dernier, seule la machine peut les dig\u00e9rer tous.<\/p>\n