14 mars 2023 : le jour où le genre humain fut assailli par le doute X. Le talon d’Achille de ChatGPT : l’apprentissage d’un seul coup

Illustration par DALL-E (+PJ)

La faiblesse des LLM, réside dans leur incapacité à se tenir véritablement à jour, étant privés de la capacité d’apprendre en continu : un corpus de données immense doit leur être procuré, pour un coût qui se chiffre en dizaines de millions de dollars, qu’elles absorbent d’un seul coup, sans pouvoir l’enrichir par la suite. Le seul moyen de les mettre à jour consiste à les ré-entraîner sur un corpus qui aura été lui mis à jour. Ce qui signifie que leur concept implique nécessairement une période de latence plus ou moins longue, une obsolescence plus ou moins sérieuse de leur savoir tant que des connaissances nouvellement acquises n’auront pas été réinjectées.

Lorsqu’un utilisateur a initié un dialogue avec ChatGPT, il est possible de creuser la question évoquée parce que la machine retient ce que l’utilisateur lui apprend dans le cadre d’une question particulière. Il est donc possible de revenir à la charge trois semaines plus tard, par exemple, dans le cadre d’un dialogue pré-existant en sachant que les connaissances entrées sous la forme de « prompts » (amorces) et le savoir que la machine a pu produire en réponse, demeurent à la disposition de l’utilisateur. La machine est cependant dans l’incapacité de se mettre à jour sur la base de ce que l’utilisateur a pu lui apprendre, si ce n’est qu’un jour à venir, ses conversations avec l’IA feront partie d’un nouveau corpus d’apprentissage

Bien entendu, on assure maintenant au Grand Modèle de Langage la possibilité par le biais de plug-in, de programmes sous-traitants, de se renseigner en direct, d’aller s’informer du dernier état d’une question en allant consulter l’Internet, mais quand ChatGPT cale et qu’il soupçonne ou qu’il a compris que c’est parce que la question qu’on lui pose est une question d’actualité, il confesse humblement que son information la plus récente date de septembre 2021, date à laquelle furent gelées les donnés qui servirent à son apprentissage. Son savoir sera mis à jour à une date ultérieure mais en attendant, il restera daté.

La crédibilité de ces IA dépend donc de leur entretien par des humains. Une raison quelconque ferait que des mises à jour ultérieures à septembre 2021 n’aient pas lieu et les dissertations produites en réponse par ChatGPT perdraient davantage de leur pertinence à chaque jour qui passe. Ironiquement, c’est l’existence même de ces LLM et l’effet d’emballement du savoir qu’ils autorisent qui fait que l’obsolescence du savoir par jour qui passe augmente régulièrement.

C’est là le talon d’Achille de ces LLM : leur incapacité à se mettre à jour si ce n’est par apprentissage d’un seul coup. Heureusement pour l’avenir, certains d’entre nous connaissent le remède à cette carence, pour l’avoir expérimenté dans des projets d’Intelligence Artificielle inspirés par d’autres principes que les Generative Pre-trained Transformers.

Illustration par Stable Diffusion (+PJ)

Partager :

Une réponse à “14 mars 2023 : le jour où le genre humain fut assailli par le doute X. Le talon d’Achille de ChatGPT : l’apprentissage d’un seul coup”

  1. Avatar de Lagarde Georges
    Lagarde Georges

    Je comprends qu’il puisse y avoir une différence entre s’informer au sujet de quelque chose en faisant des recherches sur Internet au moment où on consulte ChatGPT et les capacités qu’il aurait acquises en disposant des mêmes informations lors d’un apprentissage, mais cette différence reste pour moi assez mystérieuse: s’il est capable de relier les questions qu’on lui pose à ce qu’il a appris pourquoi n’est-il pas capable d’en faire autant pour les informations nouvelles qu’il est capable de trouver sur Internet ?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Merci pour votre retour. T.Prévost fait partie de ces journalistes-penseurs nécessaires en ces temps qui conjuguent l’accélération techno avec le…

  2. Même Ghandi n’aurait pas réussi, avec les moyens de propagande d’aujourd’hui. Les chaînes de télé en continu l’aurait traîné dans…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta