L’explosion : « Ce bruit de frappe furieuse que vous entendez est celui de milliers de hackers de par le monde … »

Illustration par DALL-E (+PJ)

Large language models are having their Stable Diffusion moment, par Simon Willison, mis en ligne le 11 mars 2023.

Des dizaines de modèles linguistiques ouverts ont été publiés au cours des dernières années, mais aucun d’entre eux n’a réussi à me satisfaire sur les points suivants :

  1. Facilité d’exécution sur mon propre matériel
  2. Suffisamment grand pour être utile – idéalement équivalent en termes de capacités au GPT-3
  3. Suffisamment ouvert pour pouvoir être modifié.

Tout cela a changé hier, grâce à la combinaison du modèle LLaMA de Facebook et de llama.cpp de Georgi Gerganov.

[…] Ils sont donc dans la nature maintenant. Vous ne pourrez peut-être pas légalement créer un produit commercial à partir d’eux, mais le génie est sorti de la bouteille. Ce bruit de frappe furieuse que vous pouvez entendre est celui de milliers de hackers de par le monde qui commencent à creuser et à découvrir ce qu’est la vie quand on peut faire tourner un modèle de classe GPT-3 sur son propre matériel.

Partager :

21 réponses à “L’explosion : « Ce bruit de frappe furieuse que vous entendez est celui de milliers de hackers de par le monde … »

  1. Avatar de Khanard
    Khanard

    Ne vous fiez pas aux extraits donnés en billet et suivez impérativement le lien donné dès les premières lignes .
    Cela change totalement la perspective et l’ampleur de cette révolution que sont les GPT .

    Jusqu’où allons nous ?

    1. Avatar de petit coton
      petit coton

      Exact, là on commence à voir ce qui est en train de se passer.

  2. Avatar de Paul Jorion

    Source :

    We Have No Moat

    La chronologie

    24 février 2023 – Lancement de LLaMA

    Meta lance LLaMA, en ouvrant le code, mais pas les poids. À ce stade, LLaMA n’est pas réglé en termes d’instruction ou de conversation. Comme beaucoup de modèles actuels, il s’agit d’un modèle relativement petit (disponible avec des paramètres de 7B, 13B, 33B et 65B) qui a été entraîné pendant une période relativement longue, et qui est donc assez performant par rapport à sa taille.

    3 mars 2023 – L’inévitable se produit

    En l’espace d’une semaine, LLaMA est divulgué au public. L’impact sur la communauté ne peut être surestimé. Les licences existantes empêchent son utilisation à des fins commerciales, mais soudain, tout le monde peut expérimenter. À partir de ce moment, les innovations se succèdent à un rythme effréné.

    12 mars 2023 – Modèles de langue sur un grille-pain

    Un peu plus d’une semaine plus tard, Artem Andreenko fait fonctionner le modèle sur un Raspberry Pi. À ce stade, le modèle fonctionne trop lentement pour être pratique, car les poids doivent être transférés dans la mémoire et en sortir. Néanmoins, cela prépare le terrain pour un assaut d’efforts de minification.

    13 mars 2023 – Mise au point sur un ordinateur portable

    Le lendemain, Stanford publie Alpaca, qui ajoute le réglage des instructions à LLaMA. Plus important que les poids réels, cependant, était le repo alpaca-lora d’Eric Wang, qui utilisait un réglage fin de rang inférieur pour effectuer cette formation « en quelques heures sur une seule RTX 4090 ».
    Soudain, n’importe qui pouvait affiner le modèle pour faire n’importe quoi, ce qui a donné le coup d’envoi d’une course vers le bas pour les projets d’affinage à petit budget. Les articles décrivent fièrement leur dépense totale de quelques centaines de dollars. De plus, les mises à jour de bas niveau peuvent être distribuées facilement et séparément des poids originaux, ce qui les rend indépendantes de la licence originale de Meta. Tout le monde peut les partager et les appliquer.

    18 mars 2023 – Maintenant c’est rapide

    Georgi Gerganov utilise la quantification à 4 bits pour exécuter LLaMA sur un processeur MacBook. C’est la première solution « sans GPU » qui est assez rapide pour être pratique.

    19 mars 2023 – Un modèle 13B atteint la « parité » avec Bard

    Le lendemain, une collaboration inter-universitaire publie Vicuna, et utilise GPT-4-powered eval pour fournir des comparaisons qualitatives des résultats du modèle. Bien que la méthode d’évaluation soit suspecte, le modèle est matériellement meilleur que les variantes précédentes. Coût de la formation : 300 dollars.
    Ils ont notamment pu utiliser les données de ChatGPT en contournant les restrictions de son API – ils ont simplement échantillonné des exemples de dialogues ChatGPT « impressionnants » affichés sur des sites tels que ShareGPT.

    25 mars 2023 – Choisissez votre propre modèle

    Nomic crée GPT4All, qui est à la fois un modèle et, plus important encore, un écosystème. Pour la première fois, nous voyons des modèles (y compris Vicuna) rassemblés en un seul endroit. Coût de la formation : 100 $.

    28 mars 2023 – Open Source GPT-3

    Cerebras (à ne pas confondre avec notre propre Cerebra) entraîne l’architecture GPT-3 en utilisant le calendrier de calcul optimal impliqué par Chinchilla, et la mise à l’échelle optimale impliquée par la μ-paramétrage. Ce modèle surpasse largement les clones GPT-3 existants et représente la première utilisation confirmée de la paramétrisation μ « dans la nature ». Ces modèles sont formés à partir de zéro, ce qui signifie que la communauté n’est plus dépendante de LLaMA.

    28 mars 2023 – Formation multimodale en une heure

    En utilisant une nouvelle technique de réglage fin efficace des paramètres (PEFT), LLaMA-Adapter introduit le réglage des instructions et la multimodalité en une heure de formation. De manière impressionnante, ils y parviennent avec seulement 1,2 million de paramètres pouvant être appris. Le modèle atteint un nouveau SOTA sur le ScienceQA multimodal.

    3 avril 2023 – Les vrais humains ne peuvent pas faire la différence entre un modèle ouvert 13B et ChatGPT

    Berkeley lance Koala, un modèle de dialogue formé entièrement à partir de données librement disponibles.
    L’étape cruciale consiste à mesurer les préférences humaines réelles entre leur modèle et ChatGPT. Bien que ChatGPT conserve un léger avantage, plus de 50 % des utilisateurs préfèrent Koala ou n’ont pas de préférence. Coût de la formation : 100 $.

    15 avril 2023 – Open Source RLHF au niveau de ChatGPT

    Open Assistant lance un modèle et, plus important encore, un ensemble de données pour l’alignement via RLHF. Leur modèle est proche (48.3% vs. 51.7%) de ChatGPT en termes de préférence humaine. En plus de LLaMA, ils montrent que cet ensemble de données peut être appliqué à Pythia-12B, donnant aux gens la possibilité d’utiliser une pile entièrement ouverte pour exécuter le modèle. De plus, comme l’ensemble des données est accessible au public, RLHF passe de l’irréalisable au bon marché et à la facilité pour les petits expérimentateurs.

  3. Avatar de Garorock
    Garorock

    Piqure de rappel un peu bidouillée (l’histoire s’accélère…) 😎

    La bataille aura lieu entre les Hackers éthiques ( humanitaires) et les Hackers narcissiques (identitaires)
    Selon le principe des vases communiquants…
    Ce qui devrait être en mesure de nous rassurer, c’est qu’aujourd’hui encore, malgré le F.N aux portes de Matignon, le savoir structuré l’emporte largement sur le savoir déstructuré…
    C’est pour cela qu’ils attendent que le minou ait mangé toutes les bonnes croquettes avant de le laisser lire tous ce que les guignols écrivent sur internet.
    Et les Hackers éthiques iront forcément faire un tour sur GPT 5…

    1. Avatar de Benjamin
      Benjamin

      @ Garorock,

      La bataille… comment dire !?… vue de ma fenêtre professionnelle… cela fait belle lurette qu’elle a été gagnée par les hackers non éthiques (qui sont 4 à 5 fois plus nombreux et actifs que les éthiques).

      Allez trainer un peu dans le darknet (qui pour le coup porte très bien son nom)… et vous verrez qu’il n’y a rien (mais vraiment rien) d’enthousiasmant à avoir ouvert la bouteille et libéré le génie pour le laisser être analyser par des esprits faisant preuve d’aucune éthique.

      Et vu que certains entreprises ont testé les capacités du minou dans des domaines diversifiés tels que la rédaction d’articles, de comptes-rendus ou encore de mails… Vu que certains salariés sont allés jusqu’à intégrer ChatGPT dans leurs outils de travail quotidien, principalement pour éviter des tâches fastidieuses telles que les mails types, la génération de contenu marketing, la recherche de contenu scientifique, ou encore pour la rédaction de messages de prospection commerciale… Certains secteurs (économiques) risquent de belles déconvenues dans les semaines à venir quand les hackers non éthiques auront fait « main basse » sur toute cette matière.

      Car il y a une absence de confidentialité des données traitées par le minou conversationnel. Les données « publiées » sur ChatGPT par un utilisateur peuvent en effet être réutilisées pour entrainer le logiciel, sans qu’aucune information précise ne soit communiquée à l’utilisateur quant au sort (final) réservé à ses données ainsi traitées.

      Il y a un donc un gisement potentiel de données d’intérêt (pour des esprits malveillants). Il faut donc s’attendre à de nouvelles formes de rançonnage vers les professionnels (sans exclure que des particuliers soient également exposés). Et des nouvelles formes d’attaques car couplé aux bases de données « illicites » (car dérobées aux administrations publiques des 4 coins du globe, aux entreprises… voire à des particuliers) qui circulent dans le Darknet, le minou pourrait griffer des pans entier du web… voir dévorer des vies (pas que virtuelles celle là en cas d’arnaque/usurpation d’identité).

      Enfin, dans cette guerre de hackers, c’est peut-être le plan C qui pourrait partir en fumée…

      1. Avatar de Garorock
        Garorock

        J’entends tout ce que tu dis Benjamin.
        je ne vais pas sur le Darknet parce que je sais que je vais y trouver des choses que je n’ai pas envie de trouver!
        Qu’a fait Elun Musk de nos données?
        Y’a surement des fichiers qui s’échangent… C’est pas nouveau.
        Les entreprises vont avoir des problèmes, les particuliers aussi. C’est déja le cas.
        Puissance mille?
        Je ne sais pas. Possible.
        Mais c’est un peu le même problème – dans le cadre actuel- qu’avec les pêcheurs à la ligne.
        Entre les hackers éthiques et les hackers narcissiques, il y a ceux qui s’abstiennent encore de faire quelque chose. Si une bonne partie de ceux là, rejoint activement – pas en faisant des prières – le camps des Hackers éthiques, les identitaires ne gagneront pas.
        Selon le principe des vases communiquants…
        Comment faire? C’est toujours la bonne question!
        Mais en assassinant tout espoir, on ne fait que séduire l’indésirable…
        😎

        1. Avatar de Benjamin
          Benjamin

          @ Garorock,

          « […] Entre les hackers éthiques et les hackers narcissiques, il y a ceux qui s’abstiennent encore de faire quelque chose. Si une bonne partie de ceux là, rejoint activement – pas en faisant des prières – le camps des Hackers éthiques, les identitaires ne gagneront pas. […] ».

          Désolé… Mais c’est un vœux pieu !

          Vu le nombre d’attaques que subit n’importe qu’elle entreprise/administration en France (et si beaucoup partent de Russie dans le contexte géo-politique actuel, beaucoup d’autres viennent notamment d’Occident), si nos minous conversationnels permettent aux hacker non éthiques de passer sur un rapport de 1 à 1 000 en terme d’intensité d’activité malveillante sur les réseaux, que les « Jedi gris » du net basculent (ou pas) du bon côté de la Force ne changera pas grand chose au résultat final : les digues (des système de sécurité informatique) tomberont… des entreprises, des administrations et (au final) des particuliers verront leur donnée disparaitre, être prise en otage (contre monnaie sonnante et trébuchante) et/ou être durablement vérolées !

          Sincèrement, le Darknet en dit déjà beaucoup sur la capacité de nuisance des hacker non éthiques.

          PS : et entre nous, ces hackers là s’en foutent royalement des questions identitaires. Pour la plupart, c’est l’appât du gain (« argent facile » comme dirait John Connor dans Terminator 2) ou l’obsession de détruire le net qui les motivent.

          1. Avatar de Garorock
            Garorock

            Ben, ce que tu me décris dans ton deuxième paragraphe, c’est ce qu’on appelle ni plus ni moins, un effondrement!
            L’effondrement que tu sembles espérer en le rendant par définition inéluctable, sur un blog qui se veut un chouia optimiste…
            Si Poutine avait appuyé sur le gros bouton rouge nous n’en serions pas là.
            Oui, y’a des narcissiques qui ne sont pas identitaires (quoiqu’un narcissique identitaire, c’est déja presque un pléonasme) – je ne veux pas gagner de fric pour être plus moche..- mais ça n’empêchera pas les identitaires de tous bord de se pointer non plus.
            Tout dépendra de qui va se pointer en face et avec quelle puissance!
            Et cela nous ne pouvons pas encore le savoir.
            Nous ne sommes pas obligés de parier que ce sont les méchants qui vont gagner. En général, cela leur donne toujours un peu d’avance.
            Quant à l’effondrement.. On était prévenus.
            Et comme toujours, nous ne serons pas prêts.

            1. Avatar de Garorock
              Garorock

              https://youtu.be/CrKH23jx52g
              Climat : comment passer de la peur à l’action ? avec @jean-marcjancovici
              On avance…

            2. Avatar de Benjamin
              Benjamin

              @ Garorock,

              « […] L’effondrement que tu sembles espérer en le rendant par définition inéluctable, sur un blog qui se veut un chouia optimiste… […] »

              L’effondrement, je ne l’espère pas : nous le vivons déjà !

              Nos sociétés occidentales craquent : ça devient de plus en plus perceptible. La monté de mouvements extrémistes au 4 coins des pays développés, l’autoritarisme politique galopant, la répartition de plus en plus inégalitaire et injuste des richesses, l’évolution du climat, l’émergence de plus en plus fréquente de virus (et donc d’épidémies d’ampleur)… Tous les indices d’une phase initiale d’effondrement généralisé s’alignent les uns après les autres (ça se fissure de tous les côtés).

              Et là on parle de donner les moyens à certains de pouvoir saper encore plus les fondations de nos sociétés…. Oui nous étions prévenus…. Et nous faisons tout ce qu’il faut surtout pas faire pour empêcher la catastrophe en cours de prendre des proportions dramatiques.

      2. Avatar de Patate
        Patate

        « le Darknet »… rien que le fait d’utiliser ce « mot » discrédite quelque peu le propos…

        1. Avatar de Benjamin
          Benjamin

          @ Patata,

          C’est pourtant bel et bien le « mot » (grand public) utiliser pour identifier ce « espace parallèle » du net – où, si on est plus pointilleux, ces « espaces » car en fait il faut en parler au pluriel – qui ne ser(ven)t pas toujours qu’à échanger des fichiers…

          Après appelez ça comme vous le voulez… Mais le fait est que le terme « Darknet » parle à pas mal de monde.

  4. Avatar de timiota
    timiota

    Après m’être inscrit à la Ligue des Droits de l’homme (qui un jour s’appelera sans doute Ligue des Droits Humains), je vais de ce pas m’inscrire à l’assocation Hackers d’AI Ethique (la HAIE, à défait de « moat »= douve).

    (dont les statuts auront bien sûr été générés par un automate conversationnel pas trop étique)

  5. Avatar de Ruiz
    Ruiz

    Jacques Attali sur France Culture vient de citer Paul Jorion

    1. Avatar de Khanard
      Khanard

      @Ruiz

      Et?

      1. Avatar de Ruiz
        Ruiz

        Et même après en ce moment France Culture reste pertinent ce matin …

        1. Avatar de Ruiz
          Ruiz

          France Culture à 10h philosophe toute la semaine sur l’IA …

  6. Avatar de Arnaud Castex
    Arnaud Castex

    Bon dieu arrêtez avec vos posts vous me faites sentir toute ma nullitude moi qui n’ai jamais codé autrement qu’en fortran et ce il y 25 ans… Ai-je raté ma vie d’ingénieur 😱 ??? … Bon d’un autre côté avec le recul de l’âge de la retraite, il va bien falloir s’y mettre… Vla qui m’assure d’une salutaire (et douloureuse ?) sortie de ma zone de confort 😉 !

  7. Avatar de Bournoville
    Bournoville

    Je partage votre vision et votre espoir.

Répondre à Paul Jorion Annuler la réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. @ Ruiz, Un savoir c’est l’ensemble des connaissances/informations acquises par une personne ou une collectivité via l’étude, l’observation, l’apprentissage et/ou…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta