The Guardian, Une lettre signée par Elon Musk demandant une pause dans la recherche en IA suscite la controverse, le 1er avril 2023

Intelligence artificielle : Elon Musk et des centaines d’experts alertent sur les « risques majeurs pour l’humanité »

Il s’avère que la déclaration comportait de fausses signatures et certains chercheurs ont condamné l’utilisation de leurs travaux.

Une lettre cosignée par Elon Musk et des milliers d’autres personnes demandant une pause dans la recherche sur l’intelligence artificielle a déclenché une tornade lorsque des chercheurs cités dans la lettre ont condamné l’utilisation de leurs travaux, que certains signataires se sont révélés être de fausses signatures et que d’autres sont revenus sur leur soutien.

Le 22 mars, plus de 1.800 signataires – dont M. Musk, le spécialiste des sciences cognitives Gary Marcus et le cofondateur d’Apple Steve Wozniak – ont demandé une pause de six mois dans le développement de systèmes « plus puissants » que le GPT-4. Des ingénieurs d’Amazon, de DeepMind, de Google, de Meta et de Microsoft ont également apporté leur soutien.

Développé par OpenAI, une société cofondée par Musk et désormais soutenue par Microsoft, GPT-4 a développé la capacité de tenir une conversation semblable à celle d’un humain, de composer des chansons et de résumer de longs documents. De tels systèmes d’IA dotés d’une « intelligence rivalisant avec celle de l’homme » représentent un risque profond pour l’humanité, affirme la lettre.

« Les laboratoires d’IA et les experts indépendants devraient profiter de cette pause pour élaborer et mettre en œuvre conjointement un ensemble de protocoles de sécurité partagés pour la conception et le développement de l’IA avancée, qui soient rigoureusement vérifiés et supervisés par des experts externes indépendants », indique la lettre.

L’institut Future of Life, le groupe de réflexion qui a coordonné l’initiative, a cité 12 études réalisées par des experts, dont des universitaires et des employés actuels et anciens d’OpenAI, de Google et de sa filiale DeepMind. Cependant, quatre experts cités dans la lettre ont exprimé leur inquiétude quant à l’utilisation de leurs recherches pour formuler de telles affirmations.

Lors de son lancement initial, la lettre ne comportait pas de protocole de vérification des signatures et a recueilli des signatures de personnes qui ne l’avaient pas réellement signée, notamment Xi Jinping et Yann LeCun, le scientifique en chef de Meta spécialisé dans l’IA, qui a précisé sur Twitter qu’il ne la soutenait pas.

Les critiques ont accusé le Future of Life Institute (FLI), qui est principalement financé par la Fondation Musk, de donner la priorité à des scénarios apocalyptiques imaginaires plutôt qu’à des préoccupations plus immédiates concernant l’IA, telles que les préjugés racistes ou sexistes programmés dans les machines.

Parmi les recherches citées figure « On the Dangers of Stochastic Parrots », un document bien connu coécrit par Margaret Mitchell, qui a précédemment supervisé la recherche éthique sur l’IA chez Google. Mme Mitchell, aujourd’hui responsable de la recherche éthique au sein de la société d’IA Hugging Face, a critiqué la lettre, déclarant à Reuters qu’il n’était pas évident de déterminer ce qui est vu comme « plus puissant que le GPT4 ».

« En considérant un grand nombre d’idées douteuses comme acquises, la lettre affirme un ensemble de priorités et un discours sur l’IA qui profite aux partisans du Future of Life Institute », a-t-elle déclaré. « Ignorer les effets néfastes actuels est un privilège que certains d’entre nous n’ont pas. »

Ses coauteurs, Timnit Gebru et Emily M Bender, ont critiqué la lettre sur Twitter, cette dernière qualifiant certaines de ses affirmations de « farfelues » *. Shiri Dori-Hacohen, professeur adjoint à l’université du Connecticut, a également contesté la mention de son travail dans la lettre. L’année dernière, elle a cosigné un document de recherche dans lequel elle affirmait que l’utilisation généralisée de l’IA présentait déjà de graves risques.

Selon ses recherches, l’utilisation actuelle des systèmes d’IA pourrait influencer la prise de décision en matière de changement climatique, de guerre nucléaire et d’autres menaces existentielles.

Elle a déclaré à Reuters : « L’IA n’a pas besoin d’atteindre le niveau d’intelligence humaine pour exacerber ces risques.

« Il existe des risques non existentiels qui sont vraiment, vraiment importants, mais qui ne reçoivent pas le même type d’attention qu’à Hollywood.

Interrogé sur ces critiques, Max Tegmark, président du Future of Life Institute, a déclaré que les risques à court et à long terme de l’IA devaient être pris au sérieux. « Si nous citons quelqu’un, cela signifie simplement que nous affirmons qu’il approuve cette phrase. Cela ne signifie pas qu’ils approuvent la lettre, ou que nous approuvons tout ce qu’ils pensent », a-t-il déclaré à Reuters. 

* On se souviendra que le terme que j’ai personnellement utilisé était celui de  « cornichonnerie » 😉 .

Partager :

24 réponses à “The Guardian, Une lettre signée par Elon Musk demandant une pause dans la recherche en IA suscite la controverse, le 1er avril 2023”

  1. Avatar de François M
    François M

    Sans doute.

    Mais Musk devrait déjà balayer devant sa porte et supprimer toutes ses activités qui « représentent un risque profond pour l’humanité ». C’est-à-dire, grosso modo, toutes !

    On est donc là face à l’hôpital qui se moque de la charité.

    1. Avatar de ilicitano
      ilicitano

      Bon après faut le comprendre Musk

      Il a voulu prendre la direction d’OpenAI en 2018 sans succès.
      Il devait apporter 1md$ en capital-risque qui s’est réduit à 100millions$
      Finalement , en besoin de fonds , OpenAI s’est tourné vers Microsoft.

      Musk:
      «OpenAI est devenu une société à source fermée et à profits maximum, entièrement contrôlée par Microsoft » en précisant que ce n’est « pas du tout ce que j’avais prévu ».
      « Je réalise que l’IA, l’outil le plus puissant que l’humanité ait jamais créé, se trouve désormais entre les mains d’une entreprise au monopole impitoyable ».

      Capitalisme : ton univers impitoyable 🙁

      SAM : Self Aware Machine
      SAM Altman
      😎

      1. Avatar de Khanard
        Khanard

        @ilicitano
        je plussoie
        je pense que vous avez tout à fait raison. N’oublions pas que nous sommes aux States où tous les coups concurrentiels sont permis et même souhaités.

  2. Avatar de PIerre-Yves Dambrine
    PIerre-Yves Dambrine

    Et si la lettre publiée par l’institut Futur life avait pour but au contraire de discréditer les critiques légitimes contre les risques que comportent les développements de l’IA ?

    Ce qui me fait penser cela, c’est l’amateurisme de la démarche, précisément ces milliers de signatures non contrôlées dans un premier temps, une longue liste de signatures parmi lesquels cohabitent de grands pointures de la science et des citoyens lambda , et, bien sûr la personnalité borderline de Musk qui n’est absolument pas opposé personnellement aux développements de l’IA, à la rigueur il est seulement à ses concurrents.

    1. Avatar de Pierre-Yves Dambrineun
      Pierre-Yves Dambrineun

      Bref c’est une opération de désinformation, un leurre. Comme diraient les militaires à propos de l’Ukraine, on est dans le brouillard de la guerre. Les enjeux financiers, sociaux, politiques, sont énormes, tous les coups sont donc permis. Et Musk, n’est pas avare de ces coups fumeux. Ici il s’agit à travers cette lettre de prêcher — très mal, contre certains risques, pour mieux les diluer dans le bruit ambiant et ainsi poursuivre la fuite en avant.
      Musk m’a toujours fait penser à Werner von Braun. Ce monsieur n’a aucune morale, aucune éthique.

      1. Avatar de Garorock
        Garorock

        Ce monsieur voulait couper Starlink aux Ukrainiens.
        A remis Trump sur Twitter.
        A viré des milliers de gens en les traitant comme de la merde.
        Et ce n’est rien par rapport à tout ce qu’il est capable de faire si on lui laisse du pouvoir sur le greffier de Pablo alto…
        Dans les trois nouvelles lois à écrire, il faudra qu’il y en ait une qui nous protège de tous les Elun Musk encore en vadrouille sur cette planète qui se meurt.
        Il n’y a peut être que six articles à inscrire dans la constitution des droits des robots.

  3. Avatar de Philippe Soubeyrand

    Re-Bonjour Paul,

    Poisson d’avril mis à part…

    Comme je vous l’ai déjà écrit vendredi dernier, chacun demeure à ce stade à côté de la plaque !

    Mais peut-être ont-ils enfin pris connaissance de mon théorème, ce qui en soi serait enfin une très bonne chose, voire un premier miracle !

    Certains se sont pris jusqu’ici pour des apprentis sorciers ; ils ont mis tout simplement la charue avant les beufs !

    Ne s’improvise pas systémicien qui veut, et encore moins une IA très mal programmée…

    Bonne soirée,

    Philippe

    1. Avatar de Philippe Soubeyrand
      Philippe Soubeyrand

      [ERRATUM]

      Pardon, ce n’était pas vendredi dernier, mais mardi dernier…

    2. Avatar de PIerre-Yves Dambrine
      PIerre-Yves Dambrine

      Cher Philippe,
      et que serait d’après toi une IA bien programmée ?
      Quelles seraient ses caractéristiques, son utilité pour « tout stopper » ?

    3. Avatar de Garorock
      Garorock

      Comment un systèmicien peut-il faire des statistiques sur une exponentielle qui concerne un phénomène qui n’a jamais existé?

  4. Avatar de gaston
    gaston

    Musk a vraiment le blues en ce moment :

    Après le flop magistral de son Twitter Blue,

    https://mashable.com/article/twitter-blue-half-of-subscribers-have-less-than-1000-followers

    C’est sa lettre sur l’IA qui fait un bide !

    Il est temps qu’il se mette sur pause…

  5. Avatar de Christian Brasseur
    Christian Brasseur

    Bonjour monsieur Jorion,

    Votre annotation in fine comportant le terme « cornichonnerie » est affectée d’un astérique. Je ne retrouve pas l’astérisque correspondante censé figurer dans le texte: faut-il par conséquent comprendre que l’objet de la demande-même dont EM est cosignataire est une cornichonnerie? Une cornichonnerie de plus dirais-je (à l’instar d’une Tesla envoyée dans l’espace ;-)?

    1. Avatar de Paul Jorion

      Ah la la !

      cette dernière qualifiant certaines de ses affirmations de « farfelues » *.

    1. Avatar de gaston
      gaston

      Bravo à Arend Van Dam pour ce dessin qui illustre parfaitement le plan C.

      Je me pose simplement la question de savoir, quand Aragon écrivait en 1963 « L’avenir de l’homme est la femme » (Zadjal Poème de l’Avenir), s’il l’imaginait bien ainsi ?

      https://www.youtube.com/watch?v=lFuCQJLTBAk

  6. Avatar de gaston
    gaston

    Une autre alerte moins médiatisée :

    En Belgique un chercheur se suicide suite aux incitations du Chatbot Eliza. 50 personnalités alertent les gouvernements pour qu’ils adoptent au plus vite un cadre juridique protecteur.

    N’est-il pas déjà trop tard ?

    Un article de « La Libre » du 29 mars fait un premier point :

    https://www.lalibre.be/debats/2023/03/29/le-chatbot-eliza-a-brise-une-vie-il-est-temps-dagir-face-a-lia-manipulatrice-BSGGRV7IBRDNROO33EWGFVMWAA/

    1. Avatar de Khanard
      Khanard

      @gaston
      effectivement c’est dramatique.
      Là où je suis perplexe c’est en constatant la levée de bouclier opérée par toute une kyrielle de personnalités alors que si l’on y réfléchit bien d’autres combats au moins aussi virulents ont été menés contre les réseaux sociaux et autres instagram, tik tok , you tube, amazon …etc. et l’on voit où on en est ! Oh certes il y a eu de la régulation, de la normalisation que sais je encore ? mais les faits sont là ces technologies sont devenues incontournables.

      1. Avatar de Pascal
        Pascal

        Zut j’ai fait un doublon avec un post de Ruiz 🙁

    2. Avatar de Guy Leboutte

      Il faut tout de même reconnaître que ce suicide favorisé par le robot ne peut exister sans le préalable de la croyance à la personnalité du logiciel.

      Ce constat ne nie pas la nécessité de garde-fous sérieux, légaux et professionnels. Les enfants et des personnes naïves ou fragiles sont évidemment à risque.

      Il faut arrêter de dire « vous » ou « tu » à ce machin.
      Pour ceux qui ne peuvent s’en empêcher, la conviction qu’il ne s’agit de leur part qu’une d’une fiction langagière, d’un raccourci paresseux, doit être granitique.

      On nage dans l’absurde !

  7. Avatar de Roberto
    Roberto

    Hors contexte
    — msg pour Paul Jorion & pribor (pas d’email dispo sur le site)
    Vu sur arte info zone de test véhicules autonomes
    Besoin aussi de solution de entrainement virtuel pour entrainement en situation de accident etc..
    https://www.morai.ai développe ce genre de chose
    Et du coup petite pensée pour pribor : les voiturettes qui forment la flux ont toutes un degré d’autonomie, une histoire .. ca m’a fait penser à Pribor et possible champ d’application pour faire rentrer des sous..
    Bises à SAM

    1. Avatar de Garorock
      Garorock

      Les véhicules autonomes ça bouffe une énergie folle.
      Vaut mieux faire des Tramways…
      😎

  8. Avatar de Eric
    Eric

    Le point de vu de Steve Blank, expert en innovations et professeur d’entrepreneuriat à l’université de Stanford : https://steveblank.com/2023/04/04/playing-with-fire-chatgpt/

    « ..En plus de ses performances exceptionnelles sur ce pour quoi il a été conçu, ce qui a surpris les chercheurs à propos de ChatGPT, ce sont ses comportements émergents . C’est un terme fantaisiste qui signifie « nous ne l’avons pas construit pour faire ça et nous n’avons aucune idée de comment il sait faire ça ». Ce sont des comportements qui n’étaient pas présents dans les petits modèles d’IA qui existaient auparavant, mais qui apparaissent maintenant dans de grands modèles comme GPT-4. (Les chercheurs pensent que ce point de basculement est le résultat des interactions complexes entre l’architecture du réseau neuronal et les quantités massives de données de formation auxquelles elle a été exposée – essentiellement tout ce qui était sur Internet en septembre 2021.)

    (Un autre potentiel troublant de ChatGPT est sa capacité à manipuler les gens dans des croyances qui ne sont pas vraies. Alors que ChatGPT « semble vraiment intelligent », parfois, il invente simplement des choses et il peut vous convaincre de quelque chose même lorsque les faits ne sont pas corrects . Nous avons vu cet effet dans les médias sociaux lorsque ce sont des gens qui manipulaient les croyances. Nous ne pouvons pas prédire où une IA avec des comportements émergents pourrait décider de prendre ces conservations.)….
    Faut-il s’en soucier ? Faut-il s’inquiéter ?
    Tout d’abord, vous devez absolument vous en soucier.

    Au cours des 50 dernières années, j’ai eu la chance d’assister à la création des premiers microprocesseurs, des premiers ordinateurs personnels et des premières applications Web d’entreprise. J’ai vécu les révolutions des télécommunications, des sciences de la vie, des médias sociaux, etc., et j’ai vu de nouvelles industries, de nouveaux marchés et de nouveaux clients se créer littéralement du jour au lendemain. Avec ChatGPT, je pourrais en voir un de plus…..
    Il y a une longue histoire de scientifiques préoccupés par ce qu’ils ont déclenché. Aux États-Unis, les scientifiques qui ont travaillé sur le développement de la bombe atomique ont proposé un contrôle civil des armes nucléaires. Après la Seconde Guerre mondiale en 1946, le gouvernement américain a sérieusement envisagé un contrôle international sur le développement des armes nucléaires . Et jusqu’à récemment, la plupart des nations ont convenu d’un traité sur la non-prolifération des armes nucléaires.

    En 1974, les biologistes moléculaires ont été alarmés lorsqu’ils ont réalisé que des outils d’édition génétique récemment découverts (technologie de l’ADN recombinant) pouvaient introduire des gènes responsables de tumeurs à l’intérieur de la bactérie E. Coli . On craignait que sans aucune reconnaissance des risques biologiques et sans les meilleures pratiques convenues en matière de biosécurité, il y ait un réel danger de créer et de déclencher accidentellement quelque chose avec des conséquences désastreuses. Ils ont demandé un moratoire volontaire sur les expériences d’ADN recombinant jusqu’à ce qu’ils puissent s’entendre sur les meilleures pratiques dans les laboratoires….
    Maintenant que le génie est sorti de la bouteille, il n’est pas déraisonnable de demander aux chercheurs en IA de prendre 6 mois et de suivre le modèle que d’autres scientifiques réfléchis et concernés ont fait dans le passé. ( Stanford a retiré sa version de ChatGPT pour des raisons de sécurité.) Des directives d’utilisation de cette technologie devraient être élaborées, peut-être en parallèle avec celles des expériences d’édition génétique – avec des évaluations des risques pour le type d’expériences et des niveaux de confinement de biosécurité qui correspondent au risque.

    Contrairement aux moratoires sur les armes atomiques et le génie génétique qui étaient motivés par les préoccupations des chercheurs sans but lucratif, l’expansion et le financement continus de l’IA générative sont motivés par des entreprises à but lucratif et du capital-risque . »

  9. Avatar de Paul Jorion

    Faux-jeton N°1 !

    Comme sa pétition appelant à un moratoire immédiat sur l’IA a été un bide retentissant, Elon Musk lance une compagnie rivale à OpenAI, les créateurs de ChatGBT.

    Senza vergogna !

Répondre à Pascal Annuler la réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Voir John Berger sur ce sujet (ses articles dans le Diplo, une trentaine, notamment celui-ci sur le « regard du fou »……

  2. Pour compléter : les T.I.C et les réseaux , c’est ça : https://www.submarinecablemap.com/ Carte des câbles sous-marins

  3. les TIC et le monde de la finance : la guerre des T.I.C => la guerre des IAs en tant…

  4. @Chabian Comme pour les doigts, il sait pas bien compter, ou reste indécis sur la perspective, c’est pourtant la première…

  5. Et sur le 1er dessin, les parties génitales de l’humain mâle (ou ambigu ?) sont vues selon le style Archimboldo…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme centrale nucléaire de Fukushima ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta