Blog de Paul Jorion

*Godot est mort !*

Questions de sécurité en Intelligence artificielle

Comme plusieurs d’entre vous, je vais me balader un peu sur les routes durant la dizaine de jours qui viennent. Bien entendu, je ne me désintéresse pas pour autant de l’actualité quand je suis au volant et je vais m’abreuver en particulier dans les 48 heures qui viennent des podcasts du New York Times. Je vais tirer parti néanmoins du fait que certaines personnes pensent sur certains sujets à peu de choses près la même chose que moi, comme c’est le cas ici.

Partager :
,
, , , ,

21 responses to “Questions de sécurité en Intelligence artificielle”

  1. Avatar de aslan
    aslan

    On peut lier vos deux derniers thémes: il se pourrait que la prochaine campagne américaine participe au débat si le prochain Cambridge Analytica exploite les avancées en IA. Probable bien que le manque de thunes de la campagne Trump soit un frein.

    Dans le contexte et au-delà, le débat sur l’open sourcing de l’IA prend des tours semblables à ceux que prenait le débat autour de WikiLeak qu’exploitaient les avocats de l’obfuscation:

    L’entraînement d’un gros LLM nécessitant beaucoup de ressources, il est à priori inaccessible à des acteurs mal contrôlés par les pouvoirs publics. L’inférence, le réglage fin, l’exploitation du modèle en nécessite moins.

    La tactique gagnante d’un acteur contrôlé voulant, de gré ou de force, servir des usages incontrôlés dans l’espace législatif actuel peut passer par la mise à disposition open source, qui permet une isolation entre la livraison et l’usage.

    Elon ? Stop playing with that Vladimir kid out there, I don’t like him !

    Répondre
  2. Avatar de aslan
    aslan

    Rappel: Musk à livré en open source son dernier modèle de LLM, Grok.

    Répondre
    1. Avatar de Garorock
      Garorock

      Gare au Grok!

      Répondre
  3. Avatar de Pad
    Pad

    Départs des employés clés : OpenAI, dirigée par Sam Altman, a récemment vu le départ de plusieurs de ses employés les plus soucieux de la sécurité, notamment Ilya Sutskever et Jan Leike, leaders de l’équipe de superalignement.

    Perte de confiance en la direction : Les employés qui ont quitté l’entreprise ont exprimé une perte de confiance en la direction, particulièrement en Sam Altman, le PDG. Ils estiment qu’Altman n’est pas transparent et priorise la commercialisation rapide des produits au détriment de la sécurité.

    Conflit interne et tentatives de licenciement : En novembre dernier, il y a eu une tentative de la part du conseil d’administration de licencier Altman, mais cela a échoué et a renforcé sa position. Cette tentative a créé des tensions internes et a mis en évidence des divergences profondes au sein de l’entreprise.

    Accords de départ restrictifs : Beaucoup d’employés hésitent à parler publiquement de leurs expériences à OpenAI en raison des accords de départ avec des clauses de non-dénigrement. Ceux qui refusent de signer ces accords risquent de perdre leur part dans l’entreprise.

    Critiques sur la gestion de la sécurité : Les départs ont révélé des préoccupations sur la gestion de la sécurité à OpenAI. Les employés démissionnaires ont indiqué que l’entreprise ne disposait pas des ressources nécessaires pour garantir que les futurs systèmes d’IA, en particulier l’intelligence artificielle générale (AGI), seraient développés de manière sûre.

    Futur incertain pour la sécurité : Avec le départ de nombreux membres de l’équipe de superalignement, des doutes subsistent quant à la capacité d’OpenAI à maintenir un focus suffisant sur la sécurité à l’avenir. L’équipe restante est désormais dirigée par John Schulman, qui a déjà des responsabilités importantes.

    Le document décrit une situation de crise de confiance au sein d’OpenAI, alimentée par des divergences sur les priorités de l’entreprise entre la commercialisation rapide et les préoccupations de sécurité à long terme. Les départs successifs des employés soucieux de la sécurité posent des questions sur la capacité de l’entreprise à gérer les risques associés à l’IA avancée.

    Répondre
    1. Avatar de Pad
      Pad

      Liste des valeurs de p(doom)

      p(doom) est la probabilité de très mauvais résultats (par exemple, l’extinction de l’humanité) en raison de l’IA. Cela fait le plus souvent référence à la probabilité que l’IA prenne le contrôle de l’humanité, mais différents scénarios peuvent également constituer un « doom ». Par exemple, une grande partie de la population mourant à cause d’une nouvelle arme biologique créée par l’IA, un effondrement social dû à une cyberattaque à grande échelle, ou l’IA provoquant une guerre nucléaire. Notez que tout le monde n’utilise pas la même définition lorsqu’il parle de leurs valeurs p(doom). Plus notablement, l’horizon temporel n’est souvent pas spécifié, ce qui rend les comparaisons un peu difficiles.

      80%
      Dan Hendrycks
      chef du Center for AI Safety

      >99%
      Eliezer Yudkowsky
      fondateur de MIRI

      99,999999%
      Roman Yampolskiy
      scientifique en sécurité de l’IA

      Répondre
      1. Avatar de Pad
        Pad

        <0.01%
        Yann LeCun
        one of three godfathers of AI, works at Meta

        (less likely than an asteroid)
        10%
        Vitalik Buterin
        Ethereum founder

        10%
        Geoff Hinton
        one of three godfathers of AI

        (wipe out humanity in the next 20 years)
        9-19.4%
        Machine learning researchers

        (From 2023, depending on the question design, median values: 5-10%)
        15%
        Lina Khan
        head of FTC

        10-20%
        Elon Musk
        CEO of Tesla, SpaceX, X

        10-25%
        Dario Amodei
        CEO of Anthropic

        20%
        Yoshua Bengio
        one of three godfathers of AI

        5-50%
        Emmett Shear
        Co-founder of Twitch, former interim CEO of OpenAI

        30%
        AI Safety Researchers

        (Mean from 44 AI safety researchers in 2021)
        33%
        Scott Alexander
        Popular Internet blogger at Astral Codex Ten

        35%
        Eli Lifland
        Top competitive forecaster

        40%
        AI engineer

        (Estimate mean value, survey methodology may be flawed)
        40%
        Joep Meindertsma
        Founder of PauseAI

        (The remaining 60% consists largely of "we can pause".)
        46%
        Paul Christiano
        former alignment lead at OpenAI, founder of ARC

        50%
        Holden Karnofsky
        Executive Director of Open Philanthropy

        10-90%
        Jan Leike
        Former alignment lead at OpenAI

        60%
        Zvi Mowshowitz
        AI researcher

        70%
        Daniel Kokotajlo
        Forecaster & former OpenAI researcher

        Répondre
  4. Avatar de Paul Jorion
    Paul Jorion

    Tiens ! ça me fait penser que le schtroumpf à lunettes n’est pas déjà là pour me dire que si je sors de chez moi je vais produire du CO2 en quantités astronomiques. Il a dû comprendre que je suis si bon élève que j’ai droit à un petit tour !

    Répondre
  5. Avatar de Khanard
    Khanard

    pour trouver une occupation au schtroumpf à lunette demandons lui plutôt de s’intéresser au parcours de la flamme olympique 😉

    je vous souhaite un bon périple !

    Répondre
  6. Avatar de arkao
    arkao

    Paul on the road again 😉
    https://youtu.be/Gdlyi5mckg0?t=20

    Répondre
    1. Avatar de Paul Jorion
      Paul Jorion

      Répondre
  7. Avatar de Henri
    Henri

    Article HuffPost :

     » Nouvelle-Calédonie : la flamme olympique ne passera finalement pas par l’archipel, confirme Amélie Oudéa Castera  »

    https://www.huffingtonpost.fr/jo-paris-2024/article/nouvelle-caledonie-la-flamme-olympique-ne-passera-finalement-pas-par-l-archipel-annonce-amelie-oudea-castera_234128.html

    Spécialiste de droit constitutionnel et professeur de droit public à l’université de Lille, Jean-Philippe Derosier / Nouvelle Calédonie :

    https://www.lesechos.fr/politique-societe/politique/nouvelle-caledonie-pour-les-independantistes-il-est-important-de-ne-pas-perdre-la-face-2095259

    Répondre
  8. Avatar de Chabian
    Chabian

    Surveillez d’un oeil la route et la météo (même si l’oreille est ailleurs) !
    Il y a eu des inondations soudaines vendredi (Nord de Liège, Brabant wallon…), samedi (Charleroi), et des grains d’orage sont attendus encore, surtout mardi et vendredi. Et aussi des effondrements de route.
    A propos d’effondrement climatique, cette phrase un peu sibylline d’un météomachin sur Rtbf : « Notons que le mois de mai, est le huitième mois consécutif où la normale climatique pluviométrique sera plus élevée ».
    (Je serai dans le sud, en avion, j’avoue).

    Répondre
    1. Avatar de Garorock
      Garorock

      C’est le genre de faute, Chabian, qui même si elle est avouée, aujourd’hui ne peut plus être pardonnée! Comme la main du zouave de la rue Soufflot dans la culotte de ma petite soeur!
      Vous recevrez donc d’ici peu une amende de la part du gouvernement imaginaire éco-communiste en exil pour « pollution agravée nuisant à l’avenir des enfants et des bonobos » de 50 euros. Vous serez dans l’obligation de régler cette somme le jour où nous serons au pouvoir.
      En attendant vous perdez deux points sur votre Pass Sani-terre!
      Vous ne pouvez pas porter réclamation: nous n’existons pas.
      Mais vous pouvez faire un don (nous acceptons l’argent des assurances-vie). Nous vous enverrons notre IBAN par e-mail ( nos amis d’anonymous ont déja identifié votre adresse IP)
      Qu’on ne vous y reprenne pas!
      ( ce message s’autodétruira dans les cinq secondes…)

      Répondre
      1. Avatar de Khanard
        Khanard

        @Garorock

        que voulez vous c’est insurmontable d’essayer de vouloir faire correspondre son discours avec nos pensées aussi louables soient elles ! C’est là que commence l’hypocrisie .

        Répondre
        1. Avatar de Khanard
          Khanard

          lisez actes en lieu et place de pensées

          Répondre
  9. Avatar de Garorock
    Garorock

    Des nouvelles de la mascotte de ce blog: L Alexandre.
    https://youtu.be/O5qF-pSv484?si=qaizg5W_0OeTyt3H
    Laurent et Sam: même combat?
    😎

    Répondre
    1. Avatar de un lecteur
      un lecteur

      L. Alexandre, commentateur d’un futur qui l’a déjà naturalisé dans son musée des impasses de l’évolution.
      Les bourgeois ont les clowns des « débats » du Figaro pour alimenter leurs dîners entre amis, comme le peuple se coltine les influenceurs du ballon rond, des spectacles immuables pour sacraliser la léthargie devant l’imminence de bouleversement irréversibles.
      Virez-moi ces crétins et expliquez-nous comment la technologie (la nature synthétique) peut nous grandir, plutôt que de nous étouffer dans ces mouvements aseptisés aux transgressions codifiées pour émoustiller la libido.

      Répondre
      1. Avatar de Grand-mère Michelle
        Grand-mère Michelle

        Voyez l’avertissement de Chabian (le 19 mai à 13h15) à propos des inondations en belgique.
        Grâce à la technologie de la radio (en Fréquence Modulée) (accessible gratuitement à tout qui est raccordé à l’électricité et possède un vieux « poste », ou un « poste à transistors » mobile), aujourd’hui, à chaque heure d’info, la RTBF dispense des conseils de précautions, de prévention des dangers de dégâts possibles, dans les régions concernées, de plus en plus précisées(oui, merci les satellites météo, une des rares réalisations de la « conquête spatiale » réellement utiles).
        Ces conseils précieux étaient possibles depuis très longtemps, bien avant l’avènement du « numérique », mais ce n’est qu’à présent que notre service public, « boosté » par la concurrence qui vise à l’anéantir, essaie de remplir son rôle…

        Comme quoi « la technologie » n’est ni bonne ni mauvaise… Mais ce sont peut-être les dégâts (actuels ou annoncés) qu’elle cause qui réussit à nous faire « grandir »…
        Prendre conscience de la nécessité de défendre nos services publics est sans doute une manière de grandir…

        Répondre
  10. Avatar de Ruiz
    Ruiz

    Etats-Uniens et Chinois se rencontrent en Suisse pour deviser de la sécurité des IA

    https://www.theregister.com/2024/05/13/us_china_ai/

    Les commentaires egalement sont intéressants quant à l’aspect énergétique d’une IAG.
    https://forums.theregister.com/forum/all/2024/05/13/us_china_ai/

    Répondre
    1. Avatar de Grand-mère Michelle
      Grand-mère Michelle

      « …pour deviser de la sécurité des IA. »

      Euh… de quelle « sécurité » est-il question ici, dans ces pages? Et dans ces débats USA-Chine?
      S’agit-il de la même notion de « sécurité »: la leur (celle des IA, ou de ceux qui devisent)? ou la nôtre(celle des citoyen-ne-s de n’importe quel pays)?

      Sorry, si je suis (moyennement) capable de m’exprimer (lire et ecrire) en anglais, je ne me sens pas apte à le comprendre…

      Répondre
  11. Avatar de vincent rey
    vincent rey

    Je me souviens d’avoir parlé « risque » à Blois à JEAN-FRANCOIS CLERVOY, qui était venu participer à une discussion après la projection d’un film sur l’espace. Ma question portait sur le risque que lui-même jugerait acceptable pour aller sur Mars. JF Clervoy a volé 3 fois dans la navette spatiale, c’est donc quelqu’un qui s’est « frotté » aux risques et qui sait donc de quoi il parle.

    J’ai compris dans sa réponse qu’il serait prêt à risquer autant que les astronautes d’Apollo pour aller sur Mars, soit environ 50% de risque en cas de problème. C’est un niveau extrêmement élevé, mais bon c’est le prix de la gloire. Avec la navette spatiale, le risque était bien moindre (1 à 2%), mais les vols étant beaucoup plus nombreux, il y a eu 2 accidents et 14 morts en tout dans les accidents de Challenger, puis Columbia

    Le programme de la navette spatiale a été arrêté à 2% de risque, même si on peut penser que le risque n’était pas le seul critère pris en compte…

    Alors quel rapport avec l’Intelligence Artificielle Générale me direz-vous ?

    Cette vidéo de Wes Roth (également très informé) montre qu’une majorité de savants, TOUS TRES IMPLIQUES en Intelligence Artificielle, connaissant donc TOUS TRES BIEN LEUR SUJET, évoquent des risques D’EXTINCTION DE L’HUMANITE (ça fait un peu plus que quelques astronautes..) SUPERIEURS A 10% un nombre non négligeable d’entre eux donnant même un chiffre supérieur à 70% !!

    On marche sur la tête là ou quoi ??? Un hard switch sur l’Intelligence Artificielle Générale !!! et vite !!! on est des « petites bites » si on s’effraie de 10% de risque d’extinction de l’Humanité ? Elon Musk a l’air d’être le seul à avoir les pieds sur terre…MORATOIRE ET HARD SWITCH, DES QUE POSSIBLE, en attendant d’en faire un bien commun pour toute l’Humanité, une fois toutes les garanties de sécurité remplies !!

    Il est aussi TOTALEMENT INACCEPTABLE et DINGUE de laisser les options de sécurité DANS LES MAINS D’UN FOU (Sam Altman, CEO de OpenAI dont on sait qu’il s’est construit un Bunker dans son ranch, persuadé qu’il est -ou dejà résigné – que la fin du monde est inévitable)

    M Macron M Attal un commentaire ? ou on attend le crash ? Et au passage, prenez deux heures pour regarder le film Terminator, et vous saurez ce qui nous attend si on perd le contrôle de ce truc là !

    https://www.findutravail.net/index.html#openAI

    Sur le Bunker d’Altman, cet article de Vanity Fair :
    https://www.vanityfair.fr/article/qui-est-sam-altman-lhomme-qui-tient-lavenir-de-lhumanite-entre-ses-mains

    Répondre

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

Contact

Contactez Paul Jorion

Commentaires récents

  7. Avec deux « r » ça court plus vite. https://youtu.be/9Qtg8-Yw96U?si=dVp-_mEaPbypQCTk Le Temps Qui Court. Cette histoire commence à me courir!

  9. @Garorock Au moins un échantillonage d’humanité (une femme, un coloré, un ressortissant du 51éme état et dans le groupe au…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx LLM pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés Singularité spéculation Thomas Piketty Ukraine Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta