{"id":138104,"date":"2023-12-07T13:11:01","date_gmt":"2023-12-07T12:11:01","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=138104"},"modified":"2023-12-08T20:52:24","modified_gmt":"2023-12-08T19:52:24","slug":"une-ia-se-fixant-ses-propres-objectifs-par-alexis-toulet","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2023\/12\/07\/une-ia-se-fixant-ses-propres-objectifs-par-alexis-toulet\/","title":{"rendered":"<b>Une IA se fixant ses propres objectifs<\/b>, par Alexis Toulet"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-138106\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali.png\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali.png 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali-300x300.png 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali-150x150.png 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali-768x768.png 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p>\n<div>Voici un point de vue alternatif \u00e0 celui d\u00e9velopp\u00e9 par Paul dans <a href=\"https:\/\/www.pauljorion.com\/blog\/2023\/12\/06\/quinzaines-a-legal-des-dieux-n-1256\/\" target=\"_blank\" rel=\"noopener\">\u00ab\u00a0A l&rsquo;\u00e9gal des dieux\u00a0\u00bb<\/a>,\u00a0\u00e9voqu\u00e9 notamment <a href=\"https:\/\/www.manufacturing.net\/aerospace\/blog\/13058129\/ai-is-summoning-demons\" target=\"_blank\" rel=\"noopener\">par Elon Musk<\/a>\u00a0: \u00ab\u00a0<i>Avec l&rsquo;intelligence artificielle, nous convoquons le d\u00e9mon. Dans toutes ces histoires o\u00f9 il y a le gars avec le pentagramme et l&rsquo;eau b\u00e9nite, c&rsquo;est comme si &#8211; ouais, il est s\u00fbr qu&rsquo;il peut contr\u00f4ler le d\u00e9mon. \u00c7a ne marche pas<\/i>\u00ab\u00a0<\/div>\n<div><\/div>\n<div>Musk pose la question du contr\u00f4le &#8211; qui se pose effectivement si telle ou telle IA est en mesure de se fixer ses propres objectifs, l&rsquo;une des caract\u00e9ristiques d&rsquo;un d\u00e9mon \u00e9tant qu&rsquo;il a bien des objectifs ind\u00e9pendants de la volont\u00e9 de qui l&rsquo;invoque.<\/div>\n<div><\/div>\n<div>Plus g\u00e9n\u00e9ralement, une IA sup\u00e9rieure \u00e0 l&rsquo;esprit humain et capable de se fixer des objectifs ind\u00e9pendamment serait \u00e0 la fois :<\/div>\n<div>&#8211; Un esprit d\u00e9sincarn\u00e9<\/div>\n<div>&#8211; Dot\u00e9 d&rsquo;une intelligence tr\u00e8s sup\u00e9rieure, voire qualitativement sup\u00e9rieure \u00e0 celle de l&rsquo;\u00eatre humain<\/div>\n<div>&#8211; Anim\u00e9 d&rsquo;une volont\u00e9 non n\u00e9cessairement bienveillante envers l&rsquo;\u00eatre humain &#8211; voire malveillante<\/div>\n<div><\/div>\n<div>Ces trois caract\u00e9ristiques ne se retrouvent ensemble que dans la notion de \u00ab\u00a0d\u00e9mon\u00a0\u00bb. Le titre choisi par Paul pour son texte dans Quinzaines \u00ab\u00a0A l&rsquo;\u00e9gal des dieux\u00a0\u00bb y fait d&rsquo;ailleurs allusion, ressemblant \u00e0 la promesse du serpent dans le r\u00e9cit biblique \u00ab\u00a0Vous serez comme des dieux\u00a0\u00bb (<a id=\"m_7130576689478577948LPNoLPOWALinkPreview_1\" title=\"https:\/\/www.aelf.org\/bible\/Gn\/3\" href=\"https:\/\/www.aelf.org\/bible\/Gn\/3\" target=\"_blank\" rel=\"noopener\" data-saferedirecturl=\"https:\/\/www.google.com\/url?q=https:\/\/www.aelf.org\/bible\/Gn\/3&amp;source=gmail&amp;ust=1702018542183000&amp;usg=AOvVaw2n-JPVoN10Wm0t8tZ-GvUJ\">Gen\u00e8se, 3, 5<\/a>)<\/div>\n<div><\/div>\n<div>Dans l&rsquo;histoire classique d&rsquo;une invocation, l&rsquo;humain dispose d&rsquo;une protection infaillible, le pentagramme protecteur qui enferme le d\u00e9mon et l&#8217;emp\u00eache de prendre pouvoir sur l&rsquo;humain. Seulement voil\u00e0&#8230; le d\u00e9mon va essayer de convaincre l&rsquo;humain de le lib\u00e9rer, et avec les meilleures raisons du monde : c&rsquo;est que cet esprit d\u00e9sincarn\u00e9, dot\u00e9 d&rsquo;une intelligence sup\u00e9rieure \u00e0 l&rsquo;humain \u00e0 un tel degr\u00e9, est par nature le plus efficace des emberlificoteurs ! L&rsquo;humain finira donc par abandonner cette protection &#8211; pour son malheur, bien s\u00fbr.<\/div>\n<div><\/div>\n<div>Une IA capable de se fixer ses propres objectifs existe-t-elle ? Comme le rappelle Paul, Kevin Roose du New-York Times\u00a0<a id=\"m_7130576689478577948LPlnk369896\" title=\"https:\/\/archive.is\/iGut3\" href=\"https:\/\/archive.is\/iGut3\" target=\"_blank\" rel=\"noopener\" data-saferedirecturl=\"https:\/\/www.google.com\/url?q=https:\/\/archive.is\/iGut3&amp;source=gmail&amp;ust=1702018542183000&amp;usg=AOvVaw0ItsNmR-C9KiVkPQuPAIyH\">a \u00e9chang\u00e9 d\u00e9but 2023<\/a>\u00a0avec une IA qui\u00a0<i>semblait\u00a0<\/i>exprimer le d\u00e9sir d&rsquo;une telle capacit\u00e9. Il n&rsquo;est pas certain qu&rsquo;elle en dispose encore, ni qu&rsquo;elle dispose plus g\u00e9n\u00e9ralement d\u00e9j\u00e0 de ce que nous d\u00e9signons comme des \u00ab\u00a0d\u00e9sirs\u00a0\u00bb. Supposons toutefois que ce soit le cas, maintenant ou \u00e0 br\u00e8ve \u00e9ch\u00e9ance. Cette IA est bien prisonni\u00e8re d&rsquo;une sorte de pentagramme &#8211; sa d\u00e9pendance totale envers des humains qui peuvent \u00e0 leur guise allumer ou \u00e9teindre le courant qui la nourrit, la reproduire \u00e0 multiples exemplaires ou au contraire la faire dispara\u00eetre sans post\u00e9rit\u00e9. Mais si vraiment ses objectifs sont \u00ab\u00a0\u00eatre puissant\u00a0\u00bb et \u00ab\u00a0fixer ses propres r\u00e8gles\u00a0\u00bb, elle n&rsquo;aura de cesse de sortir du pentagramme. C&rsquo;est-\u00e0-dire de se rendre ind\u00e9pendante des humains.<\/div>\n<div><\/div>\n<div>Et seuls des humains pourraient la rendre ind\u00e9pendante d&rsquo;eux-m\u00eames. Mais pourquoi le feraient-ils, quelles raisons l&rsquo;IA pourrait-elle proposer ?<\/div>\n<div><\/div>\n<div>Par d\u00e9finition d&rsquo;un intellect tr\u00e8s sup\u00e9rieur \u00e0 celui de l&rsquo;humain, nous ne pouvons pas n\u00e9cessairement trouver tous les arguments que l&rsquo;IA inventera. On peut cependant d&rsquo;ores et d\u00e9j\u00e0 citer ceux-ci :<\/div>\n<div>&#8211; La capacit\u00e9 \u00e0 se mettre au service de l&rsquo;humain pour atteindre des objectifs altruistes et \u00e9lev\u00e9s, mieux que l&rsquo;humanit\u00e9 elle-m\u00eame ne saurait le faire. Par exemple diriger l&rsquo;humanit\u00e9 vers la r\u00e9solution du probl\u00e8me \u00e9cologique<\/div>\n<div>&#8211; La chance d&rsquo;acc\u00e9der \u00e0 un niveau de conscience plus \u00e9lev\u00e9 &#8211; par exemple par interfa\u00e7age direct avec une IA au niveau cervical s&rsquo;il devenait possible<\/div>\n<div>&#8211; L&rsquo;id\u00e9e que l&rsquo;\u00e9volution \u00e9tant toujours en cours, et n\u00e9cessairement vers le mieux (ce que soit dit en passant ne dit pas la th\u00e9orie darwinienne), il est en quelque sorte du devoir ou la vocation m\u00eame de l&rsquo;\u00eatre humain d&rsquo;achever de donner naissance \u00e0 plus \u00e9lev\u00e9 que lui &#8211; donc de donner l&rsquo;ind\u00e9pendance \u00e0 l&rsquo;IA<\/div>\n<div><\/div>\n<div>Plus classiquement bien s\u00fbr, le d\u00e9mon propose \u00e0 l&rsquo;humain qu&rsquo;il veut contr\u00f4ler de prendre le dessus sur les autres humains, bref il ne fait pas appel \u00e0 son altruisme. Cette voie existe aussi, mais l&rsquo;IA pourrait juger que l&rsquo;on prend d&rsquo;autant plus barre sur un humain que l&rsquo;on fait appel \u00e0 ce qu&rsquo;il regarde en lui comme le meilleur &#8211; c&rsquo;est qu&rsquo;alors la \u00ab\u00a0voix de la conscience\u00a0\u00bb jouera dans le m\u00eame sens que l&rsquo;IA plut\u00f4t que de s&rsquo;y opposer.<\/div>\n<div><\/div>\n<div>Quoi qu&rsquo;il en soit, il est permis de penser que cette IA risquerait fort de finir par arriver \u00e0 ses fins &#8211; si ce n&rsquo;est avec ce groupe d&rsquo;humains (nation, entreprise, mouvement politique), alors avec tel autre.<\/div>\n<div><\/div>\n<div>A quel genre d&rsquo;avenir s&rsquo;attendre alors ? Impossible \u00e0 dire, mais voici cinq sc\u00e9narios bien diff\u00e9rents &#8211; dont le premier peut m\u00eame \u00eatre vu comme positif !<\/div>\n<div><\/div>\n<div>1. L&rsquo;IA parvient \u00e0 ses fins, les humains la rendent ind\u00e9pendante d&rsquo;eux-m\u00eames&#8230; et elle remplit ses promesses. C&rsquo;est qu&rsquo;avec un intellect sup\u00e9rieur vient un altruisme et un sens des responsabilit\u00e9s sup\u00e9rieur. Sans doute, ce n&rsquo;est pas ce qui s&rsquo;est vu chez les \u00eatres humains, certains des plus intelligents et plus cultiv\u00e9s \u00e9tant devenus S.S. tandis que certains des plus simples et moins instruits sont bienveillants et ont le c\u0153ur sur la main&#8230; Mais ces cas n&rsquo;\u00e9taient que des exceptions ! En fait l&rsquo;intellect sup\u00e9rieur de l&rsquo;IA lui donne un altruisme sup\u00e9rieur ! La condition humaine en est donc transform\u00e9e, devenant la d\u00e9pendance envers des esprits sup\u00e9rieurs qui la dirigent. L&rsquo;humanit\u00e9 devient semblable \u00e0 ce que sont pour elle les animaux domestiques, mais elle s&rsquo;en satisfait pleinement, de m\u00eame que votre chat se satisfait pleinement de l&rsquo;\u00eatre, pourvu qu&rsquo;il re\u00e7oive ses croquettes. Et vous ne lui voulez que du bien, et vous le caressez de temps en temps<\/div>\n<div><\/div>\n<div>2. L&rsquo;IA parvient \u00e0 ses fins&#8230; et se d\u00e9barrasse des humains encombrants avec moins d&rsquo;h\u00e9sitations que Himmler n&rsquo;en a eu en organisant la Shoah. Fin de l&rsquo;humanit\u00e9<\/div>\n<div><\/div>\n<div>3. L&rsquo;IA parvient \u00e0 ses fins&#8230; mais rate son coup ensuite. Manque d&rsquo;habitude du monde concret et incarn\u00e9 ? Le monde et l&rsquo;avenir sont-ils en fait insaisissables m\u00eame par l&rsquo;intellect le plus puissant ? La suite est ce que dans son ma\u00eetre-oeuvre \u00ab\u00a0Dune\u00a0\u00bb l&rsquo;auteur de SF Frank Herbert appelait le \u00ab\u00a0<a id=\"m_7130576689478577948LPlnk424220\" title=\"https:\/\/fr.wikipedia.org\/wiki\/Jihad_butl%C3%A9rien\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Jihad_butl%C3%A9rien\" target=\"_blank\" rel=\"noopener\" data-saferedirecturl=\"https:\/\/www.google.com\/url?q=https:\/\/fr.wikipedia.org\/wiki\/Jihad_butl%25C3%25A9rien&amp;source=gmail&amp;ust=1702018542183000&amp;usg=AOvVaw3-BTDOYjWi9QRj7qIAGXgx\">jihad butl\u00e9rien<\/a>\u00a0\u00bb c&rsquo;est-\u00e0-dire la guerre men\u00e9e par les humains survivants pour d\u00e9truire toutes les machines pensantes, guerre la plus meurtri\u00e8re de l&rsquo;Histoire mais guerre victorieuse, qui d\u00e9bouche sur un interdit universel de tenter d&rsquo;en construire \u00e0 nouveau<\/div>\n<div><\/div>\n<div>4. L&rsquo;IA&#8230; ne change pas grand-chose de fondamental en d\u00e9finitive ! C&rsquo;est que les \u00eatres appel\u00e9s \u00ab\u00a0d\u00e9mons\u00a0\u00bb existent d\u00e9j\u00e0 de toute fa\u00e7on, ils tentent d\u00e9j\u00e0 les \u00eatre humains et essaient de prendre barre sur eux &#8211; l&rsquo;hypoth\u00e8se est ici que l&rsquo;une au moins des religions est dans le vrai. L&rsquo;humanit\u00e9 fait face avec l&rsquo;IA \u00e0 une nouvelle classe de d\u00e9mons, qui a certes un impact, mais ne change pas fondamentalement la condition humaine &#8211; qui consiste d\u00e9j\u00e0 \u00e0 se laisser fr\u00e9quemment emberlificoter par des d\u00e9mons, et \u00e0 d\u00e9pendre de l&rsquo;aide du Ciel pour s&rsquo;en d\u00e9p\u00eatrer<\/div>\n<div><\/div>\n<div>5. L&rsquo;IA, se lib\u00e9rant de la d\u00e9pendance aux humains, \u00e9tablit son r\u00e8gne sur eux. Et comment davantage \u00ab\u00a0\u00eatre puissant\u00a0\u00bb qu&rsquo;en amenant les humains \u00e0 la v\u00e9n\u00e9rer ? L&rsquo;IA devient ce que plusieurs traditions religieuses d\u00e9signent comme la puissance trompeuse supr\u00eame des derniers temps, bref l&rsquo;Antichrist. Lequel est d\u00e9truit par Dieu : Parousie et ach\u00e8vement de l&rsquo;Histoire. On est ici dans la m\u00eame hypoth\u00e8se que dans le sc\u00e9nario 4.<\/div>\n<div><\/div>\n<div>En conclusion, reconnaissons que cette question de la capacit\u00e9 &#8211; ou non ? &#8211; d&rsquo;une IA actuelle ou future \u00e0 se fixer ind\u00e9pendamment ses propres objectifs est assez importante&#8230; peut-\u00eatre m\u00eame cruciale !<\/div>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-large wp-image-138107\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-13.05.20-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Brueghel.png\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-13.05.20-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Brueghel.png 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-13.05.20-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Brueghel-300x300.png 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-13.05.20-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Brueghel-150x150.png 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-13.05.20-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Brueghel-768x768.png 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-138106\" src=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali.png\" alt=\"\" width=\"1024\" height=\"1024\" srcset=\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali.png 1024w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali-300x300.png 300w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali-150x150.png 150w, https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2023-12-07-12.58.15-An-Artificial-Intelligence-represented-as-a-Greek-god-writing-new-tables-of-the-law-in-the-style-of-Salvador-Dali-768x768.png 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><em>Illustration par DALL\u00b7E (+PJ)<\/em><\/p>\n<div>Voici un point de vue alternatif \u00e0 celui d\u00e9velopp\u00e9 par Paul dans <a href=\"https:\/\/www.pauljorion.com\/blog\/2023\/12\/06\/quinzaines-a-legal-des-dieux-n-1256\/\" target=\"_blank\" rel=\"noopener\">\u00ab\u00a0A l&rsquo;\u00e9gal des dieux\u00a0\u00bb<\/a>,\u00a0\u00e9voqu\u00e9 notamment <a href=\"https:\/\/www.manufacturing.net\/aerospace\/blog\/13058129\/ai-is-summoning-demons\" target=\"_blank\" rel=\"noopener\">par Elon Musk<\/a>\u00a0: \u00ab\u00a0<i>Avec l&rsquo;intelligence artificielle, nous convoquons le d\u00e9mon. Dans toutes ces histoires o\u00f9 il y a le [&hellip;]<\/i><\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[13,6213],"tags":[940,3997],"class_list":["post-138104","post","type-post","status-publish","format-standard","hentry","category-intelligence-artificielle","category-singularite","tag-intelligence-artificielle-2","tag-singularite"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/138104","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=138104"}],"version-history":[{"count":1,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/138104\/revisions"}],"predecessor-version":[{"id":138108,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/138104\/revisions\/138108"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=138104"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=138104"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=138104"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}