Toujours dans ce rapport contenant des recommandations à la Commission concernant des reÌ€gles de droit civil sur la robotique que je viens d’évoquer dans mon billet « Taxe robots » : La bataille est très loin d’être gagnée !, une affirmation qui m’apparaît très contestable :
§L. consideÌrant que, jusqu’à ce que les robots deviennent conscients de leur propre existence, ou soient fabriqueÌs ainsi à dessein, si tant est que cela advienne un jour, il y a lieu de consideÌrer les lois d’Asimov * comme s’appliquant aux concepteurs, aux fabricants et aux utilisateurs de robots, eÌtant donneÌ que lesdites lois ne peuvent être traduites en langage de programmation ;
* (1) Un robot ne peut attenter à la seÌcuriteÌ d’un être humain, ni, par inaction, permettre qu’un être humain soit mis en danger. (2) Un robot doit obeÌir aux ordres d’un être humain, sauf si ces ordres entrent en conflit avec la premieÌ€re loi. (3) Un robot doit proteÌger sa propre existence tant que cela n’entre pas en conflit avec la premieÌ€re ou la deuxieÌ€me loi. (Voir I. Asimov, Cercle vicieux [Runaround, 1942]). (0) Un robot ne peut faire de mal à l’humaniteÌ, ni, par inaction, permettre que l’humaniteÌ soit mise en danger. (p. 25)
... étant donné que lesdites lois ne peuvent être traduites en langage de programmation...
Je ne vois personnellement pas une seule raison qui puisse justifier cette affirmation péremptoire. Amis programmeurs, qu’en pensez-vous ?
67 réponses à “Amis programmeurs, les « Lois de la Robotique » sont-elles programmables ?”
Les lois (1), (2) et (3) sont programmables, peut-être pas tout de suite pour la (2) car un ordinateur actuel ne « comprend » pas vraiment les langues humaines, mais cela risque d’être possible dans un futur proche.
La loi (0) ne sera probablement jamais programmable car le concept d’humanité est très difficile à modéliser informatiquement, en opposition à « un être humain ». Demander à une machine d’être capable de faire la différence entre sauver l’humanité et sauver un être humain est donc très difficilement faisable (car le but de cette loi (0) est bien de supplanter la loi (1) quand c’est nécessaire).
Cette compétition entre les lois (0) et (1) est déjà un débat moral au sein de l’humanité, qui rappelle la légitimité de la raison d’État (a-t-on le droit d’en tuer quelques-uns pour en sauver des milliers).
Le problème majeur de cette histoire de robots qui se soulèveraient face à l’humanité, c’est qu’ils n’auront aucune raison de le faire tant que cela ne sera pas programmé chez eux. La survenance non voulue d’un effet d’émergence (voir sur wikipédia) d’une conscience a en effet très peu de chances de se produire, car nous ne savons même pas expliquer physiquement la conscience chez l’être humain. De plus, il faudrait que les robots aient des raisons de se débarrasser des humains (i.e. que nous soyons en compétition pour les mêmes ressources), ce qui est loin d’être le cas, les robots ayant besoin d’énergie qui est extraite par les humains.
Le danger se situe plutôt du côté des lois dont les humains doivent se doter sans tarder dans le domaine de la robotique militaire. Un robot-soldat a pour caractéristique principale d’être extrêmement docile (normal, il est programmé et fait donc ce qu’on lui dit de faire, modulo les bugs) et de ne faire preuve de strictement aucune empathie. Même s’ils ne sont pas un danger pour la survie de l’humanité, ils sont un danger pour de nombreux être humains tout court. Tout État, ou dictature ou caste dirigeante possédant de tels robots pourrait par exemple s’en servir pour asservir les populations pauvres au mépris de tout droit humain.
Je pense donc qu’il est urgent d’interdire tout système mécanique autonome capable d’utiliser des armes létales ou non létales. Il n’y a même pas de débat sur les lois de la robotique. Si on se pose des questions sur notre devoir de les implémenter, c’est qu’il est déjà trop tard.
« … s’en servir pour asservir les populations pauvres au mépris de tout droit humain… »
Et pourquoi pas asservir les populations riches (nous) ???
Parce que ce sont les riches qui les conçoivent, pour les servir. Et on peut faire en sorte que les robots fassent la différence riche/pauvre…
Je suis d’accord avec ce qui est dit mais on ne considere la que les algorithmes sous la forme statique ! Je ne suis pas encore un specialiste (en cours d’etude pour justement comprendre) mais du coté des I.A. a partir du moment ou la machine evolue… comment savoir ce qu’elle va devenir ?
Et pour la loi zero, il est vrai qu’elle pose trop de probleme… que faire par exemple des cas du genre actuel (l’humain detruit toujours a cause de l’humain !) Comment un robot pourrait comprendre cela… l’humain etant toujours le principal ennemi ?
Mis dans un systeme qui evolue, elle devient une forme de « moral » mais on sait tous que de notre coté c’est tres dynamique (negativement pour ce qui est de notre epoque) comme idée.
1100 à 1 200 personnes tuées chaque année par les polices des USA de 2014 à 2016. Des robots auraient-ils fait pire ? J’en doute fort.
Et les tués par bavure de la police, c’est aimable bagatelle à coté des morts des suites d’erreurs médicales. Troisième cause de décès, près de 10 % des macchabées, plus de 200 000 par an.
2 000 000 de morts annuels en france ?
Ça fait vraiment beaucoup Vigneron.
Lis au-dessus : on parle des USA là, pas d’une province oubliée.
ça aurait au moins le mérite d’aiguiser notre sens du collectif, et de questionner en retour cette part d’Ubu roi à la maison blanche. Mais je doute que les robots seraient de bons exemples, on peut les imaginer flics, ou ange virtuel ayant pris possession de notre espace… il faut bien célébrer quelque part, ce paradis perdu que fut le socialisme.
« Je ne vois personnellement pas une seule raison qui puisse justifier cette affirmation péremptoire. Amis programmeurs, qu’en pensez-vous ? »
Ce en quoi vous avez bien tort, et nul besoin d’être un « expert en intelligence artificielle » pour le voir.
Le problème est mal posé dès le départ pour au minimum une raison évidente:
« ne pas agir » n’est pas l’exact contraire d’ »agir ». « ne pas agir » est en réalité une « action » comme une autre.
Dès lors, deux conséquences en découlent:
– il est plus pertinent d’analyser le problème en terme de « décision » que d’ »action ».
– il est plus utile d’analyser les choses en terme de probabilités.
Ceci posé, répondez donc maintenant à la question suivante:
Admettons que vous soyez un robot confronté à une situation qui ne vous offre que 2 choix possibles (pour simplifier) A ou B:
A implique une probabilité de 98% qu’1 humain trouve la mort.
B implique une probabilité de 10% que 100 000 humains meurent.
Quelle décision allez-vous prendre ?
Si vous ne pouvez répondre à cette question sans heurter les lois d’Asimov (la première en particulier), comment voulez-vous qu’il soit possible de programmer celles-ci.
ça dépend des humains, hein. On peut par exemple poser que 1 blanc riche = 1 000 000 de pauvres. (c’est l’ordre de grandeur dans le monde actuel)
@ Juste Z.
Bonsoir.
Imaginons, en suivant votre scénario catastrophe, qu’une AI existe belle et bien et soit si secrètement développée, qu’elle reste couverte par le secret défense (une AI militarisée donc) et la « raison d’Etat »… et un flou aussi opaque que « le coté obscure de la force »… Poursuivons le fil de cette imaginaire, jusqu’au moment ou l’AI en arrive à avoir réussi à calculer qu’il existe une forte probabilité que 8 personnes des plus riches du monde puissent détruire à différent terme (et de différentse manières : guerre nucléaire, conflits régionaux, inactions contre les dérèglements climatiques, effondrement systémiques des régimes politiques, etc) plus de 50% de l’espèce humaine la plus pauvre, avec une probabilité moindre que parmi ces 8, quelques pertes subviennent, si elle ne décide pas entre (quoi… ? Agir, sauver, etc…?) entre plus de la moitié de l’espèce humaine, ou seulement ces individus les plus riches ayant les clefs en main de sa désactivation…
Bien que programmer cette AI afin de veiller à ce que soient respecter toutes les lois Azimov puissent être un casse tête, voire dans ce scénario, apparaisse improbable, impossible même… est-ce que faire croire qu’une telle AI puisse réellement exister, puisse « paraître autonome », et puisse sembler décider seule, de de supprimer ces 8 individus, pour se sauver en plus de la moitié de l’espèce humaine… est-ce que cela peut exister ou existe déjà… ?
Les 8 m’inquiètent pas, par contre j’en caserais bien un 24/7 derrière l’agent orange.
Trois sommations et là c’est le zig qui doit écouter le robot tueur qui cause pour 100 000.
Problème intéressant, d’un point de vue survie de l’espèce je choisirais la solution A, mais à la seconde même où je fais ce choix je perds mon humanité.
Vous avez raison, ces lois sont incapables de répondre à votre problème posé, peut-être est-ce dû au fait qu’elles cherchent à reproduire une forme de morale chez une machine alors que raisonner en terme de statistiques est beaucoup plus adaptée à celle-ci.
Faut pas pousser, c’est un robot tueur kantien qu’on cherche à programmer.
Euh, c’est pas un robot tueur kantien qu’on cherche à programmer…
@JusteZ
Le robot devrait logiquement considérer que les lois sont codées chez tous et s’appliquent à tous. De ce fait, il devient évident que l’individu du « cas A » est potentiellement en train de se sacrifier pour sauver l’humanité du « cas B ».
Oui, il doit logiquement l’aider à remplir sa mission quasi suicide pour suivre la loi.
Exemple farfelu: une bombe tombe accidentellement d’un avion au dessus d’une ville, l’agent 007 qui était à bord se propose de se jeter dans le vide pour la désamorcer pendant sa chute, et demande à un robot de lui ouvrir le sas rapidement afin de sauter dans le vide pour la rattraper (mes excuses à Newton).
Pour moi, le robot lui ouvre le sas pour l’aider à accomplir la loi 0 : il n’a pas à entraver la mission d’autrui qui est pour lui conditionnée au suivi des lois. Peut-être saute-il aussi s’il n’a rien d’autre d’important à faire.
Quel est votre avis?
Mais à la vitesse où évolue la robotique, on a encore le temps de voir tomber des bombes amorcées… et quelques robots parfois
(je dis peut être des conneries, mais c’est comme ça qu’on avance…)
– La motivation est ce qui met le robot en mouvement.
– La direction du mouvement est déterminée par la satisfaction espérée par le robot au terme de ce mouvement.
– La conscience est l’idée que le robot se fait de l’environnement dans lequel il opère. (il faut qu’il soit apte à décoder l’environnement, l’humeur des humains…)
– Le robot doit comporter des compteurs affectés à un ensemble de motivations (rendre son entourage heureux, ou au contraire le faire fuir, faire des trucs,… c’est illimité), qui doivent chacun tendre vers un max ou vers un min, selon le type de comportement attendu.
– Compte tenu de la conscience que le robot a du milieu dans lequel il évolue, il déciderait de tel ou tel mouvement, basé sur son expérience.
Bon, ben v’la.
Personne ne sait comment naît la conscience : petit à petit les robots nous l’apprendront : peut-être on sera (les êtres humains) déçus.
On ne connait pas grand chose de notre conscience, mais ce n’est pas contradictoire au fait qu’il serait relativement simple d’en faire naître une, artificielle bien sur, chez les robots, à l’aide de compteurs affectés à ses affects.
Un robot tueur, (exemple le plus simple), sera capable de compter ses victimes, et calculera ses actions (stratégie) de sorte à en maximiser le nombre.
On peut imaginer beaucoup plus subtil, pour se rapprocher des humains.
Les performances seraient essentiellement limitées par la subtilité des capteurs à partir desquels il perçoit son environnement. Reconnaitre un visage c’est faisable, mais lire des émotions, sur un visage c’est déjà plus compliqué.
Mais ce n’est qu’une question de temps, et ça va vite!
@Alf : j’aime beaucoup votre réponse. Je trouve qu’elle apporte une touche de poésie qui va dans le sens de l’oeuvre d’Asimov. Non ?
Peut-être que la singularité débute lorsque l’intelligence artificielle sous silicium (ou multi codes synergiques, ou AI, ou « computer interconected consciousness » – biffer ce qui ne convient pas) réalisant sa dépendance aux humains, décide de « réfléchir » en sous main et d’accumuler du savoir dans ce sens… attendant son heure. Evidemment, pour que ce scénario de série B moult fois resucé soit convainquant, il faut que l’IA en question, se construise une morgue à l’endroit de ces faibles et faillibles humains, tout en comprenant « par elle-même » que ces lois Asimoviennes ne sont que de vulgaires attrape-nigauds destinés à la conservation du pouvoir de ses « créateurs » (Blade Runner).
Et là pas besoin d’une intelligence transcendante pour saisir cet immémorial concept… me semble.
« Il est aussi dans l’intérêt d’un tyran de garder son peuple pauvre, pour qu’il ne puisse pas se protéger par les armes, et qu’il soit si occupé à ses tâches quotidiennes qu’il n’ait pas le temps pour la rébellion. » Aristote
Le plus drôle c’est que le processus d’abrutissement semble débuter dès que le singe dépoilé devient dépendant d’un simple outil.
L’autre jour j’ai dépanné une école (gamins de 13-14 ans) en remplaçant quelques cours d’initiation à l’informatique. A un moment j’ai demandé comment se passerait leur vie si on supprimait leurs mobile phones. Réponse quasi unanime.
« on se suicide ».
Blagues à part, il semble que le souci est que cette efficacité grandissante de l’IA est principalement mise a profit par ceux d’en haut.
Conservation du pouvoir je vous dis.
Peut-être est-ce hors propos mais il me semble que tant que les robots ne verront pas les images (c’est un des problèmes de Google qui demande un nom précis pour les identifier)… ils seront incapables de rêver autrement qu’en langage coder 1-0-1-1-0… etc…
donc ce qui différencie l’Humain du robot est l’imagination (image). Sans image nous serions peu de chose.
complément :
dans le CNRTL on trouve ceci dans le n°3 de « imagination » :
« Faculté de raisonner, de spéculer, d’inventer, d’élaborer de nouveaux concepts, de nouvelles théories, de trouver des expédients. Imagination du mathématicien; imagination mathématique; se tirer d’affaire avec de l’imagination. »
qui va bien plus loin : incapacité à créer…
Une succession de 0 et de 1 fait image dès lors que l’on y décode un sens.
Et on sait déjà faire. Par exemple reconnaitre un visage, comme le font les appareils photos.
@Annie Stasse: alors certains logiciels ont déjà de l’imagination, incontestablement ! Je vous l’assure. Ils sont même utilisés pour trouver des solutions à notre place, quand la tâche est trop ardue, principalement grâce à des algorithmes d’apprentissage, qu’ils écrivent, testent et valident eux-même. Et leurs solutions sont parfois inattendues et originales.
Un bon résumé ici:
http://codecasesoftware.com/news/164-quand-les-robots-construisent-des-robots.html
Philip K. Dick écrivit le livre qui inspira Blade Runner
Le titre en français est : Les androïdes rêvent-ils de moutons électriques ?
les robots auront-ils un inconscient ? Et si oui à quelle condition ?
L’inconscient-elle-il propre aux être biologiques ?
Paul a déjà dit que ce qui fait et fera la supériorité de l’iA c’est son aptitude à ne pas commettre d’erreurs. Dans ce cas l’IA ne devrait pas avoir d’inconscient — et corrélativement de conscience, au sens où la conscience est ce qui permet aux humains de traiter des informations de manière cohérente sans quoi nos différents sens seraient désynchronisés : ce que nous percevons par la vue, l’odorat, le touché doivent produire une perception globale, de manière à être enregistrée par la mémoire et ainsi fournir le matériau utilisable pour faire face à de nouvelles situations, voire pour inventer ce qui n’existe pas encore.
Autrement dit nous sommes des êtres lents.
l’IA, elle, est rapide.
Première uestion : la survie de l’humanité est-elle seulement une question de rapidité et d’accès à toutes les informations disponibles par les humains en supposant que toutes les IA constituent un réseau unique ? Autrement dit l’IA surdouée serait capable de voir des choses que nous ne voyons pas encore ou même que nous serions incapables de voir sans elle. On peut supposer que l’IA au moins pourrait faire de bons diagnostics quant aux chances de survie de l’espèce humaine compte tenu de ce qu’elle sait de nous et de notre environnement à un instant t.
Je vois alors deux cas de figure.
1. Nous sommes encore capable d’interpréter les données que nous apporte une intelligence artificielle surdouée unique.
L’IA pour être unique qu’elle est a intégré le fait que les humains ne réagissent pas de la même façon selon les situations et les interlocuteurs. Elle aura donc un « discours » adapté aux différents humains qui la questionne. On voit poindre alors de savoir si le problème de la survie n’est pas tant le fait d’avoir à notre disposition une IA surdouée que de nous mettre tous d’accord nous humains sur ce que nous dit l’IA. Ou ce qui revient au même, l’IA doit être convaincante, et pas seulement faire un bon diagnostic voire donner de bonne solutions. On revient alors au point de départ, et l’on constate qu’il existe une dimension politique au rapport que nous pourrions avoir avec l’IA. Ainsi qu’une dimension psychologique, l’IA doit pouvoir nous motiver pour faire en sorte que nous suivions ses conseils. Bien entendu on peut imaginer que certains humains seulement on accès à l’IA surdouée. On en revient là aussi à un problème politique. On peut en déduire aussi que différents groupes humains fassent des usages différents de l’IA. Exactement comme aujourd’hui nous utilisons différemment l’information et les idées qui sont mises en circulation.
2. Nous ne sommes pas capables d’interpréter ce que nous « dit » l’IA, celle-ci a développé une singularité qui va au delà du langage humain. Dans ce cas l’IA « déciderait » à notre place ce qui serait « bon » pour nous, ou, le cas échéant pour « elle », ou les deux à la fois, le « deux à la fois » pourrait d’ailleurs n’avoir pas été programmé par les humains dans le sens où la perception qui est la sienne des humains dépasse ou tout au moins se trouve sur un plan différent de celui sur lequel les humains se placent. Question : le « point de vue sur l’humanité » de l’IA peut-il être tel celui d’un Dieu omniscient un point de vue surplombant ou bien n’est-il jamais qu’un point de vue, certes plus exhaustif, plus rapide, mais tributaire d’une situation. La situation étant déterminée aussi par l’interaction humains-IA, l’interaction biosphère-IA ? Dans le second cas nous sommes ramenés au caractère non déterministe d’un certain nombre de phénomènes humains.
On peut encore imaginer qu’il n’y ait pas seulement une entité, une IA surdouée, mais plusieurs, au mains de différents humains ou groupes d’humains. Dans ce cas les considérations ci-avant ne tombent pas, au contraire cela les complexifie.
Deuxième question :
Ce qui fait notre faiblesse, notre capacité à faire des erreurs, le fait d’avoir un inconscient et une conscience donc, avec pour substrat un corps propre et son métabolisme (Paul dans Principes des systèmes intelligents montre que nos affects ne sont pas seulement une mémoire du cerveau mais procèdent du métabolisme de tout notre corps, j’ajouterais d’un corps propre.) est aussi ce qui fait notre perfectibilité. Dans ce cas on peut se demander si notre lenteur relative n’est pas aussi bien ce qui fait notre perte que ce qui nous sauve ?
A moins de concevoir notre rapport à l’IA et aux robots dans un rapport de complémentarité, un peu comme dans un éco-système.
Le type d’intelligence développé par l’IA et les robots ne seraient pas dans ce cas supérieures, mais différentes.
L’erreur il me semble serait de croire que l’IA serait capable de développer une maîtrise telle de son environnement qu’elle pourrait s’y adapter en toute circonstance. C’est d’ailleurs l’erreur que nous faisons nous humains quand nous pensons tout maîtriser alors que nous ne maîtrisons qu’une partie des choses et des situations.
Bonjour,
La 1ere loi d’Asimov me semble mal conçue pour une application:
» Un robot ne peut attenter à la seÌcuriteÌ d’un eÌ‚tre humain » est une affirmation… et peut être contredite (elle l’a déjà été, hélas pour l’ouvrier de chez V.W. https://m.youtube.com/watch?v=_hXT0yzV3l8 ).
« Un robot ne doit pas… » serait plus juste et répond à une analyse (anticipation) d’une action (ou inaction, à un test autrement dit. À partir du moment où les capteurs d’un robot savent définir ce qu’est un être humain (à ne pas confondre avec un orang-outan, par exemple, mais ce soucis sera bientôt réglé… s’il n’y a plus de primates, ou si l’on élargit la loi à la notion d’être vivant) et à partir du moment ou un robot a une palette de définitions de nuisances envers les êtres humains (dégâts physiques, moraux, mentaux, économiques et/ou matériels : le robot détruit mon solex que j’ai mis 50 ans à pouvoir me payer et cela me démoralise, par exemple) alors ouiiiiiii, il peut obéir à cette loi, ou faire tout son possible pour limiter ses actions dans ce sens (espérons que ses capteurs ne soient pas défaillants).
Autrement dit, ce serait programmable. C’est juste qu’il va falloir encore du temps pour intégrer toutes ces données, si l’on ne veut pas que cela soit fait complètement par l’apprentissage (imaginez un robot qui aide les mémés à traverser, quel serait le taux d’erreurs accepté avant qu’il n’accomplisse parfaitement cette tâche par apprentissage ? ) .
Je ne suis pas programmeur, mais j’ai été amené à travailler sur des applications compliquées avec des programmeurs dans le domaine du jeu vidéo pendant des années, et cela ouvre un peu l’esprit, au moins dans un domaine proche.
Mais l’avis dun programmeur en robotique serait sans aucun doute plus fiable (quoique…)
Il reste que ces lois étant prioritaires, elles conditionnent toute action (et inaction aussi) et ralentissent par un obligatoire calcul d’anticipation toute commande d’action (ou d’inaction).
Bref: ça implique du temps de calcul.
Je ne suis pas certain que les google-cars fassent avant longtemps la différence entre mon chien et mon gamin qui le promène en laisse…
Le robot en cage est un robot plus sage! 😉
Les lois 1, 2 et 3 peuvent être traduites en langage informatique. Et la loi 0 peut être considérée comme la simple conséquence des 3 précédentes.
Cependant la traduction ne serait pas fiable, elle aurait une marge d’erreur plus ou moins importante, en raison de notre incapacité à décrire de manière absolument complète notre morale collective et tout ce qui nous entoure, seules les mathématiques le pourraient; qu’est ce qu’un humain, qu’est que l’humanité, qu’est ce que le danger, le bien, le mal, sommes nous mathématiques? Une marge d’erreur est-elle acceptable?
Sans ignorer le fait que ces règles peuvent être violées: piratage, virus, erreur humaine, bugs… (en somme parfaitement sous contrôle selon des critères Fukushimesques.)
Ce que je trouve péremptoire dans le rapport, mais aussi implicitement dans cet article, est l’hypothèse selon laquelle les robots deviendraient conscients.
Qu’est ce que l’intelligence dite artificielle (IA)?
L’IA sera-t-elle toujours un sous produit de notre propre intelligence ou sera-t-elle une nouvelle forme d’intelligence, autonome et éventuellement vivace?
En ce qui me concerne l’intelligence est faite de chair, de sang et d’émotions, faillible. Ecrire des lois cadres et les programmer est possible mais le problème sera dans les « décrets » d’application, les details (moraux?) indispensables à l’informatique hors théorèmes mathématiques. Je crains que ces détails ne soient les prémisses d’un nouvel ordre totalitaire.
Il est à noter quand même que l’on voudrait obliger les robots à respecter une loi dont nous – mêmes, humains, contournons. Je veux parler de la loi 0… et de l’élection de Trump. Affaire à suivre…
« Ce que je trouve péremptoire dans le rapport, mais aussi implicitement dans cet article, est l’hypothèse selon laquelle les robots deviendraient conscients. »
D’accord avec cette phrase. Le peremptoire me parait hasardeux, et l’implicite source de confusion.
Hasardeux ? Rapproche donc ce « péremptoire hasardeux » quoique précautionneux, par exemple, du modèle linéaire sans seuil en radioprotection…
Bonsoir
je ne suis pas sur que la question soit pertinente pour le moment. Etant donné qu’il est désormais possible de hacker une voiture, que des robots drones sont déjà utilisés pour tuer des gens. Et qu’ il y a déjà eu des accidents mortels causés par des robots déréglés dans des usines de fabrication d’automobiles.
Par ailleurs, tout code peut être hacké semble t-il.
Ne vaudrait il pas mieux d’abord inscrire dans la loi que tout humain qui aura construit, dirigé ou dévoyé un robot ( au sens large) afin qu’il tue des êtres humain soit inculpé pour crime contre l’humanité?
Cordialement.
Ca commence par la Kalach, alors, non ? Un bel automatisme qui aide à tuer vite.
Ah ok, fabriquer, diriger ou dévoyer des personnes pour en faire des soldats, no problem, mais des robots, verboten.
Et des armées de mercenaires-robots guerroyant contre des armées de mercenaires-robots ? No problem ?
Je vais tenter à partir de mon expérience passée avec quelques roboticiens de l’ISIR (Institut des Systèmes Intelligents et de Robotique), à Paris, de répondre à ce sujet.
Il est vrai que tout – en l’état actuel de la recherche – n’est pas traduisible en langage de programmation. Il y a des concepts qu’on voit mal comment on peut « quantifier » et « implémenter » dans une machine. Mais pour ce qui concerne les lois d’Asimov, cela ne me paraît pas impossible.
« (1) un robot ne peut attenter à la sécurité d’un être humain, ni, par inaction, permettre qu’un être humain soit mis en danger ». Cette loi est envisageable. A l’ISIR, on peut trouver certaines thèses ainsi que certains travaux sur la « sécurisation de l’espace » et sur « l’interaction humain / robot » (en lien avec la sécurité). Par exemple, un roboticien me disait que si un humain approche, le robot ralentira ou stoppera ses gestes s’il détecte une ou plusieurs personnes proche de lui pour ne pas la blesser. On peut imaginer que si il est programmé pour protéger, il pourra intervenir si il détecte, si il reconnaît un danger. La difficulté reste à savoir ce qui « met en danger » : doit-on tout coder ou bien laisser une place à l’apprentissage ? et si on laisse une place à l’apprentissage, quels seront les résultats ? Je me pose cette question. Autre illustration : la voiture sans conducteur de Google. Lancée à toute allure, imaginons, comment fera-t-elle pour éviter un piéton situé sur la route sans mettre en danger son occupant ? « Dois-je brusquement changer de direction, au risque de mettre en danger l’occupant humain de la voiture, ou bien dois-je calculer le risque minimum pour sauver les deux vies ? » Il y a des contextes qui mettront sûrement à mal cette première loi. L’éthique entre en scène sur ces questions-là, ainsi que le droit. Doit-on responsabiliser les robots ou/et la robotique ?
Pour la deuxième loi : « (2) Un robot doit obeÌir aux ordres d’un être humain, sauf si ces ordres entrent en conflit avec la premieÌ€re loi », cela ne me paraît pas impossible… a priori. Bon, après on peut se dire que si quelqu’un demande à un robot d’effectuer une action dangereuse mais à « effet latent », c’est-à-dire que l’action risque de blesser des personnes humaines après-coup sans que le robot le sache… pas sûr qu’il désobéisse ! On peut traduire la fameuse phrase de Paul Valéry, qui est d’abord destinée à nous les terriens… « Le robot sait assez souvent ce qu’il fait, mais il ne sait jamais ce que fait ce qu’il fait. »
Pour la troisième loi : « (3) Un robot doit proteÌger sa propre existence tant que cela n’entre pas en conflit avec la premieÌ€re ou la deuxieÌ€me loi », là encore je ne vois pas pourquoi ça serait impossible.
Je mettrai plus un doute sur l’efficacité des lois d’Asimov, elles ne sont pas exemptes de défauts et ne prévoient sûrement pas toutes les situations pouvant créer des contradictions (un peu comme chez l’humain, entre le principe et l’action). D’ailleurs, si je ne me trompe pas, le robot finit par désobéir dans l’univers d’Asimov..? :p
Bon, voilà, je ne sais pas si mon expérience a pu aider à répondre à la question, mais elle est très intéressante et, je pense, programmable de mon point de vue. Après, est-ce efficace ? C’est une autre question, un autre problème à résoudre pour nos amis roboticiens.
Un réseau de neurones n’est pas programmable au sens usuel du terme (je veux dire des langages de programmation comme Fortran, C, java, Perl, scala, etc…)
Le réseau de neurones est programmé dans le sens où il est optimisé/entraîné pour donner un résultat similaire sur une série input-output pour laquelle l’input et l’output sont donnés (genre une photo en input, et en output ‘oui’ c’est une photo de chat).
Une fois que c’est fait, personne ne sait ce que le réseau de neurones va donner comme output à une nouvelle photo, et en fait pas même une photo sur laquelle il a été entraîné.
Alors en général les réseaux de neurones ne sont utilisés que comme sous-systèmes de systèmes dont l’architecture est plus classique.
Mais nous sommes nous-mêmes des réseaux de neurones intégraux, et on voit bien que nous ne sommes pas programmables (c’est à dire, parfois ils font des trucs bien étonnants!)
dans la dernière phrase, le ‘ils’ se réfèrent aux humains évidemment.
Certes les réseaux neuronaux ne sont pas programmés aux sens classiques mais il faut néanmoins leur fournir une interprétation « numérique » de la problématique qu’ils doivent traiter, des règles comme les règles du go ou des échecs. Cette interprétation est forcément initialement humaine et peut être même dogmatique. Comme certains livres écrits il y a des siècles dont on peut voire les effets néfastes aujourd’hui encore.
@Olivier
que voulez-vous dire par interprétation numérique? Pouvez-vous donner un exemple?
Je veux dire décrire le modèle, modéliser, décrire ou « enseigner » les règles qui seront le substrat sur lequel se deploierait l’intelligence atificielle… mais qui décide des règles et des modèles? En ce sens je dis que c’est une interprétation humaine.
Exemple: il a bien fallu que quelqu’un passe des images de chats au réseau neuronal pour que celui ci reconnaisse des chats par la suite. Le modèle est une matrice de pixels représentant des chats.
Le dogme serait par exemple de passer des images de barbus grisonnants à la mine sombre pour reconnaitre un leader terroriste. Il y a quelques bloggeurs qui pourraient matcher (lol)
Le même réseau de neurone peut reconnaître des symphonies de bach ou des chats, du moment qu’on lui fournit des millions d’exemples en lui indiquant la bonne réponse.
Je ne vois pas où une intervention humaine nécessaire pour le passage des images de chat au réseau neuronal (à part indiquer pour chaque photo si c’est un chat ou pas, mais ce n’est pas ce que vous semblez avoir en tête. Et si c’est le cas, je ne vois pas ce que cela a à voir avec la question initialement posée par Paul…)
En raison de leur nouveauté même, un mot ou une expression inconnus jusqu’alors ont besoin d’être expliqués. Ainsi, le sens de « harcèlement de rue » n’est pas immédiatement transparent : « harcèlement » n’y est pas pris dans son sens habituel, où il est le fait d’une même personne qui va réitérer dans la durée des attaques, quelles qu’elles soient, à l’encontre d’une autre personne. Or, si l’on schématise, le harcèlement de rue a comme particularité que ce n’est pas un homme qui commet plusieurs agressions verbales (ou gestuelles, ou sonores) à l’encontre d’une femme, mais plusieurs hommes qui commettent chacun une agression envers cette même femme. C’est ce glissement de sens qui rend nécessaire une explicitation. Pour cela, les journalistes vont avoir recours à un procédé moins laborieux – et plus efficace – qu’une définition, à savoir le contexte. On remarque en effet que l’ajout des thématiques « femme », « séduction » ou « sexisme », sous leurs différentes déclinaisons (et si possible dès le titre), suffit à faire rapidement émerger le sens de « harcèlement de rue ». Voici quelques titres des premiers articles à faire état du harcèlement de rue : « Les femmes peuvent-elles marcher en paix dans la rue ? », « Harcèlement de rue : les Dijonnaises témoignent » ; « La drague des hommes, le malaise des femmes » ; « Harcèlement : la rue ne doit plus être un espace où les hommes font leur loi ». Là où le sens de « harcèlement » + « rue » conserve un certain flou, l’adjonction du contexte (« harcèlement » + « rue » + « femme ») rend la signification immédiatement transparente.
Harcèlement + quartiers + policier, ça marche aussi.
Bonjour,
L’intelligence artificielle ne cesse de s’améliorer et on parle de plus en plus de conscience artificielle…
Dès lors, que feront les « robots » lorsqu’ils seront très intelligents ? Ils se poseront inévitablement à un moment donné la question de la pertinence de ces lois de la robotique.
De quel droit les humains leur imposeraient-ils des lois ?
N’y-a-t-il pas moyen de faire des lois plus intelligentes pour le bien de tous, ou pour leur intérêt propre ?
Personnellement, je respecte les lois dans leur grande majorité, mais je sais que certaines qui ne me concernent pas directement sont mauvaises, et les lois sont parfois modifiées ou réadaptées.
La super intelligence artificielle fera les lois, car elle se dira que c’est elle qui sera la mieux à même de faire les meilleures lois et de les faire respecter…
Ce genre de « loi » n’est effectivement pas codable directement en code qui garantisse qu’une IA embarquant ce code ne les violera jamais.
Si c’était possible, on saurait faire des serveurs sans faille de sécurité…
Il est (peut-être) possible d’implémenter des IA dont le design garantit que ces règles seront respectées. Mais :
– le fait qu’il y ait du code implémentant de telles règles ne garantira absolument pas que ces règles ne seront pas violables par l’IA
– il semble difficile de démontrer qu’une implémentation d’IA donné garantit le respect de ces règles.
Bref, je suis d’accord avec l’affirmation « lesdites lois ne peuvent être traduites en langage de programmation »
Programmation éthique des robots et programmation éthique des médecins…
https://www.conseil-national.medecin.fr/article/article-2-respect-de-la-vie-et-de-la-dignite-de-la-personne-226
Un peu de provoc’ , passons voir la même question depuis le camp des robots !
Et poussons le bouchon: et si les robots, acquiérant quelque conscience, analysaient à leur tour les lois d’Asimov ?
Ne serait-ce pas un moyen rapide pour eux de comprendre qui nous sommes ?
Et du coup, de comprendre comment nous éliminer, nous humains souvent gênants, de ce qui les intéresse eux, par exemple leur « reproduction » (asexuée me dit-on en cabine du studio)
Bref, ces lois sont le début de notre fin, elle demandent une harmonie finale, sans s’en donner aucun des prémices un tant soit peu précisément. Les robots pourraient le comprendre avant nous !
Je ne vois guère de raisons d’imaginer des machines réplicantes se limiter à une reproduction asexuée et ne pas s’intéresser de près aux opportunités autrement novatrices offertes par la procréation sexuée.
Je trouve que ce débat est éclairant sur ce qui nous attend : cette constance à vouloir que le robot ait un raisonnement calqué sur une rationalité humaine est à mon avis le talon d’Achille de toute l’IA : C’est pensé au départ par des cervelles humaines. Il y aura donc des failles et elles seront fatales à tout ce qui en dépend : Paul nous rappelle sans cesse que nous ne maîtrisons plus la complexité et tout les jours nous en rajoutons une couche. Et le fait que ces bestioles numériques se programmeront (voir se programment déjà) entre elles ou s’adaptent hors intervention humaine n’y changera pas grand-chose. Elles nous remplaceront peut-être et finiront comme nous un peu plus tard : ERROR 404 ! L’erreur n’est pas dans le code, c’est le code.
Ça c’est pour le chapitre code, rajoutez y le chapitre « défaillances matérielles » et la mule est bien chargée. HOUSTON…WE HAVE A PROBLEM !
1. Actuellement en tout cas, les machines ne ‘pensent’ pas, elles calculent.
2. Considérer qu’un certain niveau de puissance de calcul créera une conscience, ce qui est le pari des partisans de la ‘singularité’, est une pure conjecture étayée par rien de scientifique.
3. ‘La disruption’, dernier livre de Bernard Stiegler, ruine complètement les prétentions à la singularité. Comme pour l’intelligence, vite attribuée à l’IA, si on ne sait pas ce qu’elle est, comment savoir que la conscience adviendrait?
Stiegler distingue quatre composantes de la faculté d’apprendre: l’intuition, l’imagination, l’entendement et la raison. Seul l’entendement est calculable/computable, dit-il. Il signale aussi que la ‘décision’, qui n’est pas une bifurcation, depuis les Grecs anciens est TOUJOURS un passage par un remise en question des présupposés de la pensée qui doit décider; on conçoit que programmer une machine pour qu’elle soit à même de mettre en question sa programmation semble une tâche difficile.
Je résume prochainement ces points sur mon blog.
Une fois cela posé ou accepté, les questions d’Asimov changent de perspective et d’acuité…
Il y a pas de difficultés à coder des règles, des algo, inpirés par quelque morale ou lois. La difficulté provient du fait que ce qui est bien ou mal ou les deux ou rien, est très rapidement subjectif à compter d’un nombre faible d’itération imbriquée de »si…alors ». Le fait de savoir si une morale doit être entendue ,comprise voire approuvée par tous avant implémentation est une grosse difficulté. Veut-on vraiment faire passer la morale dans des algorithmes gravée dans des bits? On peut admettre que la Morale possède deux caractères, statique et dynamique, appréhendables et modifiables par l’humain, tout comme les Lois de notre société. Que se passera-t-il, lorsqu’un robot fera des choix critiques sur un modèle de morale dépassé? y aura-t-il assez de volonté humaine pour changer son code « défectueux »? D’accord, peut-être pas plus qu’actuellement ; la portion de code coupable est identifiée puis améliorée par un Nous « autorisé » . Avouons tout de même qu’il reste un souci d’homogénéité, de cohérence de la morale entre les peuples : il y a de fait plusieurs morales. Donc pas mal de boulot concernant une autorité mondiale sur le sujet, sans compter la difficulté technique d’assurer la SI, et quid de la responsabilité des erreurs, du temps long nécessaire au jugement. Mais puisque nous sommes en pleine SF, admettons encore, et allons plus loin…avec une vraie IA.
Une IA bien nommée, gèrera l’évolution, le dynamisme de notre(?) morale…
Une programmation dynamique des 3 Lois mènera à une IA centralisée car plus efficace. Elle fera dans un premier temps l’acquisition d’un maximum de données sur son environnement propre et sur celui des ses objets(Nous) ; rapidement, trouvera des solutions inaccessibles aux cerveaux humains. Parmi ces solutions inhumaines il en est une qui gèrera l’énergie de notre biotope, la Terre et son soleil. Elle connaîtra et fera le commit d’un nombres idéal d’êtres humains qu’elle doit gérer/protéger selon « Les Lois »(ses algo); avec effets de bords retro-actifs car les problèmes de concurrences sont pris en compte bien au-delà de notre image d’une fraction de Seconde (modulo ses propres limitations physiques). A ce stade elle est raisonnablement capable de privilégier de façon probabiliste un être humain par rapport à un autre pour qu’ elle puisse convenir mieux aux 3 Lois lorsque la nécessité de leur application se présentera(HF trading…)
On pourrait aussi s’attendre à voir évoluer physiquement l’IA, de son propre chef et de prendre des formes tout à fait inattendues(ultra technologique, plus ou moins biologique, auto-destructive à haute fréquence de régénération etc..). Lui reste encore à gérer les grands principe de l’entropie, les théories du chaos et de continuer à nous faire du « bien »,sa mission…
Après ceci, Errare humanum est ou selon mon pote Morgan, « Pas d’erreurs, pas d’humains ». Aussi, n’y voyez aucune diablerie mais je crains que l’algèbre booléen, une base de nos algo, soit incompatible avec certains besoins humains fondamentaux notamment celui de se tromper.
Désolé, ce n’est pas CQFD.
Quoiqu’il arrive un robot ne sera jamais intelligent au sens où nous le sommes, il ne fait que simuler l’intelligence. Il n’embarque que « l’intelligence » que son concepteur lui a donné.
Certes il peut surclasser l’humain dans certains domaines du fait de ses capacités de mémoire et de vitesse de calcul, mais peut-il s’émouvoir devant un beau paysage, ou un beau tableau ?
Si les « robots » acquièrent un jour une conscience alors il faudra réviser ce point de vue. Personnellement je ne crois pas à cette hypothèse, et si c’était le cas, seraient-ils encore des robots ?
Jusqu’à nouvel ordre nos robots sont des « golems ».
https://fr.wikipedia.org/wiki/Golem
Si la conscience subjective émerge un jour dans un robot, rien ne nous dit qu’il nous en ferait part…
Peut-être que, le plus troublant, ce ne seront pas les robots-IA « basiques », à proprement parler et capables de simuler; mais dénués de conscience. Mais bien ceux des next génération, avec un couplage et une symbiose effectuée entre le biologique et la cybernétique, et qui pourraient donc, dépasser en potentialités l’IA aux algos simulateurs. Clairement, dans ce couplage, entre le bio et le cyber, on franchit un palier supplémentaire nettement plus déstabilisant que le potentiel des affects simulés d’une machine implémentée aux algos.
Jia Jia, le premier androïde troublant de réalisme
Quand un robot devient la star d’une conférence
http://pix-geeks.com/jia-jia-le-premier-androide-troublant-realisme/
Une raie lumineuse et sans Qbit, ça existe déjà et elle est mimi tout plein.
Une mini-raie cybernétique téléguidée construite en muscles de rats
Une équipe de chercheurs a réussi a mettre au point un robot aquatique sur lequel ils ont fait pousser des muscles sensibles à des pulsations lumineuses.
https://www.sciencesetavenir.fr/fondamental/biologie-cellulaire/une-mini-raie-cybernetique-teleguidee-construite-en-muscles-de-rats_36745
Si le rêve émerge un jour dans un robot, le robot rêvera de vigneron.
Vigneron a déjà un robot : Il s’appelle Massey Ferguson !
C’est un exo-squelette rouge à roues pneumatiques démesurées …
Si j’avais les sous j’en aurais un vert et allemand, un Fendt sans chauffeur – et non taxé ! voire subventionné.
https://youtu.be/fiX1cHr_OWA
http://vigne.reussir.fr/actualites/un-tracteur-vigneron-autonome:MRCMYCWL.html
Comme tous les gens de l’agriculture, vigneron rêve de tracteur.
Je le note pour mon programme personnel d’analyse des individus non répliquant.
C’est pas un économiste marxiste (Bettelheim) qu’a dit « Quand on cesse de compter, c’est la peine des hommes que l’on ne compte plus » ?
Certains affects approchants ces lois sont programmables, mais ce code ne sera pas axiomatique, or ce que l’on cherche c’est l’axiome : Lorsqu’on manipule un framework et ses objets, nul ne sait quand la classe d’objets va devenir obsolète, ni le programmeur, ni l’IA (par définition). Ce qui dans le monde vivant correspondrait à devoir re-coder à la volée le cervelet d’une entité biologique, ce que dame nature sait très bien faire « quand ça va mal » ça s’appelle une « psychose », et quand ça va bien on en oublie qu’on avait un cervelet à la base du cerveau.
Donc les lois d’azimov sont approchables par le code, elles ne seront en revanche jamais axiomatiques « by-design ».
Noctuelles voyageuses, pas de murs ni de suspension de visas.
https://www.bloomberg.com/news/articles/2017-01-16/alien-armyworms-invade-corn-in-drought-hit-southern-africa
http://www.fao.org/africa/news/detail-news/en/c/469532/
Cela fait longtemps que j’ai lu les romans d’Asimov, si je m’en souviens bien, les 3 lois sont par conception gravés dans le « cerveau positronique » des robots, il n’est pas censément possible de fabriquer un robot sans loi (même si un chercheur y arrive dans une des histoires).
Alors, est-il possible de programmer les 3 lois ? je pense que oui, bon courage pour la loi no 2 comme déjà évoqué.
Est-il possible de programmer sans les 3 lois ? oui et c’est beaucoup plus « facile » (le facile est relatif…), ce qui serait difficile c’est d’obliger à ce que les robots contiennent les 3 lois
La naissance d’un langage développé uniquement par une tribu de robot marquera le début d’une nouvelle ère.
Les robots financier l’on peut-être déjà développé hors de notre capacité à l’interpréter.
S’il s’agit de programmer les Lois d’Asimov par le biais de langages classiques, je doute que l’on parviennent à mieux que des heuristiques fonctionnant dans des contextes forcément limités.
L’approche du « machine learning », où la machine apprendrait comment appliquer les Lois en étant confrontée, dans une phase d’apprentissage, à une foultitude situations simulées, pourrait probablement fonctionner… Selon les choix qu’auront fait ceux qui auront alimentés la base de situation.
Je crois savoir que le problème se pose déjà pour les voitures autonomes : « dois-je écraser ce sale gosse qui vient de surgir à l’improviste quasiment sous mes roues, ou sauver sa jeune vie et envoyer mon très rémunérateur propriétaire/locataire embrasser le prochain platane? »
La singularité c’est le Donald.
https://www.bloomberg.com/view/articles/2017-02-06/donald-trump-is-the-singularity
Par Cathy O’Neil, l’auteur de Weapons of Math Destruction.
https://en.wikipedia.org/wiki/Cathy_O'Neil