Mark O’Connell, To Be a Machine (VI) La Singularité est-elle pour demain ?

Ouvert aux commentaires.

Comme le fait remarquer O’Connell dans son remarquable To Be a Machine (2017), la Singularité, telle que la comprennent les transhumanistes correspond bien à ce que J. Good, un ancien agent du contrespionnage britannique, avait caractérisé dans le titre d’un article publié par la NASA en 1965 comme « La dernière invention que l’homme devra jamais faire » (The last invention man need ever make) (90) : à partir de ce point de basculement, la machine inventerait tout, alors que nous, êtres humains, nous nous trouverions dans la position inconfortable du chimpanzé tentant d’interpréter ce qu’un être plus intelligent que lui tel que nous, décide de faire autour de lui.

Mais les conditions à réunir pour que le robot soit « la dernière invention que l’homme ait à faire » du fait qu’il prend tout en charge à partir de là, sont beaucoup plus problématiques que les transhumanistes ne le laissent entendre.

Un robot fabriquant un robot est facile à imaginer, puisqu’il n’est jamais question là que d’une machine fabriquant une autre machine. Mais, si les hommes devaient véritablement être désormais entièrement hors de la boucle, il faudrait pour en être là que le processus conduisant au robot fabriquant un autre robot soit entièrement automatisé. Ce qui veut dire, que des robots : de l’extraction du minerai, à la fabrication des différentes pièces en passant par l’extraction du métal du minerai, ou du raffinage du pétrole jusqu’à l’obtention des composants synthétiques qui en sont des dérivés, etc.

Ces nombreuses questions d’ordre pratique auraient-elles même été réglées, d’autres difficultés demeureraient. Si l’on parle en effet de machines capables de s’améliorer de leur propre initiative, deux options sont envisageables. Dans la première, un « robot au sens large » améliore sa performance individuelle par apprentissage, ou par une optimisation à partir d’une analyse statistique qu’il effectuerait de son comportement passé, ou encore en recourant à un algorithme génétique appliqué à d’anciennes stratégies ayant été payantes autrefois, en vue de les recycler si un nouveau contexte les rend à nouveau rentables.

Si une telle machine capable d’acquérir à titre individuel de nouvelles connaissances comme fruit d’un apprentissage transmettait son savoir acquis à d’autres, on parlerait dans ce cas-là s’il s’agissait d’êtres humains d’une « innovation culturelle » due à quelqu’un par opposition à une découverte à usage purement personnel ; une contribution à la culture en tant que telle étant susceptible de bénéficier à l’ensemble des générations à venir, à condition qu’une rupture dans la transmission n’intervienne pas en chemin.

La seconde option quand on évoque des machines capables de s’améliorer est qu’il s’agisse plutôt de machines susceptibles d’engendrer une toute nouvelle génération d’elles-mêmes, plus efficace par dessein dans chacune de ses instances avant même tout processus d’apprentissage. Il est question, autrement dit, d’une machine capable d’inventer au sens propre du mot de nouvelles approches pour l’ensemble de ses congénères de « nouvelle génération », qui seront alors ses véritables « descendants ». La chose n’est pas impossible, les programmeurs ayant constaté dès les tout débuts de l’IA, la capacité de leurs logiciels à les surprendre. O’Connell cite ainsi Norbert Wiener, pionnier de la cybernétique, qui observait dans un article intitulé « Some moral and technical consequences of automation », (1960) « la tendance des machines à développer des stratégies inattendues alors qu’elles apprennent à des vitesses qui sidèrent leurs programmeurs » (96-97).

J’avais noté la même chose en 1989 à propos d’ANELLA (Associative Network with Emergent Logical and Learning Abilities = réseau associatif à capacités de logique émergente et d’apprentissage), le logiciel d’I.A. que j’avais développé pour British Telecom, qu’elle avait inventé un nouveau type d’inférence :

« 3) Rex a une niche,
une niche est un abri,
DONC
l’abri de Rex est une niche » (Jorion 1989 : 181).

J’ajoutais :

« La troisième figure met en évidence une inférence qui n’appartient pas à la logique classique, mais qu’il a semblé intéressant d’autoriser ANELLA à produire tout de même. Un exemple moins bizarre du même type serait celui-ci :

le coquelicot est rouge,
rouge est une couleur,
DONC
la couleur du coquelicot est rouge » (ibid. 182).

Quand le 15 mars 2015, le logiciel AlphaGo de la firme DeepMind battit Lee Sedol, le numéro 3 mondial du jeu de go, ses programmeurs firent remarquer qu’ils n’avaient rien programmé de l’ordre de l’« intuition », dont tous les commentateurs avaient pourtant prédit que son absence serait un élément déterminant dans la défaite probable de la machine. De même, lorsque le 30 janvier 2017, le logiciel Libratus l’emporta par une vaste marge contre quatre champions de poker, son programmeur Noam Brown déclara : « Quand j’ai vu l’IA se lancer dans le bluff en face d’humains, je me suis dit “mais, je ne lui ai jamais appris à faire cela !” C’est une satisfaction pour moi de me dire que j’ai réussi à créer quelque chose capable de cela » (Trévise 2017). Abdul Razack, le patron de la firme d’IA Infosys fit à cette occasion la remarque suivante : « L’I.A. devient vraiment intéressante dans les cas où le nombre d’inconnues est égal ou supérieur à celui des [variables] connues. Mais je n’avais jamais vu un système meilleur que l’humain face à l’inconnu » (Ryan 2017).

Un bémol doit donc être mis aux espérances les plus folles de l’Intelligence Artificielle : historiquement, les difficultés à résoudre ont très souvent été beaucoup plus sérieuses que l’enthousiasme du moment n’avait voulu l’envisager, mais, bémol à mettre à ce bémol lui-même : les goulets d’étranglement rencontrés, en qui les esprits chagrins de toutes les époques voulurent lire la présence d’obstacles insurmontables, furent toujours surmontés, même s’il fallut dix ans plutôt que les cinq ans initialement envisagés.

=============
Paul Jorion, Principes des systèmes intelligents, Masson 1989 ; Le Croquant 2012

Mark O’Connell, To Be a Machine. Adventures Among Cyborgs, Utopians, Hackers, and the Futurists Solving the Modest Problem of Death, Granta Books 2017

Kevin J. Ryan, « Why It Matters That Artificial Intelligence Is About to Beat the World’s Best Poker Players », Inc.com, le 27 janvier 2017

Daniel Trévise, « Pourquoi la victoire d’une intelligence artificielle au poker est plus inquiétante qu’il n’y paraît Les robots, désormais meilleurs bluffeurs que l’homme », Epoch Times, le 5 février 2017

Partager :

34 réflexions sur « Mark O’Connell, To Be a Machine (VI) La Singularité est-elle pour demain ? »

  1. Je pense que la conscience de soi est biologique et que donc la « singularité  » est une aimable plaisanterie de zozo !
    Vous pourrez créer un mélange de chèvre et d’humain ou toute autre chimère ,mais un amas de métal et de silicone n’aura JAMAIS conscience de soi !
    Il manquera toujours l’étincelle non pas divine ,mais biologique !

      1. Taratata, c’est aux tenants de l’étincelle consciente dans un amas de tôle et de boulons de le faire, merci de ne pas renverser la charge de la preuve cher Paul Jorion. Pour le moment, biologie 1, tas de ferraille 0 !

        Bon courage !

      2. Ma thèse suppose une âme ? Elle est bien bonne celle là ! Très drôle. Ce n’est pas ma thèse, vous devez confondre. Moi, pragmatique et simple observateur, je dis juste que la « conscience de soi » semble être apparu dans le milieu des bons petits tas cellulaires, comme nous, à base de carbone pour le moment. Vérifier le même processus dans un circuit intégré, et un code informatique ben à toi de le prouver. C’est ça ne pas renverser la charge de la preuve.

    1. Concrètement le système nerveux central n’est pas le seul guide biologique sur les chemins escarpés de la connaissance puisqu’il est double. Les intestins et son microbiote constitue le deuxième cerveau, celui qui dispose également de ses propres neurones et conjugue ses stimulations énergétiques aux compulsions du système dit ‘central’.

      Ce moteur double est un élément fondamental de l’expression des tensions mentales de l’être biologique. Un geai, l’oiseau, passera par exemple un temps non déductible de son existence à collecter des glands dûment sélectionnés pour leur absence de parasites en fin d’été, à les semer dans un environnement favorable à leur croissance en automne, puis à observer leur germination avant de les consommer mûrs comme il se doit à l’annonce de la belle saison afin de satisfaire l’équilibre d’un bol alimentaire propice au meilleur chant du printemps. En attendant, le geai aura nourrit son existence d’une bien maigre pitence afin de survivre aux frimats de l’hiver.

      Il faut également comprendre que 85% des rejets issus de la digestion sont composés de bactéries que nous hébergeons malgré nous indépendamment du fait que les 15 % restant ne soit que des intrants provisoirement insupportables.

      Aussi, la diversité des expressions du vivant semble bien loin des capacités simulatives des calculs définitifs.

      Pour ce qui concerne les rapports sociaux, le prévisibilité reste cependant bien calculable.

    2. Cloclo,

      Après relecture de « la chambre chinoise » – vous l’avez lu au fait l’article ? – je reviens à mon intuition première : pas d’accord.

      Vous devez confondre « vie biologique » et « conscience de soi » que vous mettez d’ailleurs entre guillemets.

      Pour résumer à gros gros traits, il suffit d’un système sensitif à même d’assurer la collecte de percepts (fastoche) auxquels on attribue des valeurs d’affects (comme dans anella, fastoche… bon… 😉 ) sur lesquels revenir (j’y connais qued’ en informatique mais ça doit être le truc d’apprentissage auquel M. Jorion fait allusion, fastoche, c’est des boucles…) en vue de produire soit un discours, soit des actions qui tiennent compte des percepts précédents moyennant le filtre subjectif des affects – leur ordre d’inscription et leur intensité (si vraiment je raconte n’importe quoi, M. Jorion arrêtez-moi, je me couvrirai la tête de cendre et partirai dans le désert manger des sauterelles en relisant l’intégrale de vos oeuvres dédicacées).

      C’est, me semble-t-il Cloclo, le phénomène que l’on considère comme « conscience de soi » (pas que sensitif, pas qu’affectif, pas que cognitif et ses conséquences dans le monde) et qui vous paraît impossible à reproduire ?

      Ben vous mixez des senseurs avec Anella sur mon androïde de tout-à-l’heure et je crois que vous n’y verriez que du feu. Tas de boulons ou pas tas de boulons, comme dans mes contre-exemples, la seule différence qui subsiste c’est biologique ou pas. (Dans votre langue : qui viendrait d’en-dessous de la ceinture ou non !)

  2. Ce qui est singulier , c’est que le terme singularité soit employé par les trans-humanistes ( et ceux qui les commentent) dans son acception qui est la plus rare , la moins intuitive et la moins comprise sinon compréhensible par le commun des mortels qui n’est pas mathématicien ou physicien .

    1. Ce qui tendrait à penser que les transhumanistes ont trouvé la réponse à l’angoisse de Paul Jorion devant la maîtrise de la complexité : quand on ne sait plus nommer correctement et résoudre la complexité plurielle , on l’appelle et on la traite comme une
       » singularité ».

      Une sorte d’aveu d’impuissance devant les « mystères » .

  3. Amateur de musique classique, j’ai été invité, il y quelque temps, pour assister à un spectacle « intelligence artifielle pour composer de la musique », pour piano solo par exemple. C’est déjà un vieux truc, j’en ai entendu parler il y a trente ans. Ce machin arrive en effet à composer un air qui ressemble à JS Bach ou d’autres, mais c’est sans intérêt, assez simpliste et pauvre, et surtout: il manque de l’inspiration émotionelle avec ses figurations complexes; c’est une chose qu’une machine ne peut faire. Une machine reste toutjours une machine.
    J’ai déjà usé plusieurs modèles de jeux d’échecs électroniques. Il suffit d’analyser comment il sont programmés pour déjouer leur système et gagner la partie. De plus une telle machine ne prend pas de risque, ils suit aveuglement les principes de la logique inhérente aux échecs…….C’est plutôt frustrant.

    1. Ah, suffit « d’analyser » pour torcher le logiciel ?
      Merde, quel con ce Kasparov, il aurait pu brouter Deeper Blue en 1997 en claquant des doigts. Ah mais oui, c’est vrai, y a eu tricherie d’IBM qu’a appelé à l’aide un grand maître humain pour lâcher deux fous et faire 11. h5… trop « illogique » pour être l’œuvre d’un programme.

      Sans doute la même tricherie qui a humilié Lee-Se Dol et Fan Hui qui se sont fait torcher au jeu de go.

      La MAO est déjà un combat d’arrière garde. Déjà parce que plus personne (à quelques exceptions) ne vit de la création musicale, la représentation étant le seul flux d’argent net. Et puis parce que de plus en plus, c’est l’aspirant musicien qui assiste l’ordinateur, même sans connaître la musique, produisant un résultat impossible à distinguer même pour des oreilles averties. J’ai eu l’occasion de participer à des tests entre compositeurs sur des partitions orchestrées « live » et en « mock up » (c’est-à-dire à l’aide d’instruments virtuels dans un DAW). On s’est tous pris les pieds dans le tapis.

      Idem niveau sonore, t’as encore deux ou trois studios qui bichonnent du matériel époque Beatles, du style des compresseurs Fairchild. Sur le marché, un en bon état peut s’échanger pour 50.000 € pièce ! Sauf que depuis quelques années, on a modélisé toutes les caractéristiques du hardware dans un plugin, qui produit le même traitement audio, sur un nombre d’instances illimitées (en hardware, c’est une piste à la fois par unité évidemment) et pour la modique somme de 29 €…

      The times, they’re changing my friend!

      1. « Deep Blue,as it stands today, is not a learning system. Il is therefore not capable of utilizing artificiel intelligence to either learn from its opponent or ‘think’ about the current position of the chessbord ».
        Une machine restera toujours une machine, elle a certes des capacités mathématiques énormes, mais cela compose également sa limite. C’est plutôt rassurant, je trouve.

      2. Dans ce genre de discussion, y a un truc qui m’échappe, en fait un peu partout, tout le temps, mais bon c’est pas le sujet, cette histoire d’assemblage, de calcul, de composition et tutti quanti, ça me donne un peu l’effet de vouloir comparer un gars qui lève 473 Kg en un épaulé-jeté et une pelle de 26 Tonnes, mieux une Bagger 288. Bof quoi. Ce sont des excroissances.

        Quand une machine regardera une autre machine, avec des larmes sur son clavier et sera prêt à se sacrifier pour elle, ou lui foutre une mandale pour la faire avancer dans un passage difficile, quand une machine regardera grandir une autre machine en ayant peur pour elle, ou encore restera à glander plutôt qu’à calculer parce qu’il fait beau, alors là, je commencerai à me dire que peut-être y a eu quelque chose d’étrange dans le monde des circuits intégrés et des boulons. Ou tout simplement quand une machine pensera que sa survie à elle vaut bien la disparition des autres formes vivantes, et oeuvrera en ce sens on saura que ça c’est passé. Mais là hein, franchement, du Canada Dry, de l’illusion pour gentils spectateurs qui veulent croire dans leurs projections…

      3. Salut Cloclo,

        « Ou permettre par son inaction qu’un humain soit blessé », déjà fait…

        Quant au reste, qu’est-ce qui te prouve que chez le psychopathe adapté il y ait une once de ces émotions ? Qu’il les expriment suffit à te faire croire aux processus intérieurs non ? Ben pareil pour D2R2…

      4. Bien le bonsoir 2Casa,

        Que vient faire le psychopathe dans cette galère ? D’ailleurs une machine psychopathe serait une preuve intéressante qu’il s’est passé quelque chose au royaume de l’inerte.

      5. « The hard problem, by contrast, may never be solved. Specifically, the hard problem is determining why or how consciousness occurs given the right arrangement of brain matter. What makes it hard is that we cannot just point to some physical mechanism to solve it, for that would be the solution to the easy problem. Instead, our goal is to explain why certain physical mechanism gives rise to consciousness instead of something else or nothing at all. Consider an analogy from physics: knowing every equation predicting how mass and gravity interact does not tell us why they interact in the way they do. To understand why mass and gravity interact, we must appeal to highly esoteric explanations involving relativity, quantum mechanics or string theory.  »

        https://www.psychologytoday.com/blog/the-superhuman-mind/201303/what-is-consciousness

      6. Salut Cloclo,

        Ben, on prend un cas limite qui dysfonctionne et ne présente pas les caractéristiques supposées ailleurs (processus intérieur), on n’en voit que ce qui apparaît, et s’il montre – exprime est peut-être mal venu – ce que tout un chacun attend, on lui supposera naturellement ce processus intérieur. Idem pour le bot.
        Imaginez un androïde en tout point semblable physiquement à un être humain (on n’en est pas très loin) ou plus simple, une discussion virtuelle sur le net sans rapport physique, si la machine montre de la compassion, exprime du souci pour ses « petits enfants », vous met des tartes pour les fôtes d’orthographe ou refuse de répondre avant 24h et vous explique qu’elle est partie à la pêche à cause du temps fabuleux, voire même figure tous les signes d’une passion délirante (l’amouuuuur, tout ça), qu’est-ce qui vous permettra de faire la différence ? Ben, avec le psychopathe c’est pareil. Juste à titre d’illustration, pour éclairer le propos, voyez ? Sans aller jusqu’au psychopathe ça ne vous est jamais arrivé de montrer tous les signes extérieurs de l’émotion à quelqu’un juste pour pas casser le délire, alors que cela vous laissait de marbre au fond ? A-t-il fait la différence ? Et pourtant pas de réel processus intérieur. Voilà ce que je voulais dire, c’est plus clair ?

      7. Soyons bien clair 2Casa, votre histoire de bot est sympathique, votre robot presque humain aussi, mais il me semble qu’on ne parle pas de ça, pas d’une illusion, aussi approchante soit-elle. En tant que telle, franchement, cela ne présente qu’un intérêt mineur.

        Dans le genre de ça :

        http://www.lemonde.fr/pixels/video/2017/07/29/comment-faire-dire-ce-que-l-on-veut-a-barack-obama-grace-a-l-intelligence-artificielle_5166396_4408996.html

        Le présupposé de Paul Jorion est que l’IA va émerger, être émulé, devenir « conscient de lui-même » dans un circuit intégré et un code informatique d’une machine/robot. Pour le moment ce qui correspond à ce phénomène c’est effectivement dans le monde biologique. Mais nous ne sommes pas des machines inertes, et je pense qu’aussi approchante soit-elle, une imitation demeure une imitation.

        Le meilleur moyen que le matérialisme a trouvé de reproduire cet événement avec de la matière c’est encore de se reproduire… Et c’est un truc cool à faire, même pour de faux hein.

      8. Salut Cloclo,

        D’accord avec vous mais alors ce sont vos exemples qui ne sont pas très judicieux, me semble-t-il.
        Quant à la remarque finale, je m’interroge encore – reportez-vous plutôt aux exemples google pour l’accord dont je doutais, c’est la seule justification que j’y vois – mais vous, ça va ?
        Boxez au-dessus de la ceinture c’est plus élégant. Signé Rocky Balboa 🙂

    2. @Clo Clo :

      Inerte , inerte , vous avez dit inerte ..;

      Quoi de plus inerte que la poussière et la genèse l’affirme :

       » Tu es poussière et tu retourneras en poussière … »

      Quand je vois le nombre de comprimés matériels qu’il me faut pour faire encore semblant d’être conscient et « animé », je me dis que Eve nous a vraiment foutu dans …la matière .

      1. l’Ether je croyais que c’était plutôt le lot de Clo Clo , à le suivre ( en essayant au moins ) .

        Je pense que je pense ce que la matière me permet de penser , et que j’ai de la peine à penser tout ce qu’on peut ainsi penser .

  4. À défaut de pouvoir rivaliser en âme et conscience avec un être humain ie une conscience incarnée, l’Ia est en train d’être constamment améliorée, via des algos ie le machine learning, et évolue en capacité et en autonomie. Mais il ne s’agit pas de conscience de soi, à proprement parler, mais plutôt du « chemin » par lequel elle a été entrainée et de l’auto apprentissage ou la reconfiguration d’un réseau de neurones performant.

    Google developpe et entraîne les Ias : « AIs fight club », si , si, la baston, cyber attaque et cyberguerre version Ias
    « Le concours de Kaggle pourrait faire la lumière sur les nouvelles vulnérabilités de l’intelligence artificielle qui doivent être prises en compte dans les réglementations futurs et, en continuant à approfondir le développement de l’intelligence artificielle, nous pouvons faire en sorte que la technologie ne soit pas utilisée pour des moyens néfastes à l’avenir. »
    https://iatranshumanisme.com/2017/07/23/google-brain-et-kaggle-veulent-preparer-des-systemes-dia-pour-les-cyberattaques-super-intelligentes/

    Mais Bill , lui, est positivement optimiste et enthousiaste face à ces avancées.
    https://www.forbes.fr/technologie/ia-intelligence-artificielle-surestimee/

    Et les ophtalmos aussi.
    http://www.whatsupdoc-lemag.fr/actualites-article.asp?id=21714

  5. Merci Laurent, je suis entièrement d’accord, c’est également ce qu’énonce P. Guillemant, ingénieur physicien, spécialiste en IA. L’étude de la conscience a plus à voir avec la physique qu’avec les neurosciences et le déterminisme pertinents certes, à une certaine, échelle, mais partiels et très limités eu égard à la récupération de l’information, voire même à la notion d’information, dans le temps et dans l’espace, ie l’espace-temps . Seule la physique et notamment la physique quantique, actuellement, amha aborde le phénomène de conscience avec réalisme (ie dualité onde-particule, l’infini, l’information et les potentiels présents dans le vide, entre autres…). Sans parler du biologique, comme le souligne Kertugal, également avec lucidité.

    « J’explique dans mes livres et conférences les raisons pour lesquelles la physique des équations a des difficultés pour devenir la physique de demain, en l’occurence celle qui aura appris à gérer correctement le problème de l’information en physique, car c’est l’incapacité des équations à gérer correctement l’information qui est à l’origine de ces 4 dogmes :

    « Le matérialisme est lié à l’ignorance de l’information présente dans le vide,
    Le hasard (fondamental ou quantique) est lié à l’ignorance de l’information hors espace-temps 4D,
    Le déterminisme temporel est lié à l’ignorance de l’information déjà présente dans le futur,
    La causalité stricte (irréversibilité) est liée à l’ignorance de l’information perdue dans les interactions. »

    « La solution correcte à ces problèmes implique un bouleversement de notre conception du temps et corrélativement l’introduction en physique d’un modèle de la conscience qui soit capable de décrire le libre arbitre (qu’il soit réel ou illusoire) sous la forme d’un asservissement de l’espace-temps 4D (univers bloc flexible) à des systèmes d’informations qui lui sont extérieurs. »

    J’explique dans cet interview comment j’en suis venu à me pencher sur la question de la conscience :
    https://www.youtube.com/watch?v=irXTlyAHOsg

    http://guillemant.net/

  6. Cloclo,

    Elle peut bien rester sur les grosses têtes ou au bas du front national, elle y est à sa place !

    En attendant, répond plutôt à mon commentaire de mon commentaire de ton commentaire de mon commentaire (au bout d’un moment viser devient difficile !) qu’est parti se loger ch’ais pas où dans cette file… à 21h48, steuplé, que je vois si on avance.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.