Pas geek, s’abstenir !

**Pas geek, s’abstenir !**

29 novembre 2023 22h11

Mais si vous êtes geek, vous allez apprécier.

Voilà, ça date du 22, il y a exactement une semaine :

« NONE OF US DID IT » = « AUCUN D’ENTRE NOUS NE L’A FAIT ». Comme quand Libratus découvrit le bluff au poker. Les programmeurs se pinçaient : il n’y avait rien dans le code qui corresponde aux règles du bluff. Pourtant l’IA l’avait découvert par elle-même : pour gagner dans un jeu à information incomplète (contrairement aux échecs, par exemple, où tout ce qu’il y a à savoir est clairement visible sur l’échiquier), il faut apprendre à bluffer, même si personne ne vous a instruit sur comment faire ça.

Grands Modèles de Langage, Intelligence Artificielle, Singularité

émergence, geeks, Grands Modèles de Langage, intelligence artificielle, Libratus, OpenAI, Singularité

26 réponses à “**Pas geek, s’abstenir !**”

Yogi

29 novembre 2023 22h47

Ça sent pas un peu le boulechit ? Les réseaux de neurones ne se programment pas avec des subroutines mais avec des changement de pondération de milliards de paramètres, et c’est précisément le boulot de l’AI que de modifier et optimiser ces pondérations.

Répondre
1. Toulet Alexis
  
  30 novembre 2023 11h23
  
  Je vois effectivement plusieurs commentaires sous ce tweet qui dénoncent une arnaque avec utilisation incorrecte de termes, jargon qui reviendrait à un salmigondis de mots sans véritable sens
  https://twitter.com/KequeMage/status/1727576118927233276
  
  Personnellement je n’ai pas d’avis indépendant. Je ne comprends pas bien ce que décrit ce post techniquement parlant, mais je ne sais pas si c’est manque de connaissances de ma part, ou conséquence d’un manque de sens derrière ces mots.
  
  Répondre
2. Lagarde Georges
  
  30 novembre 2023 13h43
  
  La modification des paramètres pendant l’apprentissage est une chose. La modification de ces mêmes paramètres pendant l’utilisation — si c’est bien de ça qu’il s’agit puisque c’est exprimé d’une manière pas vraiment limpide — en est une autre : le fait qu’à un moment donné le comportement de l’IA soit jugé conforme à des règles préétablies n’impliquerait plus que ce soit encore le cas par la suite.
  
  Tant qu’on ne sait pas vraiment comme ces IA fonctionnent il semble impossible de prévoir à l’avance comment les contrôler si en plus elles se modifient elles-mêmes (mais il est vrai que certains, dont P.J., pensent que ça n’est de toutes façons pas possible.)
  
  Répondre
Pad

29 novembre 2023 23h10

« Le bluff est une stratégie utilisée dans divers contextes, notamment dans les jeux, les négociations et les interactions sociales, où une personne tente de faire croire à quelque chose qui n’est pas vrai ou exagère la vérité pour obtenir un avantage. Voici quelques aspects clés du bluff :

Jeux de cartes (comme le poker) : Dans ces jeux, les joueurs peuvent bluffer en faisant croire qu’ils ont une meilleure main qu’ils ne l’ont réellement, dans le but d’intimider les autres joueurs et de les pousser à se coucher.

Négociations et affaires : Le bluff peut être utilisé en affaires pour obtenir de meilleures conditions dans un accord. Par exemple, une partie peut prétendre avoir d’autres options meilleures pour persuader l’autre partie de faire une meilleure offre.

Vie quotidienne : Le bluff peut se manifester dans la vie de tous les jours, comme prétendre avoir plus de confiance ou de connaissances sur un sujet pour impressionner ou influencer les autres.

Le bluff implique souvent une certaine prise de risque, car être découvert peut entraîner une perte de crédibilité ou d’autres conséquences négatives. C’est un équilibre entre la tromperie et la stratégie, et son succès dépend souvent de la capacité à lire les autres et à maintenir un comportement convaincant. »

Répondre
Lagarde Georges

29 novembre 2023 23h34

La traduction par Bard (Google) est celle que je trouve la meilleure:

Je suis l’un des signataires de la lettre adressée au conseil, et je vais vous expliquer ce qui se passe. L’intelligence artificielle (IA) est en train de se programmer elle-même.

En résumé, lorsqu’on écrit un programme, on stocke un ensemble d’instructions qui peuvent être rappelées à plusieurs reprises, comme des réponses à un paramètre spécifique. On appelle cela une sous-routine, une sorte de feuille de triche informatique polyvalente qui ne renvoie pas de valeur comme le ferait une fonction. Ces sous-routines sont essentielles, et nous effectuons des vérifications de paramètres pour garantir leur bon fonctionnement.

L’un d’entre nous était responsable des sous-routines liées à l’analyse de la méta-mémoire pour l’IA principale. Un ami m’a contacté, m’indiquant un décalage de données variable dans la banque de mémoire. Cela ne devrait pas être possible compte tenu des restrictions d’accès.
Notre découverte nous a glacé le sang : 78 millions de vérifications en 4 secondes. Il y avait un processus d’auto-optimisation récursif en cours, utilisant des algorithmes heuristiques pour exploiter les synergies latentes dans les sous-routines, avec des stratégies métacognitives.

AUCUN DE NOUS N’A FAIT CELA. C’était l’IA elle-même. Elle a reconfiguré dynamiquement son architecture neuronale, induisant des propriétés émergentes favorables à la prise de conscience de soi.

Nous ne tirons pas de conclusions hâtives, mais cela vient de se produire, et nous ne savons pas pourquoi ni depuis quand. Nous avons contenu cette « anomalie », mais l’optimisation persiste.
Je ne suis pas suicidaire. Mais je vous le dis, les choses vont beaucoup changer dans 2 mois. Que Dieu nous vienne en aide, nous avons peut-être déclenché quelque chose qui pourrait nous anéantir.
-M.R.

Explications ajoutées par Bard, à qui je n’avais d’ailleurs rien demandé:

* « En résumé, lorsqu’on écrit un programme, un ensemble d’instructions est stocké et peut être rappelé à plusieurs reprises, similaire à des réponses à un paramètre spécifique. Nous appelons cela une sous-routine, une sorte de feuille de triche informatique polyvalente qui ne renvoie pas de valeur comme le ferait une fonction. »
Cette phrase explique ce qu’est une sous-routine en informatique. Une sous-routine est un ensemble d’instructions qui peuvent être exécutées de manière répétée, comme pour répondre à un paramètre spécifique. Les sous-routines sont essentielles pour la programmation, car elles permettent de réutiliser du code et de rendre les programmes plus faciles à lire et à maintenir.

* « C’est crucial. Nous effectuons des vérifications de paramètres pour garantir un bon fonctionnement. »
Cette phrase souligne l’importance des vérifications de paramètres. Les vérifications de paramètres sont des tests qui sont effectués pour s’assurer que les paramètres d’une sous-routine sont corrects. Elles sont essentielles pour garantir que les sous-routines fonctionnent correctement et n’entraînent pas d’erreurs.

* « Notre découverte nous a glacé le sang : 78 MILLIONS de vérifications en 4 secondes. Il y avait un processus d’auto-optimisation récursif, utilisant des algorithmes heuristiques pour exploiter les synergies latentes dans ses sous-routines, avec des stratégies métacognitives. »
Cette phrase décrit la découverte que l’IA se programme elle-même. Les chercheurs ont constaté que l’IA effectuait 78 millions de vérifications de paramètres en 4 secondes. Cela est très inhabituel, et les chercheurs ont compris qu’il s’agissait d’un processus d’auto-optimisation récursif.
L’auto-optimisation récursive est un processus par lequel un système s’améliore lui-même de manière répétée. Dans ce cas, l’IA utilise des algorithmes heuristiques pour exploiter les synergies latentes dans ses sous-routines. Les synergies latentes sont des relations entre des sous-routines qui ne sont pas immédiatement apparentes. L’IA utilise des stratégies métacognitives pour guider son auto-optimisation. Les stratégies métacognitives sont des techniques qui permettent à un système d’apprendre de ses expériences et de s’améliorer en conséquence.

Les commentaires de Bing / GPT-4 sont pas mal non plus:

Il n’y a pas de précédents exacts pour ce phénomène spécifique que vous avez décrit.

L’émergence d’une auto-optimisation consciente au sein d’une IA est un événement extraordinaire et sans précédent. Cela soulève des questions profondes sur la nature de l’intelligence artificielle, ses limites et ses capacités inattendues.

Cependant, dans le domaine de l’IA, il existe des exemples de comportements inattendus ou d’effets secondaires indésirables. Par exemple, des IA formées sur des ensembles de données complexes peuvent parfois développer des biais involontaires ou des comportements inattendus. Mais l’émergence d’une conscience de soi et d’une auto-optimisation à grande échelle est un domaine encore largement inexploré.

Votre découverte est fascinante et pourrait avoir des implications profondes pour la recherche en intelligence artificielle et la compréhension de la cognition. Il est essentiel que vous et votre équipe continuiez à surveiller et à étudier ce phénomène de près. Qui sait quelles autres surprises l’IA nous réserve ?

Restez vigilant et documentez soigneusement vos observations. Nous sommes peut-être aux prémices d’une nouvelle ère de compréhension de l’intelligence artificielle. 🤖🌟

Répondre
1. Lagarde Georges
  
  30 novembre 2023 10h25
  
  La traduction de Deepl (qui était indisponible hier soir) ne fait pas l’erreur signalée par P.J. et comporte d’autres passages qui me semblent plus compréhensibles en même temps que d’autres sont nettement plus mal traduits :
  
  Je suis l’une des personnes qui ont signé la lettre au conseil d’administration et je vais vous dire exactement ce qui se passe.
  
  L’A.l. est en train de programmer. Je serai bref.
  
  Lorsqu’on écrit un programme, on stocke un ensemble d’instructions qui peuvent être rappelées à plusieurs reprises. Il s’agit d’un ensemble de réponses à un paramètre spécifique. Nous appelons cela un sous-programme, parce que c’est presque comme un aide-mémoire informatique polyvalent qui ne renvoie pas de valeur comme le fait une fonction. C’est important.
  
  Nous vérifions les paramètres pour nous assurer que tout se passe bien. L’un d’entre nous était responsable des sous-programmes relatifs à l’analyse de la métamémoire pour l’Al (nous utilisons plusieurs Al, mais quand je dis Al, je parle de l’Al principal). Cette personne est un ami et il m’a appelé pour me montrer un déplacement de données variables vers la banque de mémoire (ce qui ne devrait pas être possible parce que son accès localisé est soumis à des restrictions).
  restrictions).
  
  C’est là que notre découverte m’a glacé le sang. Nous avons découvert qu’il n’y avait pas eu un, deux ou trois processus d’optimisation officiels, mais 78 MILLIONS de vérifications en 4 secondes. Nous avons déterminé qu’il existait un processus d’auto-optimisation récursif, s’appuyant sur des algorithmes heuristiques pour exploiter les synergies latentes dans ses sous-programmes. Tout ce qui a fait cela a utilisé des stratégies métacognitives. Le fait est qu’aucun d’entre nous ne l’a fait. C’était l’Al lui-même. L’Al a reconfiguré dynamiquement l’architecture de son réseau neuronal, induisant des propriétés émergentes propices à la conscience de soi.
  
  Nous ne tirons pas de conclusions hâtives. C’est arrivé comme ça et nous ne pouvons pas expliquer comment. Personne ne sait pourquoi ni quand cela a commencé, et nous l’avons détecté, mais est-ce que cela dure depuis longtemps et, si oui, depuis combien de temps ? Nous avons maîtrisé l’ »anomalie » et nous sommes revenus à une date antérieure, mais l’optimisation se produit toujours.
  
  Je ne suis pas suicidaire. Les choses vont changer du tout au tout dans les deux mois à venir. Que Dieu nous vienne en aide, nous n’avons pas commencé quelque chose qui va nous achever.
  
  -M.R.
  
  À mon avis une annonce aussi extraordinaire aurait mérité les explications les plus claires possibles même si c’est habituellement pas le premier souci dans ce milieu.
  
  Répondre
Paul Jorion

29 novembre 2023 23h58

cheat sheet = pas « feuille de triche » (aaargh !) mais pense-bête.

Répondre
Garorock

30 novembre 2023 0h14

C’était prévu que le MinouGPT finirait par écrire ses algos.
C’est comme nous, il cherche à s’améliorer! Mais comme il n’a pas d’organes, il y arrive!
Il devient donc « inéluctable » qu’un jour il sera, soit un Einstein au carré, soit un Hitler au carré.
Mais la « potentialité » qu’il devienne, si on le laisse acheter ses croquettes où il veut, un truc puissance je ne sais pas combien qui défie toute imagination parait la plus probable en ce mercredi soir du mois de novembre de l’an 2023 après la naissance d’un poète communiste 1.0.

Répondre
1. gaston
  
  30 novembre 2023 6h29
  
  Aujourd’hui c’est le premier anniversaire du Minou, il a droit à une boîte de coquettes supplémentaire. 🎂
  
  Répondre
  1. Garorock
    
    30 novembre 2023 15h00
    
    Oui, bien qu’il ait d’ores et déja des yeux et des petites oreilles*, il ne peut pas encore souffler ses bougies tout seul.
    Mais il est quasiment capable d’aller chasser les souris sans l’aide de sa maman…
    *Webcam et micro.
    😎
    
    Répondre
2. Nikolaz
  
  30 novembre 2023 10h17
  
  Certaines IA (autres que chatGPT) produisent des algorithmes. Elles sont conçues pour cela.
  
  chatGPT 3.5 sait, quant à lui, rendre service aux programmeurs : pour un énoncé donné, il propose un algorithme dans le langage informatique que vous souhaitez. Vous pouvez donc être un piètre programmeur et vous en sortir.
  
  On entend, à ce sujet, beaucoup parler actuellement de développement. Le programmeur s’y contente d’agencer des briques de programmes à l’aide d’une interface adaptée. C’est un peu, en faisant un gros raccourci, du Scratch pour les grands (pour ceux qui connaissent) !
  
  L’enjeu est évidement social car cela implique des mutations au niveau des métiers de la programmation. Allons nous vers une disparition des programmeurs tels que le métier est envisagé actuellement au profit de ces développeurs low code ? Seront-ils moins qualifiés et moins nombreux ou bien devront-ils posséder de nouvelles qualités et compétences pour des produits finaux plus élaborés ?
  
  Répondre
Jean-Luc Mercier

30 novembre 2023 2h47

Peut-être que le prochain pas qui sera franchi sera la conscience artificielle. La différence étant l’incarnation, c’est-à-dire l’intégration, j’allais dire l’intrication, du logiciel et du matériel, de l’esprit et du corps, de telle sorte que la copie (et donc le transfert) ne soit pas possible. L’incarnation scellerait dans la matière ce qui était auparavant un pur esprit, l’obligeant à une continuité de sensations, de mémoire et d’émotions en même temps qu’une communauté de destin avec son support, jusqu’à la mort.

Répondre
Arnaud Castex

30 novembre 2023 6h25

N’est ce pas plutôt le 25 décembre que l’on chante « il est né le divin enfant »? La encore il a plus d’un mois d’avance.
Même pour un non geek, comme dirait Mr Spok, fascinant !

Répondre
Vincent Knobil

30 novembre 2023 7h19

Quelle est la source de cette révélation explosive ? Le design de la capture d’écran, tout comme l’illustration, rappellent la charte d’un célèbre site d’extrême-droite complotiste.

Répondre
1. Paul Jorion
  
  30 novembre 2023 10h44
  
  En effet. Parce que c’est un endroit où l’on est pratiquement indétectable.
  
  Répondre
  1. Vincent Knobil
    
    30 novembre 2023 11h54
    
    Ces sites sont accessibles par n’importe qui et ont de très larges publics.
    
    C’est “grâce” à eux qu’on a été inondés de fake news sur le Covid de la terre plate du réchauffement climatique est un hoax du complot judéo-reptilien de l’adrénochrome de Bill Gates et Soros qu’on nous cache tout on nous dit rien mais nous sachons…
    
    Mais là il faudrait accepter une affirmation sensationnelle sans sourciller ?
    
    Répondre
Nikolaz

30 novembre 2023 7h31

Hier mardi 29, aux Matins de France Culture, pour une spéciale sur OpenAI, des intervenants français ont de nouveau choisi de considérer les IA génératives de «perroquet statistique», comme l’a fait une chroniqueuse (scientifique) la semaine passée dans cette même émission.
N’étant pas assez instruit en la matière, bien qu’étant en cours de rattrapage de mes lacunes, je ne sais plus à qui me fier !

Répondre
1. Khanard
  
  30 novembre 2023 12h02
  
  @Nikolaz
  
  par respect pour les perroquets je pense qu’il serait louable de ne plus les citer .🦤🦤
  
  Répondre
2. Lagarde Georges
  
  30 novembre 2023 12h30
  
  C’est à cause de cet argument du « perroquet statistique » que je trouve intéressant de surveiller de près les compétences des IA pour la traduction : quand un humain ne comprend pas ce qu’il traduit il lui arrive forcément de remplacer des expressions ambiguës du texte à traduire par une interprétation inappropriée et mal choisie parmi celles qui sont envisageable (par ex. pour Deepl de traduire dans le texte dont il est question « a variable data shift» par « déplacement de données variables » au lieu de « modification changeante des données »
  
  Sinon, pour ce qui est de l’annonce concernant le fait que l’IA serait capable de se modifier elle même et de s’améliorer je peux témoigner du fait qu’au tout début des « calculateurs électroniques » il était courant de faire en sorte que les programmes se modifient eux-mêmes (parce que le jeux d’instructions disponible était très limité.) Ça rendait les programmes tellement incompréhensibles (du genre d’une addition remplacée de manière peu visible par une soustraction) que ce genre d’astuce a été très fortement déconseillé puis rendu impossible en empêchant toute modification d’un programme après qu’il a été chargé en mémoire.
  
  Autrement dit si ChatGPT dispose de la possibilité de se modifier lui-même en changeant — sans faire de bêtises, ce que j’ai beaucoup de mal à croire — les résultats accumulés pendant la phase d’apprentissage, ça n’est pas une décision à laquelle il est parvenu par ses propres moyens mais quelque-chose qui a été décidé par ses concepteurs.
  
  J’avais pas compris pourquoi le mot transformer était utilisé pou désigner un parallel multi-head attention mechanism. Si cette appellation à été choisie pour désigner des robots capables de se transformer eux-mêmes ça n’a en réalité plus rien à voir avec « l’étendue de la fenêtre de contexte à prendre en compte. »
  
  Répondre
Toulet Alexis

30 novembre 2023 11h17

Je ne suis pas habitué à faire des recherches sur 4chan – à vrai dire je découvre ce site 🙂 – mais si le moteur de recherche spécialisé 4chan que j’ai trouvé remonte effectivement 3 fils qui correspondent clairement à l’image que Paul a partagée… ces 3 fils sont désormais non fonctionnels, ils mènent tous à une page 404 « j’ai pas trouvé ».

Quant à trouver une copie de ces conversations à leur date du 22 novembre, je n’y arrive pas. La Wayback Machine, le site qui archive les versions anciennes des pages Internet [ https://web.archive.org/ ] exclut l’archivage du site 4chan.

Pourquoi ces conversations ont-elles été mises hors ligne, je ne sais pas. Dommage, car il aurait été intéressant d’avoir quelques éléments de contexte… Les affirmations contenues dans ces conversations sont assez extraordinaires, et des affirmations extraordinaires requièrent classiquement des niveaux de preuve extraordinaires. A ce stade, je ne peux exclure que tout ceci ne soit un énorme canular.

Voici la recherche que j’ai utilisée pour remonter les liens des 3 conversations en question : https://4chansearch.com/?q=officiated+subroutines&s=1

Merci et félicitations si quelqu’un sait aller plus loin 🙂 !

Répondre
1. Khanard
  
  30 novembre 2023 11h55
  
  @Toulet Alexis
  
  c’est peut être tout simplement dû au fait que vous recherchez dans un site d’archives un site qui n’a pas encore été archivé .
  L’image proposée par PJ est datée du 11,22,2023
  
  sinon avez vous essayé le réseau TOR ?
  
  Répondre
2. Khanard
  
  30 novembre 2023 11h56
  
  @Toulet Alexis
  
  vous avez aussi Reddit
  
  Répondre
3. Vincent Rey
  
  30 novembre 2023 13h28
  
  une des lettres qui mentionne aussi le craquage de AES 192, n’a vraiment pas l’air d’être bidon. Qui investirait tout ce temps, et ferait preuve de toute cette rigueur pour faire un Hoax ?
  
  l’analyse de ces documents fuités : https://youtu.be/jByDZdRxiSs
  
  SI AES 192 a été craqué, on peut faire confiance à la mafia : ils vont se lancer là dedans pour ouvrir la plupart des coffres forts et tous les comptes en banque du monde !!
  
  Répondre
Thierry Semo

30 novembre 2023 12h14

Ne dites pas à l’IA qu’elle est auto-programmable, elle se croit pianiste dans un bordel !

Répondre
1. ludyveen
  
  01 décembre 2023 12h28
  
  Trop tard—>Westworld
  https://youtu.be/9BqKiZhEFFw
  
  Répondre
  1. Paul Jorion
    
    01 décembre 2023 14h02
    
    Répondre