Principes des syst\u00e8mes intelligents<\/a> (1989 – r\u00e9\u00e9dit\u00e9 en 2012), attire mon attention sur le fait que je d\u00e9crivais d\u00e9j\u00e0 en 1989 comme seule m\u00e9thode possible pour la g\u00e9n\u00e9ration d’un texte par une IA, sous le nom de \u00ab\u00a0m\u00e9thode dite au coup par coup\u00a0\u00bb, celle qui fut effectivement d\u00e9couverte bien plus tard par les Grands Mod\u00e8les de Langage.<\/em><\/p><\/blockquote>\n4. Les syst\u00e8mes intelligents dans la perspective de l\u2019auto-organisation<\/h3>\n
(pages 35 \u00e0 42)<\/p>\n
Il a \u00e9t\u00e9 dit au chapitre pr\u00e9c\u00e9dent que l\u2019optimisation du rapport existant entre les \u00e9l\u00e9ments de discours stock\u00e9s en m\u00e9moire, leur organisation et les proc\u00e9dures op\u00e9ratoires portant sur eux, constitue ce qui pourra appara\u00eetre au sein du syst\u00e8me comme son auto-organisation. Il s\u2019agit d\u2019un complexe indissociable et toute r\u00e9flexion sur l\u2019optimisation ne peut porter que sur l\u2019ensemble. Il faut proc\u00e9der cependant dans un certain ordre. Faisons d\u00e9buter l\u2019investigation par une r\u00e9flexion g\u00e9n\u00e9rale portant sur les strat\u00e9gies globales de d\u00e9veloppement d\u2019un syst\u00e8me et examinons comment se pr\u00e9sentent les options envisageables du point de vue de l\u2019optimisation recherch\u00e9e.<\/p>\n
On peut prendre un discours, une parole, et l\u2019envisager de la mani\u00e8re suivante : comme un parcours s\u00e9quentiel \u00e0 l\u2019int\u00e9rieur d\u2019un espace de signifiants <\/em>(de mots envisag\u00e9s comme r\u00e9alit\u00e9s acoustiques, ind\u00e9pendamment de leur signification), c\u2019est-\u00e0-dire comme un chemin trac\u00e9 sur un lexique <\/em>compris comme la liste de tous les mots d\u2019une langue. Untel parcours peut consister par exemple \u00e0 aller de \u00ab Le \u00bb \u00e0 \u00ab chat \u00bb, de \u00ab chat \u00bb \u00e0 \u00ab est \u00bb, de \u00ab est \u00bb \u00e0 \u00ab sur \u00bb, de \u00ab sur \u00bb \u00e0 \u00ab le \u00bb, de \u00ab le \u00bb \u00e0 \u00ab tapis \u00bb, pour obtenir une phrase ch\u00e8re aux philosophes anglo-saxons de l\u2019IA, \u00ab Le chat est sur le tapis \u00bb.<\/p>\nOn peut alors d\u00e9finir une mani\u00e8re de parcourir ce lexique, de telle sorte que l\u2019on g\u00e9n\u00e9rera, reproduira, tout discours imaginable : un dialogue de Platon, une conversation de caf\u00e9 du commerce, un chant vaudou dahom\u00e9en.<\/p>\n
Cette approche en termes de parcours s\u00e9quentiel d\u2019un espace de mots <\/em>est un outil universel : si l\u2019on dispose du lexique d\u2019une langue, il suffit pour tout discours que l\u2019on veut reproduire de d\u00e9finir tr\u00e8s exactement le parcours qui lui correspond. Par exemple de la mani\u00e8re d\u00e9crite plus haut : de \u00ab le \u00bb \u00e0 \u00ab chat \u00bb, de \u00ab chat \u00bb \u00e0 \u00ab est \u00bb, etc.<\/p>\nComment faire pour que la machine reproduise un discours particulier ? \u00ab Reproduire \u00bb non pas au sens de recopier, mais de recomposer en suivant un ensemble de directives. Il existe trois types de m\u00e9thodes envisageables, dont seules les deux premi\u00e8res ont \u00e9t\u00e9 prises en consid\u00e9ration jusqu\u2019ici.<\/p>\n
La m\u00e9thode dite du singe<\/strong><\/p>\nLa premi\u00e8re m\u00e9thode consiste \u00e0 utiliser la force brute de l\u2019ordinateur, lorsque la machine explore l\u2019ensemble des tirages d\u2019une vaste combinatoire. Cette m\u00e9thode peut \u00eatre dite du singe <\/em>du fait qu\u2019avant l\u2019av\u00e8nement de l\u2019informatique on imaginait g\u00e9n\u00e9ralement, lorsqu\u2019on voulait \u00e9voquer l\u2019exhaustion d\u2019une combinatoire, l\u2019exemple d\u2019un singe qui \u00e9crit \u00e0 la machine et qui le fait comme un singe, c\u2019est-\u00e0-dire en tapant sur les touches au hasard. On se posait alors la question de savoir combien de temps il lui faudrait pour reproduire sans faute un texte donn\u00e9.<\/p>\nOn peut penser aussi \u00e0 la nouvelle de Borges intitul\u00e9e La biblioth\u00e8que de Babel : <\/em>je rappelle que dans cette biblio- th\u00e8que sont rang\u00e9s tous les ouvrages que l\u2019on peut obtenir en combinant de toutes les mani\u00e8res possibles tous les signes de l\u2019alphabet. Si l\u2019on cherche un ouvrage particulier, on pourra, avec beaucoup de patience, le trouver un jour dans les rayons, mais entre-temps on aura d\u00e9couvert, par exemple, une copie presque parfaite du livre puisqu\u2019un seul mot diff\u00e8re par rapport \u00e0 l\u2019original, ou un exemplaire qui contient effectivement tous les mots de l\u2019ouvrage, mais dans un ordre diff\u00e9rent, et ainsi de suite.<\/p>\nInutile de pr\u00e9ciser que la m\u00e9thode dite du singe est une mani\u00e8re peu efficace pour d\u00e9terminer un parcours s\u00e9quentiel sur un espace de mots. On peut am\u00e9liorer marginalement son rendement en imposant quelques contraintes minimales sur la g\u00e9n\u00e9ration des s\u00e9quences de mots. On peut imposer par exemple que le m\u00eame mot n\u2019apparaisse pas deux fois de suite.<\/p>\n
Quoi qu\u2019il en soit, la m\u00e9thode dite du singe n\u2019a jamais \u00e9t\u00e9 imagin\u00e9e qu\u2019au titre de plaisanterie.<\/p>\n
La m\u00e9thode dite des r\u00e8gles<\/strong><\/p>\nLa deuxi\u00e8me mani\u00e8re possible d\u2019aborder la question du parcours s\u00e9quentiel d\u2019un lexique en vue de la reproduction d\u2019un discours donn\u00e9 consiste \u00e0 d\u00e9terminer a priori un ensemble tout \u00e0 fait complet de contraintes auxquelles ce parcours sera soumis. Cette m\u00e9thode-ci peut \u00eatre prise au s\u00e9rieux : c\u2019est elle qui pr\u00e9side \u00e0 la r\u00e9alisation de l\u2019ensemble des Syst\u00e8mes Intelligents aujourd\u2019hui existants. Elle peut s\u2019\u00e9noncer de la mani\u00e8re suivante : on d\u00e9finit de fa\u00e7on g\u00e9n\u00e9rale et a priori un ensemble de syst\u00e8mes de contraintes \u00e9nonc\u00e9es sous forme de r\u00e8gles, et on parcourt l\u2019espace des signifiants en s\u2019assurant que ces r\u00e8gles sont \u00e0 tout moment respect\u00e9es dans la g\u00e9n\u00e9ration des mots successifs.<\/p>\n
Parmi les contraintes retenues, on imposera en g\u00e9n\u00e9ral,<\/p>\n
a) des contraintes d\u2019ordre syntaxique : l\u2019ensemble des mots de la langue sont partag\u00e9s en partie du discours <\/em>et on \u00e9num\u00e8re des r\u00e8gles formul\u00e9es dans ces termes, par exemple,<\/p>\n\u00ab qu\u2019apr\u00e8s un article on ne peut trouver qu\u2019un substantif ou un adjectif \u00bb, etc.<\/p>\n
b) des contraintes d\u2019ordre s\u00e9mantique qui correspondent \u00e0 l\u2019organisation interne de la langue : par exemple que le verbe \u00ab penser \u00bb exige pour sujet un substantif d\u00e9notant un \u00eatre anim\u00e9, etc. ;<\/p>\n
c) des contraintes d\u2019ordre pragmatique : par exemple, qu\u2019il n\u2019est pas permis de faire suivre une phrase d\u2019une autre dont le sens est sans rapport avec celui de la premi\u00e8re, ou d\u2019une autre qui dit le contraire de ce qu\u2019avance la premi\u00e8re, etc. (Aristote 1960 ; Grice 1975, 1978) ;<\/p>\n
d) des contraintes d\u2019ordre logique : par exemple, que si l\u2019on dit que la fraise est un fruit, et que tous les fruits sont sucr\u00e9s, on ne pourra pas dire ensuite que la fraise n\u2019est pas sucr\u00e9e, etc.<\/p>\n
Cette deuxi\u00e8me mani\u00e8re de d\u00e9terminer le parcours s\u00e9quentiel d\u2019un lexique, \u00e0 partir de contraintes a priori selon la m\u00e9thode dite des r\u00e8gles, permet une formalisation globale du probl\u00e8me et rend compte de toute variation sans ambigu\u00eft\u00e9 aucune. On peut, gr\u00e2ce \u00e0 elle, d\u00e9finir les conditions d\u2019un discours normal en disant que l\u2019ensemble des r\u00e8gles s\u00e9mantiques, syntaxiques, pragmatiques et logiques classiques sont d\u2019application. Par exemple, une grammaire en usage dans les \u00e9coles permet si l\u2019on respecte ses r\u00e8gles d\u2019\u00e9crire un discours exempt d\u2019erreurs de syntaxe. On peut ainsi g\u00e9n\u00e9rer un discours unique mais il est aussi possible de rel\u00e2cher certaines des contraintes pour que n\u2019apparaisse plus un discours singulier, mais une famille de discours : par exemple, l\u2019ensemble des g\u00e9om\u00e9tries euclidiennes et non-euclidiennes, l\u2019ensemble des explications d\u2019un ph\u00e9nom\u00e8ne naturel en termes d\u2019agents surnaturels, l\u2019ensemble des discours pr\u00e9sentant les traits d\u2019un type particulier d\u2019aphasie, et ainsi de suite.<\/p>\n
On peut aussi, \u00e0 partir d\u2019un tel syst\u00e8me de r\u00e8gles, d\u00e9terminer un type particulier de discours en ajoutant ou en retranchant des contraintes sp\u00e9cifiques qui s\u2019exerceront durant le parcours s\u00e9quentiel. On peut dire par exemple que la mentalit\u00e9 primitive ne respecte pas un certain aspect du principe de non-contradiction (cf. <\/em>Jorion 1989). On l\u00e8vera cette contrainte particuli\u00e8re sur un discours, soumis par ailleurs \u00e0 toutes les autres et on obtiendra en sortie un discours de mentalit\u00e9 primitive. Ou bien, on l\u00e8vera la contrainte qui veut que l\u2019on ne dise \u00e0 la suite que des choses ayant un rapport entre elles, et celle qui veut qu\u2019on ne se contredise pas, et on obtiendra en sortie un discours comparable \u00e0 celui du Chapelier Fou d\u2019Alice au Pays des Merveilles.<\/em><\/p>\nCeci signifie toutefois que si l\u2019on b\u00e2tit un Syst\u00e8me Intelligent selon la m\u00e9thode dite des r\u00e8gles, qu\u2019avant m\u00eame de pouvoir g\u00e9n\u00e9rer une premi\u00e8re phrase, il aura fallu construire un syst\u00e8me immense en termes de r\u00e8gles et de m\u00e9tar\u00e8gles stock\u00e9es, et qui exigera pour son simple fonctionnement un temps consid\u00e9rable. Rien que le \u00ab parsage \u00bb des phrases d\u2019entr\u00e9e exige souvent un temps de traitement inacceptable en temps r\u00e9el, correspondant \u00e0 des milliards d\u2019op\u00e9rations s\u00e9quentielles. Or on sait par ailleurs :<\/p>\n
a) que la production d\u2019une phrase par un \u00eatre humain ne prend que quelques dixi\u00e8mes de secondes en plus du temps n\u00e9cessaire \u00e0 la prononcer,<\/p>\n
b) que les influx nerveux parcourent le cerveau \u00e0 la vitesse de quelques m\u00e8tres \u00e0 la seconde, ce qui signifie qu\u2019au cours d\u2019une seconde, le cerveau humain ne peut op\u00e9rer de mani\u00e8re s\u00e9quentielle que dix \u00e0 quinze op\u00e9rations, alors qu\u2019un micro-ordinateur peut en traiter aujourd\u2019hui dans le m\u00eame temps jusqu\u2019\u00e0 plusieurs dizaines de millions.<\/p>\n
Ce qui veut dire que m\u00eame si la m\u00e9thode dite des r\u00e8gles est rationnellement et esth\u00e9tiquement satisfaisante, l\u2019\u00eatre humain ne fonctionne cependant pas de la mani\u00e8re qu\u2019elle suppose.<\/p>\n
La m\u00e9thode dite au coup par coup<\/strong><\/p>\nLa troisi\u00e8me mani\u00e8re de d\u00e9finir un parcours s\u00e9quentiel sur un lexique est celle-ci : au lieu de disposer d\u2019un syst\u00e8me de r\u00e8gles a priori \u00e0 respecter lorsque l\u2019on met les mots \u00e0 la suite les uns des autres, il suffit qu\u2019\u00e0 chaque fois que l\u2019on a \u00e9crit (ou dit) un mot, on dispose d\u2019un principe qui permette de d\u00e9terminer quel devra \u00eatre le mot suivant.<\/p>\n
Ce principe doit r\u00e9sumer, contenir en lui, un nombre consid\u00e9rable de contraintes puisqu\u2019une fois le discours \u00e0 reproduire reproduit, tout devra s\u2019\u00eatre pass\u00e9 comme si (en cours de route) avaient \u00e9t\u00e9 respect\u00e9es l\u2019ensemble des r\u00e8gles syntaxiques, s\u00e9mantiques, pragmatiques et logiques qui d\u00e9crivent a priori <\/em>la mani\u00e8re dont doivent \u00eatre concat\u00e9n\u00e9s (mis \u00e0 la suite) les mots qui constituent le discours \u00e0 reproduire.<\/p>\nLe probl\u00e8me que pose la m\u00e9thode dite au coup par coup n\u2019est pas simple mais si l\u2019on parvient \u00e0 le r\u00e9soudre on aura d\u00e9couvert une m\u00e9thode qui est, elle, compatible avec la fa\u00e7on dont proc\u00e8dent des \u00eatres humains. Par exemple, si la m\u00e9thode suppose qu\u2019\u00e0 chaque fois qu\u2019un mot a \u00e9t\u00e9 pos\u00e9 il ne reste que, disons, dix \u00e0 quinze choix \u00e0 op\u00e9rer, alors on peut \u00eatre s\u00fbr que cette m\u00e9thode est au moins vraisemblable par rapport \u00e0 ce qui est su par ailleurs du fonctionnement du cerveau humain.<\/p>\n
Imaginons qu\u2019ait d\u00e9j\u00e0 \u00e9t\u00e9 trouv\u00e9 un principe qui permette d\u2019\u00e9crire \u00ab Le chat \u00bb et admettons que l\u2019on sache aussi que le quatri\u00e8me et le cinqui\u00e8me mots seront \u00ab la souris \u00bb, alors il est vrai que la langue n\u2019oblige \u00e0 prendre en consid\u00e9ration pour le choix du troisi\u00e8me mot qu\u2019un nombre tr\u00e8s restreint de candidats possibles : \u00ab mange \u00bb, \u00ab attrape \u00bb, \u00ab rattrape \u00bb, \u00ab estourbit \u00bb, et quelques autres et il est plausible que le nombre de possibilit\u00e9s reste bien en dessous de quinze. \u00c9videmment si l\u2019on entend faire de la po\u00e9sie, on peut dire \u00ab Le chat transsubstantie la souris \u00bb, mais dans ce cas, le cerveau consacrera bien plus que cent milli\u00e8mes de seconde \u00e0 trouver une formule aussi audacieuse, et il est probable qu\u2019aura \u00e9t\u00e9 \u00e0 l\u2019\u0153uvre un autre m\u00e9canisme que celui qui op\u00e8re dans la production de phrases ordinaires.<\/p>\n
Cela veut dire que sans avoir \u00e0 d\u00e9finir des r\u00e8gles a priori qui d\u00e9terminent les parcours l\u00e9gaux \u00e0 l\u2019int\u00e9rieur du lexique, on peut imaginer que soient en place de mani\u00e8re constante des \u00ab chenaux \u00bb, des chr\u00e9odes <\/em>(*), des passages privil\u00e9gi\u00e9s pour se rendre d\u2019un mot \u00e0 un autre. Par exemple qu\u2019il existe un chenal qui conduise de \u00ab pharaon \u00bb \u00e0 \u00ab pyramide \u00bb mais non de \u00ab pharaon \u00bb \u00e0 \u00ab rhapsodie \u00bb, et que si l\u2019on veut vraiment se rendre de pharaon \u00e0 rhapsodie il faille faire un long d\u00e9tour \u00e0 l\u2019int\u00e9rieur d\u2019un lexique pr\u00e9contraint quant aux parcours possibles en son sein. Et il est plausible que l\u2019apprentissage, c\u2019est-\u00e0-dire la mise en m\u00e9moire des mots, s\u2019op\u00e8re de cette mani\u00e8re-l\u00e0, par la cr\u00e9ation de chenaux.<\/p>\nCe n\u2019est plus \u00e0 La biblioth\u00e8que de Babel <\/em>qu\u2019il faut songer alors mais \u00e0 une autre nouvelle de Borges, Pierre M\u00e9nard, auteur du Quichotte. <\/em>M\u00e9nard, \u00e9crivaillon ambitieux, s\u2019est convaincu qu\u2019il pourra s\u2019impr\u00e9gner \u00e0 ce point des influences diverses subies par Cervant\u00e8s en termes de style, de pr\u00e9occupations, de climat social, etc. qu\u2019il parviendra \u00e0 reproduire \u2013 sans le recopier \u2013 le don Quichotte, <\/em>c\u2019est-\u00e0-dire \u00e0 le r\u00e9\u00e9crire exactement comme s\u2019il en \u00e9tait l\u2019auteur : r\u00e9inventant l\u2019intrigue, r\u00e9fl\u00e9chissant au choix de ses mots, recherchant vainement l\u2019inspiration, souffrant de l\u2019angoisse de la page blanche, et ainsi de suite. Il finira par y arriver, du moins pour deux chapitres. M\u00e9nard ne peut que r\u00e9diger selon la m\u00e9thode dite au coup par coup : il faut que par identification totale \u00e0 son mod\u00e8le fameux il puisse g\u00e9n\u00e9rer les mots l\u2019un apr\u00e8s l\u2019autre \u2013 sans consultation de syst\u00e8mes de r\u00e8gles \u2013 et reconstituer ainsi enti\u00e8rement le grand roman \u00e9pique qui le fascine.<\/p>\nEn d\u00e9pit de sa folie \u2013 ou \u00e0 cause d\u2019elle \u2013 M\u00e9nard peut \u00eatre notre r\u00e9f\u00e9rence : il est le h\u00e9ros path\u00e9tique de la m\u00e9thode dite au coup par coup, envisag\u00e9e ici comme principe directeur pour le parcours s\u00e9quentiel d\u2019un lexique.<\/p>\n
La le\u00e7on \u00e0 en tirer est la suivante : on a vu au second chapitre que le rendement d\u2019un Syst\u00e8me Intelligent \u00e9quivaut \u00e0 la sp\u00e9cificit\u00e9 des r\u00e9ponses qu\u2019il produit en sorties. La sp\u00e9cificit\u00e9 la plus grande pourra \u00eatre obtenue si l\u2019\u00e9l\u00e9ment de discours stock\u00e9 est le plus petit possible. Mais du coup, les proc\u00e9dures op\u00e9ratoires devront \u00eatre extr\u00eamement sophistiqu\u00e9es. Ou bien il faudra rem\u00e9dier \u00e0 cette sophistication par une organisation pr\u00e9alable des \u00e9l\u00e9ments de discours stock\u00e9s. La m\u00e9thode dite au coup par coup sugg\u00e8re un type d\u2019organisation : l\u2019existence de chenaux trac\u00e9s entre les \u00e9l\u00e9ments de discours. Il faut maintenant envisager ce que ces derniers pourraient \u00eatre.<\/p>\n
============<\/p>\n
(*) On pense imm\u00e9diatement aussi au terme de chr\u00e9ode <\/em>introduit par Waddington (1957 : 32) pour rendre compte de passages oblig\u00e9s tout \u00e0 fait analogues en embryologie (cf. <\/em>aussi Thom 1972 : 121-123 ; Thom & Waddington 1967).<\/p>\n![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-11-21-20.21.04-A-cinematic-and-dramatic-representation-of-a-lexicon-as-an-expansive-glowing-network-of-interconnected-pathways.-Each-node-is-a-shimmering-word-and-.webp\")
<\/p>\n
Illustration par DALL\u00b7E<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-11-21-20.20.45-A-cinematic-and-dramatic-representation-of-a-lexicon-as-an-expansive-glowing-network-of-interconnected-pathways.-Each-node-is-a-shimmering-word-and-.webp\")
<\/p>\n
\nIllustration par DALL\u00b7E<\/em><\/p>\n<\/blockquote>\n\nUn lecteur d’aujourd’hui de mon livre Principes des syst\u00e8mes intelligents<\/a> (1989 – r\u00e9\u00e9dit\u00e9 en 2012), attire mon attention sur le fait que je d\u00e9crivais d\u00e9j\u00e0 en 1989 comme seule m\u00e9thode possible pour la g\u00e9n\u00e9ration d’un texte par une IA, sous […]<\/em><\/p>\n<\/blockquote>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7483,9204,13],"tags":[9205,940,9459,9253,941],"class_list":["post-142282","post","type-post","status-publish","format-standard","hentry","category-principes-des-systemes-intelligents","category-grands-modeles-de-langage","category-intelligence-artificielle","tag-grands-modeles-de-langage","tag-intelligence-artificielle-2","tag-jorge-luis-borges","tag-llm","tag-principes-des-systemes-intelligents"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142282","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=142282"}],"version-history":[{"count":2,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142282\/revisions"}],"predecessor-version":[{"id":142287,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142282\/revisions\/142287"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=142282"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=142282"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=142282"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}