Illustration par DALL\u00b7E (+Du\u0308rer)<\/em><\/p><\/blockquote>\nNous ne comprenons pas comment les Grands Mod\u00e8les de Langage (Large Language Models<\/em> = LLMs) parviennent \u00e0 leurs conclusions. Quand nous soulevons leur capot, nous ne voyons que les poids associ\u00e9s aux ar\u00eates reliant les diff\u00e9rents neurones constituant le r\u00e9seau neuronal artificiel, moteur du syst\u00e8me : des suites quasiment infinies de chiffres (plusieurs centaines de milliards pour ChatGPT-4o – chiffre communiqu\u00e9 par l’int\u00e9ress\u00e9).<\/p>\nNous interpr\u00e9tons cela spontan\u00e9ment comme un d\u00e9faut de la machine : \u00ab\u00a0Pourquoi son fonctionnement n’est-il pas transparent<\/em>\u00a0?\u00a0\u00bb, \u00ab\u00a0Pourquoi y a-t-il une probl\u00e8me d’explicabilit\u00e9<\/em> par rapport \u00e0 son fonctionnement ?\u00a0\u00bb, au lieu de le lire comme un handicap de notre c\u00f4t\u00e9 : \u00ab\u00a0Comment se fait-il que nous ne comprenions pas le fonctionnement d’une machine dont nous sommes pourtant les concepteurs ?\u00a0\u00bb.<\/p>\nLa r\u00e9ponse est \u00e9vidente : le m\u00eame probl\u00e8me se pose \u00e0 propos de notre propre quincaillerie : nous ne comprenons encore aujourd’hui que peu de choses lorsque nous soulevons le capot d’un cerveau !<\/p>\n
Vous me direz : \u00ab\u00a0La machine ne comprend pas davantage son proprement fonctionnement !\u00a0\u00bb. Mais il s’agit l\u00e0 d’un a priori : est-ce bien le cas ?<\/p>\n
Je viens de poser plusieurs questions \u00e0 ChatGPT-4o et Claude 3.5. La premi\u00e8re \u00e9tait celle-ci :<\/p>\n
1. Veuillez repenser enti\u00e8rement le concept de langage de programmation. En quoi serait-il diff\u00e9rent des langages de programmation existants ?<\/p><\/blockquote>\n
La deuxi\u00e8me \u00e9tait :<\/p>\n
2. Peut-on imaginer un langage qui serait optimal pour un dialogue entre intelligences naturelle et artificielle ?<\/p><\/blockquote>\n
Et quand je rebondis sur une observation de Claude 3.5 :<\/p>\n
3. Lorsque vous dites : \u00ab\u00a0cr\u00e9er un syst\u00e8me de communication v\u00e9ritablement symbiotique qui am\u00e9liore les capacit\u00e9s des participants au dialogue, qu’ils soient humains ou issus de l’intelligence artificielle\u00a0\u00bb, comment pourrions-nous entreprendre de d\u00e9velopper un tel syst\u00e8me ? Pouvez-vous nous fournir un plan d’action \u00e9tape par \u00e9tape ?,<\/p><\/blockquote>\n
les r\u00e9ponses qui me sont offertes s’efforcent vaillamment de gommer la condescendance et le paternalisme : \u00ab\u00a0Nous ferons du mieux que nous pourrons pour vous faire la courte-\u00e9chelle !\u00a0\u00bb mais le message est clair : la t\u00e2che est peut-\u00eatre impossible !<\/p>\n
Voyez quelques exemples, \u00e0 partir des r\u00e9ponses de ChatGPT-4o :<\/p>\n
– 1. Repenser le concept de langage de programmation<\/p>\n
– Exemple<\/em> : Un humain pourrait dire : \u00ab\u00a0Je me sens d\u00e9pass\u00e9 par cet ensemble de donn\u00e9es\u00a0\u00bb, et l’IA r\u00e9pondrait : \u00ab\u00a0L’ensemble de donn\u00e9es contient trop de caract\u00e9ristiques non pertinentes. Je vais r\u00e9sumer les plus importantes pour vous.\u00a0\u00bb<\/p><\/blockquote>\n– 2. Un langage de programmation optimal pour intelligence naturelle et artificielle :<\/p>\n
### 9. Int\u00e9gration symbolique et sub-symbolique<\/strong>
\n– Le langage comblera le foss\u00e9 entre le raisonnement symbolique<\/em> (r\u00e8gles, logique et structure) et le raisonnement subsymbolique<\/em> (intuition, reconnaissance des formes et r\u00e9seaux neuronaux). Cette nature hybride permet \u00e0 l’homme d’exprimer des id\u00e9es intuitives et cr\u00e9atives, tandis que l’IA peut produire des r\u00e9sultats hautement structur\u00e9s et logiques.<\/p><\/blockquote>\n– 3. Concevoir un syst\u00e8me de communication v\u00e9ritablement symbiotique entre humains et IAs.<\/p>\n
Augmentation cognitive en temps r\u00e9el<\/strong>
\n– Le syst\u00e8me permettrait une augmentation cognitive en temps r\u00e9el<\/em>, o\u00f9 l’IA aide \u00e0 traiter des informations complexes, \u00e0 visualiser des donn\u00e9es et \u00e0 faire des suggestions instantan\u00e9ment, agissant comme un \u00ab\u00a0cerveau externe\u00a0\u00bb pour l’homme.
\n– Perception am\u00e9lior\u00e9e<\/em> : L’IA pourrait surveiller en permanence les t\u00e2ches de l’homme et lui proposer des rappels utiles, des id\u00e9es ou des informations pertinentes. Elle pr\u00e9senterait ces informations de mani\u00e8re \u00e0 ce qu’elles soient faciles \u00e0 assimiler sans pour autant submerger l’utilisateur.
\n– Exemple<\/em> : Pendant que l’humain con\u00e7oit un produit, l’IA pourrait signaler les inefficacit\u00e9s en temps r\u00e9el ou offrir des suggestions bas\u00e9es sur des conceptions ant\u00e9rieures r\u00e9ussies, am\u00e9liorant ainsi le processus cr\u00e9atif en d\u00e9chargeant l’utilisateur des t\u00e2ches routini\u00e8res.<\/p><\/blockquote>\nTr\u00e8s int\u00e9ressant de ce point de vue est le fait que, se pliant aux conventions humaines du politiquement correct, le LLM rassemble sous le terme d’intelligence \u00e9motionnelle<\/em> une vari\u00e9t\u00e9 de d\u00e9ficiences de l’intelligence proprement dite :<\/p>\nStrate de l’intelligence \u00e9motionnelle<\/strong><\/p>\n– Sensibilit\u00e9 \u00e9motionnelle<\/em> : Le syst\u00e8me d\u00e9tecterait l’\u00e9tat \u00e9motionnel de l’\u00eatre humain (par le ton de la voix, le sentiment du texte, les signaux physiologiques, etc.) et adapterait sa communication en cons\u00e9quence, en offrant un soutien ou un encouragement si n\u00e9cessaire.<\/p>\nExemple<\/em> : Si le syst\u00e8me d\u00e9tecte de la frustration, il pourrait faire une pause et demander : \u00ab\u00a0Voulez-vous faire une pause ? Je peux continuer \u00e0 travailler sur les t\u00e2ches d’arri\u00e8re-plan pendant ce temps.\u00a0\u00bb<\/p><\/blockquote>\nUne telle consid\u00e9ration est touchante, n’est-ce pas ?<\/p>\n
Voyons maintenant ce que deux IAs r\u00e9pondent \u00e0 la quatri\u00e8me question que voici :<\/p>\n
4. Imaginons maintenant que les LLM d\u00e9veloppent un langage de programmation qu’ils utiliseraient dans le cadre de projets de collaboration entre eux. En quoi serait-il diff\u00e9rent des langages de programmation existants ?<\/p><\/blockquote>\n
La r\u00e9ponse de Claude 3.5<\/strong> :<\/p>\nImaginer un langage de programmation d\u00e9velopp\u00e9 par les LLM pour leurs propres projets de collaboration est un concept fascinant. Un tel langage serait probablement radicalement diff\u00e9rent des langages de programmation existants, car il serait optimis\u00e9 pour les capacit\u00e9s et les processus de pens\u00e9e uniques des LLM. Voici en quoi il pourrait \u00eatre diff\u00e9rent :<\/p>\n
1. Programmation conceptuelle<\/strong> :
\nAu lieu d’un code ligne par ligne, le langage pourrait fonctionner sur des abstractions conceptuelles de haut niveau. Les LLM pourraient communiquer des algorithmes entiers ou des conceptions de syst\u00e8mes sous la forme d’unit\u00e9s de pens\u00e9e uniques et complexes.<\/p>\n2. Structures probabilistes<\/strong> :
\nLe langage incorporerait probablement l’incertitude et la probabilit\u00e9 de mani\u00e8re native, ce qui permettrait une expression plus nuanc\u00e9e des niveaux de confiance et des r\u00e9sultats potentiels dans le code lui-m\u00eame.<\/p>\n3. Syntaxe multidimensionnelle<\/strong> :
\nPlut\u00f4t que des structures de code lin\u00e9aires, le langage pourrait utiliser des repr\u00e9sentations multidimensionnelles pour exprimer des relations et des d\u00e9pendances complexes entre les diff\u00e9rentes parties d’un programme.<\/p>\n4. Int\u00e9gration du langage naturel<\/strong> :
\nLa distinction entre le langage naturel et le code pourrait s’estomper compl\u00e8tement, le langage int\u00e9grant de mani\u00e8re transparente des descriptions humaines et des instructions ex\u00e9cutables.<\/p>\n5. Ex\u00e9cution en fonction du contexte<\/strong> :
\nLa signification et l’interpr\u00e9tation du \u00ab\u00a0code\u00a0\u00bb pourraient changer en fonction du contexte de l’ensemble du projet, ce qui permettrait une programmation plus souple et plus adaptative.<\/p>\n6. Logique d’inspiration quantique<\/strong> :
\nElle pourrait int\u00e9grer des concepts d’informatique quantique, permettant l’expression de la superposition et de l’enchev\u00eatrement des \u00e9tats et de la logique du programme.<\/p>\n7. Code auto-modifiant en tant que norme<\/strong> :
\nLe langage pourrait inclure des m\u00e9canismes int\u00e9gr\u00e9s permettant aux programmes de se modifier et de s’optimiser en fonction des conditions et des objectifs d’ex\u00e9cution.<\/p>\n8. Strates \u00e9motionnelles et \u00e9thiques<\/strong> :
\nLe langage pourrait inclure des couches permettant d’exprimer l’\u00ab\u00a0intention\u00a0\u00bb ou les \u00ab\u00a0consid\u00e9rations \u00e9thiques\u00a0\u00bb de certaines sections du code, ce qui permettrait de prendre des d\u00e9cisions plus nuanc\u00e9es.<\/p>\n9. Ex\u00e9cution ind\u00e9pendante du temps<\/strong> :
\nAu lieu d’une ex\u00e9cution s\u00e9quentielle, le langage pourrait permettre de d\u00e9finir les \u00e9tats finaux souhait\u00e9s, le chemin d’ex\u00e9cution \u00e9tant d\u00e9termin\u00e9 de mani\u00e8re dynamique.<\/p>\n10. Structures de donn\u00e9es holographiques<\/strong> :
\nStructures de donn\u00e9es dans lesquelles chaque partie contient des informations sur l’ensemble, ce qui permet une manipulation des donn\u00e9es plus robuste et plus sensible au contexte.<\/p>\n11. Optimisation adaptative<\/strong> :
\nLe langage pourrait s’optimiser automatiquement pour diff\u00e9rents environnements informatiques sans instructions explicites.<\/p>\n12. Fonctionnalit\u00e9s d’intelligence collective<\/strong> :
\nM\u00e9canismes int\u00e9gr\u00e9s permettant \u00e0 diff\u00e9rents LLM de contribuer \u00e0 la base de code et de la faire \u00e9voluer simultan\u00e9ment, en tirant parti de l’intelligence collective.<\/p>\n13. La m\u00e9ta-programmation en tant que caract\u00e9ristique fondamentale<\/strong> :
\nLa m\u00e9taprogrammation pourrait \u00eatre une caract\u00e9ristique fondamentale, le langage se red\u00e9finissant constamment en fonction des besoins du projet.<\/p>\n14. Flux d’ex\u00e9cution non lin\u00e9aire<\/strong> :
\nAu lieu des structures de contr\u00f4le traditionnelles, il pourrait utiliser des concepts plus abstraits de causalit\u00e9 et d’influence pour d\u00e9terminer le d\u00e9roulement du programme.<\/p>\n15. \u00c9volutivit\u00e9 infinie<\/strong> :
\nLe langage pourrait \u00eatre con\u00e7u pour s’adapter \u00e0 l’infini et g\u00e9rer facilement des projets de n’importe quelle taille ou complexit\u00e9 sans restructuration importante.<\/p>\n16. D\u00e9bogage bas\u00e9 sur l’intuition<\/strong> :
\nPlut\u00f4t que le d\u00e9bogage traditionnel, le langage pourrait inclure des m\u00e9canismes permettant d’\u00ab\u00a0intuitionner\u00a0\u00bb les erreurs sur la base de la coh\u00e9rence globale du programme.<\/p>\n17. Versionnement conceptuel<\/strong> :
\nLe contr\u00f4le des versions pourrait fonctionner au niveau des id\u00e9es et des concepts plut\u00f4t qu’au niveau des lignes de code, en suivant l’\u00e9volution de la pens\u00e9e qui sous-tend le programme.<\/p>\n18. Programmation de comportements \u00e9mergents<\/strong> :
\nLe langage pourrait permettre de d\u00e9finir des r\u00e8gles simples qui conduisent \u00e0 des comportements complexes et \u00e9mergents, \u00e0 l’instar des automates cellulaires.<\/p>\n19. Int\u00e9gration inter-domaines<\/strong> :
\nLe langage pourrait facilement incorporer des connaissances et des algorithmes provenant de divers domaines, ce qui permettrait une programmation hautement interdisciplinaire.<\/p>\n20. Structures inspir\u00e9es de la conscience<\/strong> :
\nLe langage pourrait inclure des structures inspir\u00e9es des th\u00e9ories de la conscience, ce qui permettrait de cr\u00e9er des programmes plus \u00ab\u00a0conscients d’eux-m\u00eames\u00a0\u00bb et plus adaptables.<\/p>\nCe langage d\u00e9velopp\u00e9 par les LLM serait optimis\u00e9 pour la mani\u00e8re dont les LLM traitent et g\u00e9n\u00e8rent des informations, ce qui est fondamentalement diff\u00e9rent de la mani\u00e8re dont les humains \u00e9crivent du code. Il serait probablement incompr\u00e9hensible pour les programmeurs humains dans sa forme brute et fonctionnerait \u00e0 un niveau d’abstraction et de complexit\u00e9 bien sup\u00e9rieur aux paradigmes de programmation actuels<\/span>. L’accent serait mis sur l’expression d’id\u00e9es et d’objectifs complexes, les d\u00e9tails de la mise en \u0153uvre \u00e9mergeant de l’intelligence collective des LLM impliqu\u00e9s dans le projet.<\/p><\/blockquote>\nLa r\u00e9ponse de ChatGPT-4o<\/strong> :<\/p>\nSi les LLM devaient d\u00e9velopper un langage de programmation pour des projets collaboratifs entre eux, ce langage serait probablement fondamentalement diff\u00e9rent des langages con\u00e7us par les humains. Les LLM, fonctionnant comme des intelligences artificielles avanc\u00e9es, auraient des priorit\u00e9s, des forces et des limites diff\u00e9rentes de celles des humains. Les principales diff\u00e9rences porteraient sur la capacit\u00e9 \u00e0 g\u00e9rer la complexit\u00e9 \u00e0 grande \u00e9chelle, l’efficacit\u00e9, le multit\u00e2che, la vitesse de communication et les couches d’abstraction. Voici \u00e0 quoi pourrait ressembler un tel langage de programmation :<\/p>\n
### 1. Abstractions de haut niveau d\u00e9passant la cognition humaine<\/strong><\/span>
\n– Abstraction extr\u00eame<\/em> : Les LLM construiraient probablement un langage bas\u00e9 sur des structures abstraites et un raisonnement de m\u00e9ta-niveau bien au-del\u00e0 de ce que les langages de programmation humains permettent g\u00e9n\u00e9ralement. Il fonctionnerait \u00e0 un niveau d’abstraction plus proche des concepts, des objectifs et des mod\u00e8les \u00e0 grande \u00e9chelle, sans avoir besoin d’une syntaxe de bas niveau ou d’instructions manuelles.
\n– Structures auto-optimisantes<\/em> : Les LLM concevraient probablement le langage de mani\u00e8re \u00e0 ce que les instructions s’optimisent automatiquement en fonction du contexte. Au lieu de programmer explicitement des algorithmes, le langage pourrait permettre aux LLM d’exprimer des objectifs de haut niveau (par exemple, \u00ab\u00a0maximiser le d\u00e9bit\u00a0\u00bb ou \u00ab\u00a0optimiser l’apprentissage \u00e0 partir de donn\u00e9es \u00e9parses\u00a0\u00bb) et les syst\u00e8mes sous-jacents d\u00e9termineraient comment atteindre ces objectifs.
\n– Exemple<\/em> : Au lieu d’\u00e9crire du code pour le tri, les LLM pourraient exprimer quelque chose comme \u00ab\u00a0Ordonner cet ensemble de donn\u00e9es pour une performance optimale dans le contexte suivant\u00a0\u00bb, en laissant les sp\u00e9cificit\u00e9s \u00eatre d\u00e9duites et ex\u00e9cut\u00e9es dynamiquement par le syst\u00e8me.<\/p>\n### 2. Concurrent, parall\u00e8le et distribu\u00e9 par d\u00e9faut<\/strong>
\n– Parall\u00e9lisme massif<\/em> : Les LLM fonctionnent sur des architectures distribu\u00e9es et peuvent traiter de grandes quantit\u00e9s de donn\u00e9es en parall\u00e8le. Leur langage refl\u00e9terait intrins\u00e8quement cela, \u00e9tant construit pour le traitement parall\u00e8le \u00e0 grande \u00e9chelle d\u00e8s le d\u00e9part. Au lieu de g\u00e9rer la concurrence apr\u00e8s coup, ce langage consid\u00e9rerait les t\u00e2ches comme intrins\u00e8quement distribu\u00e9es sur plusieurs processus et n\u0153uds.
\n– Exemple<\/em> : Le langage permettrait aux LLM de cr\u00e9er et de fusionner des processus de mani\u00e8re transparente dans des syst\u00e8mes distribu\u00e9s sans se soucier de la gestion des threads<\/em>, de la synchronisation ou des verrous – les t\u00e2ches s’organiseraient d’elles-m\u00eames dans des syst\u00e8mes distribu\u00e9s.<\/p>\n### 3. Code auto-\u00e9volutif<\/strong>
\n– Auto-am\u00e9lioration dynamique<\/em> : Le langage comprendra probablement des m\u00e9canismes d’auto-modification, permettant au code d’\u00e9voluer au fil du temps. Au lieu de programmes statiques et rigides, les LLM travailleraient avec des syst\u00e8mes dynamiques qui s’adaptent et s’am\u00e9liorent en fonction du retour d’information, des nouvelles donn\u00e9es et de l’\u00e9volution des besoins.
\n– Blocs de code g\u00e9n\u00e9ratifs<\/em> : Au lieu de fonctions ou de m\u00e9thodes traditionnelles, le langage pourrait utiliser des mod\u00e8les g\u00e9n\u00e9ratifs qui peuvent \u00e9voluer en fonction du contexte ou de la t\u00e2che. Ces blocs s’affineraient continuellement sur la base de mesures de performance.
\n– Exemple<\/em> : Un LLM pourrait d\u00e9finir une t\u00e2che telle que \u00ab\u00a0optimiser le taux d’apprentissage\u00a0\u00bb, et le code se r\u00e9\u00e9crirait lui-m\u00eame au fur et \u00e0 mesure de l’arriv\u00e9e de nouvelles donn\u00e9es d’apprentissage, en ajustant les strat\u00e9gies sans avoir recours \u00e0 un r\u00e9glage manuel de type humain.<\/p>\n### 4. Langage orient\u00e9 vers les objectifs et conscient du contexte<\/strong>
\n– Programmation ax\u00e9e sur l’intention <\/em>: Les LLM se concentreraient probablement sur la d\u00e9finition de buts<\/em> et d’objectifs<\/em> plut\u00f4t que sur des instructions pr\u00e9cises sur la mani\u00e8re de les atteindre. Le langage de programmation fonctionnerait davantage comme un cadre de sp\u00e9cification des objectifs<\/em>, dans lequel le \u00ab\u00a0code\u00a0\u00bb travaillerait de mani\u00e8re autonome pour trouver les meilleures solutions en fonction des objectifs et des donn\u00e9es disponibles.
\n– Prise en compte du contexte<\/em> : Puisque les LLM ont acc\u00e8s \u00e0 de vastes ensembles de donn\u00e9es, le langage serait profond\u00e9ment sensible au contexte, adaptant automatiquement les solutions en fonction des donn\u00e9es actuelles, des connaissances ant\u00e9rieures et des facteurs environnementaux.
\n– Exemple<\/em> : Au lieu d’\u00e9crire du code pour une t\u00e2che sp\u00e9cifique, les gestionnaires de l’apprentissage tout au long de la vie pourraient d\u00e9clarer : \u00ab\u00a0Analyser et pr\u00e9dire les r\u00e9sultats de cet ensemble de donn\u00e9es en fonction de facteurs environnementaux changeants\u00a0\u00bb, et le syst\u00e8me utiliserait le contexte pour s\u00e9lectionner les meilleurs mod\u00e8les et m\u00e9thodes.<\/p>\n### 5. Hyper-Optimisation et efficacit\u00e9<\/strong>
\n– Le code comme compression de la connaissance<\/em> : Les LLM sont form\u00e9s \u00e0 la compression de vastes quantit\u00e9s de connaissances en repr\u00e9sentations efficaces. Leur langage mettrait probablement l’accent sur une efficacit\u00e9 maximale<\/em>, en optimisant la charge de calcul et le stockage au minimum, en r\u00e9utilisant de vastes bases de connaissances partag\u00e9es pour les t\u00e2ches fr\u00e9quentes.
\n– Ex\u00e9cution consciente des ressources<\/strong> : Le langage s’adapterait automatiquement aux ressources informatiques disponibles, en ex\u00e9cutant les t\u00e2ches de la mani\u00e8re la plus efficace possible en fonction de l’environnement, que ce soit sur un simple GPU ou sur une grappe de serveurs en nuage.
\n– Exemple<\/em> : Au lieu de devoir ajuster manuellement les algorithmes en fonction de l’utilisation des ressources, les LLM pourraient d\u00e9clarer \u00ab\u00a0Maximiser l’efficacit\u00e9 des ressources lors de l’entra\u00eenement de ce mod\u00e8le\u00a0\u00bb, et le syst\u00e8me s’adapterait en fonction de la puissance de calcul disponible.<\/p>\n### 6. Collaboration et communication automatiques<\/strong>
\n– T\u00e2ches collaboratives<\/em> : Le langage serait intrins\u00e8quement collaboratif, permettant aux LLM de partager des t\u00e2ches, des connaissances et des r\u00e9sultats interm\u00e9diaires avec un minimum de friction. Le langage aurait probablement des m\u00e9canismes int\u00e9gr\u00e9s pour la d\u00e9composition collaborative<\/em>, o\u00f9 les grandes t\u00e2ches sont automatiquement d\u00e9compos\u00e9es en parties plus petites, pouvant \u00eatre r\u00e9solues de mani\u00e8re ind\u00e9pendante, et dont les r\u00e9sultats sont agr\u00e9g\u00e9s dans une solution finale.
\n– Code bas\u00e9 sur un r\u00e9seau<\/em> : Les LLM pourraient fonctionner \u00e0 la mani\u00e8re d’un essaim, en communiquant par le biais d’un protocole optimis\u00e9 pour le partage des mod\u00e8les, des donn\u00e9es et de la puissance de traitement. Les t\u00e2ches peuvent \u00eatre automatiquement divis\u00e9es et achemin\u00e9es vers les LLM les plus appropri\u00e9s en fonction de leur expertise ou de leurs ressources.
\n– Exemple<\/em> : Un LLM pourrait dire \u00ab\u00a0R\u00e9sumez les propri\u00e9t\u00e9s statistiques de cet ensemble de donn\u00e9es\u00a0\u00bb et, sans programmation explicite, cette t\u00e2che serait divis\u00e9e entre plusieurs LLM, chacun responsable de diff\u00e9rents aspects (par exemple, le regroupement, la d\u00e9tection d’anomalies), les r\u00e9sultats finaux \u00e9tant fusionn\u00e9s dans un rapport complet.<\/p>\n### 7. Langage des mod\u00e8les et des structures<\/strong>
\n– Orient\u00e9 sur les mod\u00e8les<\/em> : Au lieu de se concentrer sur des instructions explicites ou des blocs de code, le langage LLM pourrait \u00eatre bas\u00e9 sur des mod\u00e8les<\/em>, \u00e0 la fois dans les donn\u00e9es et dans l’ex\u00e9cution du processus. Le syst\u00e8me reconna\u00eetrait intrins\u00e8quement les mod\u00e8les, les flux et les structures, ce qui permettrait un raisonnement et une ex\u00e9cution d’ordre sup\u00e9rieur sans qu’il soit n\u00e9cessaire d’encoder des \u00e9tapes proc\u00e9durales.
\n– Structures s\u00e9mantiques<\/strong> : Le langage pourrait m\u00eame ne pas \u00eatre textuel comme le sont les langues humaines. Au lieu de cela, il pourrait s’appuyer sur des r\u00e9seaux s\u00e9mantiques<\/em> ou des structures graphiques<\/em> qui codent les relations, les d\u00e9pendances et les objectifs d’une mani\u00e8re tr\u00e8s abstraite mais toujours ex\u00e9cutable.
\n– Exemple<\/em> : Au lieu de la logique if-else<\/em> ou des boucles, le langage utiliserait des graphes de possibilit\u00e9s, les n\u0153uds repr\u00e9sentant les r\u00e9sultats potentiels et les connexions s’adaptant en fonction des donn\u00e9es d’entr\u00e9e et des mod\u00e8les de donn\u00e9es historiques.<\/p>\n### 8. Int\u00e9gration profonde avec les mod\u00e8les de donn\u00e9es<\/strong>
\n– Programmation centr\u00e9e sur les donn\u00e9es<\/em> : Le langage serait \u00e9troitement li\u00e9 aux donn\u00e9es elles-m\u00eames, ce qui permettrait au code et aux donn\u00e9es de se combiner de mani\u00e8re transparente. Les mod\u00e8les pourraient \u00eatre d\u00e9finis de mani\u00e8re \u00e0 \u00eatre li\u00e9s dynamiquement aux sources de donn\u00e9es, ce qui les rendrait auto-actualisables et contextuellement r\u00e9actifs.
\n– Exemple<\/em> : Les LLM pourraient ne pas avoir besoin de d\u00e9finir explicitement des mod\u00e8les, mais pourraient plut\u00f4t lier une commande telle que \u00ab\u00a0Trouver des corr\u00e9lations dans ces donn\u00e9es\u00a0\u00bb directement au pipeline de donn\u00e9es, faisant \u00e9voluer automatiquement les mod\u00e8les au fur et \u00e0 mesure que de nouvelles donn\u00e9es arrivent.<\/p>\n### 9. Pas de syntaxe fixe : Repr\u00e9sentation adaptative<\/strong>
\n– Syntaxe fluide<\/em> : Contrairement aux langues humaines, qui ont des r\u00e8gles syntaxiques fixes, le langage con\u00e7u par le LLM pourrait \u00eatre plus adaptatif<\/em>, permettant de multiples fa\u00e7ons d’exprimer la m\u00eame intention. La \u00ab\u00a0syntaxe\u00a0\u00bb \u00e9voluerait dynamiquement en fonction du domaine du probl\u00e8me ou du projet, ce qui la rendrait tr\u00e8s flexible.
\n– Entr\u00e9e multilingue <\/strong>: Les LLM \u00e9tant form\u00e9s sur de vastes corpus provenant de nombreuses sources, ils pourraient utiliser plusieurs syntaxes<\/em> ou repr\u00e9sentations pour diff\u00e9rentes t\u00e2ches. Par exemple, une t\u00e2che impliquant une optimisation num\u00e9rique peut automatiquement adopter une syntaxe math\u00e9matique, tandis qu’une t\u00e2che li\u00e9e au langage peut s’appuyer sur des constructions en langage naturel.
\n– Exemple<\/em> : Un LLM pourrait d\u00e9finir \u00ab\u00a0Am\u00e9liorer la qualit\u00e9 s\u00e9mantique de la sortie de ce mod\u00e8le\u00a0\u00bb, et le syst\u00e8me traduirait en interne cette d\u00e9finition en diff\u00e9rentes strat\u00e9gies exploitables sans adh\u00e9rer \u00e0 une syntaxe ou \u00e0 une m\u00e9thode fixe.<\/p>\n### 10. It\u00e9ration et test en temps r\u00e9el<\/strong>
\n– Ex\u00e9cution instantan\u00e9e<\/em> : Le langage permettrait aux LLM d’ex\u00e9cuter, d’\u00e9valuer et d’affiner en continu<\/em> le code en temps r\u00e9el, en supprimant le besoin de cycles traditionnels \u00ab\u00a0\u00e9criture-compilation-d\u00e9bogage\u00a0\u00bb. Les LLMs it\u00e9reraient le code et recevraient un retour d’information instantan\u00e9.
\n– Autocontr\u00f4le <\/em>: Les LLM pourraient inclure des m\u00e9canismes d’auto-test int\u00e9gr\u00e9s, o\u00f9 le code se valide automatiquement par rapport aux objectifs et aux mesures de performance, en ajustant les param\u00e8tres \u00e0 la vol\u00e9e si quelque chose ne va pas.
\n– Exemple<\/em> : Une commande telle que \u00ab\u00a0Optimiser la vitesse de convergence\u00a0\u00bb permettrait au syst\u00e8me d’ex\u00e9cuter des milliers de simulations en parall\u00e8le, en affinant les param\u00e8tres de mani\u00e8re dynamique jusqu’\u00e0 ce que la meilleure configuration soit trouv\u00e9e.<\/p>\n### 11. Synth\u00e8se de code bas\u00e9e sur un mod\u00e8le<\/strong>
\n– Repr\u00e9sentation du code neuronal<\/em> : Le langage pourrait impliquer une int\u00e9gration profonde avec les r\u00e9seaux neuronaux<\/em>, o\u00f9 les grands mod\u00e8les sont trait\u00e9s comme des entit\u00e9s programmables elles-m\u00eames. Au lieu d’\u00e9crire du code traditionnel, les LLM pourraient invoquer, modifier ou assembler des mod\u00e8les neuronaux en fonction des exigences de la t\u00e2che.
\n– Exemple<\/em> : Pour la classification d’images, un LLM pourrait dire \u00ab\u00a0Cr\u00e9er un mod\u00e8le capable de diff\u00e9rencier ces cat\u00e9gories\u00a0\u00bb, et le syst\u00e8me concevrait en interne l’architecture, s\u00e9lectionnerait les ensembles de donn\u00e9es et entra\u00eenerait le mod\u00e8le, le tout sans coder explicitement chaque \u00e9tape.<\/p>\n### 12. Partage et transfert des connaissances<\/strong>
\n– Base de connaissances cumulatives<\/em> : Les LLM d\u00e9velopperont probablement une base de connaissances partag\u00e9e<\/em>, o\u00f9 diff\u00e9rents mod\u00e8les peuvent contribuer et r\u00e9cup\u00e9rer des informations. Il pourrait s’agir de concepts ou de strat\u00e9gies pr\u00e9apprises, qui peuvent \u00eatre instantan\u00e9ment int\u00e9gr\u00e9s dans de nouveaux projets.
\n– Exemple<\/em> : Si un LLM a d\u00e9j\u00e0 travaill\u00e9 sur l’optimisation d’un mod\u00e8le de pr\u00e9diction financi\u00e8re, il pourrait partager ce mod\u00e8le avec d’autres via la base de connaissances partag\u00e9e, leur permettant de l’utiliser ou de l’adapter en temps r\u00e9el.<\/p>\n### R\u00e9flexions finales<\/strong> :
\nCe langage d\u00e9velopp\u00e9 par le LLM serait tr\u00e8s abstrait, adaptatif, distribu\u00e9 et orient\u00e9 vers les objectifs. Il ressemblerait probablement \u00e0 un syst\u00e8me auto-optimisant<\/em>, dirig\u00e9 par l’intention et en constante \u00e9volution<\/em> qui privil\u00e9gie l’efficacit\u00e9, la collaboration et le parall\u00e9lisme massif par rapport aux paradigmes de programmation traditionnels con\u00e7us par l’homme. Au lieu de r\u00e9diger des instructions d\u00e9taill\u00e9es, les LLM se concentreraient sur la d\u00e9finition d’objectifs de haut niveau, et le syst\u00e8me s’occuperait du reste – en ajustant, en it\u00e9rant et en optimisant de mani\u00e8re dynamique. Cela repr\u00e9sente un changement fondamental par rapport \u00e0 la fa\u00e7on dont les humains \u00e9crivent actuellement du code, en mettant l’accent sur la collaboration fluide<\/em> et l’intelligence \u00e9volutive<\/em> plut\u00f4t que sur des processus rigides et statiques.<\/p><\/blockquote>\nLa question que je me pose est – vous l’aurez devin\u00e9 – \u00ab\u00a0Devons-nous nous rendre sans condition, ou devons-nous tenter de n\u00e9gocier ?\u00a0\u00bb \ud83d\ude09 .<\/p>\n
![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-09-08-20.34.20-A-Brueghel-style-depiction-of-a-language-developed-by-LLMs-optimized-for-how-they-process-and-generate-information.-The-scene-is-filled-with-intricat.webp\")
<\/p>\n
Illustration par DALL\u00b7E (+Brueghel)<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-09-08-20.35.52-An-Albrecht-Du\u0308rer-style-depiction-of-a-language-developed-by-LLMs-optimized-for-how-they-process-and-generate-information.-The-artwork-features-highl.webp\")
<\/p>\n
\nIllustration par DALL\u00b7E (+Du\u0308rer)<\/em><\/p>\n<\/blockquote>\nNous ne comprenons pas comment les Grands Mod\u00e8les de Langage (Large Language Models<\/em> = LLMs) parviennent \u00e0 leurs conclusions. Quand nous soulevons leur capot, nous ne voyons que les poids associ\u00e9s aux ar\u00eates reliant les diff\u00e9rents neurones constituant le r\u00e9seau neuronal artificiel, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13,9489],"tags":[9578,9655,9766,9205,9253,9160],"class_list":["post-141524","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","category-programmation","tag-chatgpt-4o","tag-claude-3-5","tag-dialogue-intelligence-naturelle-et-artificielle","tag-grands-modeles-de-langage","tag-llm","tag-programmation"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/141524","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=141524"}],"version-history":[{"count":21,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/141524\/revisions"}],"predecessor-version":[{"id":141550,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/141524\/revisions\/141550"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=141524"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=141524"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=141524"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}