{"id":143989,"date":"2025-04-21T13:35:29","date_gmt":"2025-04-21T11:35:29","guid":{"rendered":"https:\/\/www.pauljorion.com\/blog\/?p=143989"},"modified":"2025-04-21T13:35:29","modified_gmt":"2025-04-21T11:35:29","slug":"regles-et-correlations-qui-est-le-plus-costaud","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2025\/04\/21\/regles-et-correlations-qui-est-le-plus-costaud\/","title":{"rendered":"\u00ab\u00a0R\u00e8gles\u00a0\u00bb et \u00ab\u00a0corr\u00e9lations\u00a0\u00bb : qui est le plus costaud ?<\/b>"},"content":{"rendered":"

\"\"<\/p>\r\n

Illustration par ChatGPT 4o<\/em><\/p>\r\n\r\n

\r\n

Un peu plus tard, mais toujours au bord de la piscine<\/a><\/em> \ud83d\ude1c.<\/p>\r\n<\/blockquote>\r\n

P.J.<\/strong> :<\/p>\r\n

\r\n

Ne pensez-vous pas que les humains continueront de penser que les r\u00e8gles capturent mieux l’essence-m\u00eame des choses, tandis que les corr\u00e9lations constituent une approximation grossi\u00e8re et basique, ce qui implique que les LLM passent \u00e0 c\u00f4t\u00e9 de quelque chose en n’extrayant pas les \u00ab r\u00e8gles sous-jacentes \u00bb qui, en r\u00e9alit\u00e9, r\u00e9gissent<\/strong> le monde : qu’ils perdent certaines informations pertinentes ? Ne peut-on d\u00e9fendre le point de vue oppos\u00e9, \u00e0 savoir que les r\u00e8gles sont des esquisses qui, par n\u00e9cessit\u00e9, ne peuvent saisir la complexit\u00e9 \u00ab indisciplin\u00e9e \u00bb des choses ; en d’autres termes, ce serait l’expression sous forme de r\u00e8gles qui \u00e9vacuerait une partie de l’information. Qu’en pensez-vous ?<\/em><\/p>\r\n<\/blockquote>\r\n

Thought for 12 seconds<\/p>\r\n

ChatGPT o3<\/strong> :<\/p>\r\n

Une fa\u00e7on utile de cadrer le d\u00e9bat<\/h3>\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n
Perspective<\/th>\r\nVision \u00ab\u00a0r\u00e8gles d\u2019abord\u00a0\u00bb<\/th>\r\nVision \u00ab\u00a0corr\u00e9lations d\u2019abord\u00a0\u00bb<\/th>\r\n<\/tr>\r\n<\/thead>\r\n
Qu\u2019est\u2011ce qu\u2019une r\u00e8gle\u00a0?<\/strong><\/td>\r\n\u00c9nonc\u00e9 concis, souvent symbolique, qui explique<\/em> et pr\u00e9voit<\/em> en r\u00e9v\u00e9lant une structure cach\u00e9e (ex.\u00a0:\u00a0F\u00a0=\u00a0ma).<\/td>\r\nMotif comprim\u00e9 de r\u00e9gularit\u00e9s statistiques qui imite<\/em> le comportement sans structure explicite (ex.\u00a0: poids<\/strong> d\u2019un LLM).<\/td>\r\n<\/tr>\r\n
Information conserv\u00e9e \/ perdue<\/strong><\/td>\r\nConserve des leviers causaux<\/strong> et contrefactuels<\/strong> (\u00ab\u00a0que se passe\u2011t\u2011il si\u2026\u00a0?\u00bb). Perd les d\u00e9tails riches et bruyants qui ne rentrent pas dans le cadre.<\/td>\r\nConserve presque tout<\/em> ce qui est pr\u00e9sent dans les donn\u00e9es (queues longues, contingences). Perd un mod\u00e8le lisible d\u00e9crivant pourquoi<\/em> les choses varient.<\/td>\r\n<\/tr>\r\n
Modes d\u2019\u00e9chec<\/strong><\/td>\r\nFragilit\u00e9 hors du domaine de validit\u00e9\u00a0; ignore les r\u00e9sidus qui deviendront importants plus tard.<\/td>\r\nSurapprentissage de corr\u00e9lations fallacieuses\u00a0; opacit\u00e9 face aux interventions\u00a0; difficult\u00e9 \u00e0 prouver<\/em> la fiabilit\u00e9.<\/td>\r\n<\/tr>\r\n<\/tbody>\r\n<\/table>\r\n
\r\n

Pourquoi les r\u00e8gles sont<\/em> des croquis comprim\u00e9s<\/h3>\r\n
    \r\n
  1. La compression est leur raison d\u2019\u00eatre<\/strong>
    Une r\u00e8gle est une r\u00e9duction drastique de dimension\u00a0: elle jette la majeure partie de la variation r\u00e9elle pour isoler quelques variables essentielles<\/em>. Ce gain explicatif implique une perte d\u2019information.<\/li>\r\n
  2. Les syst\u00e8mes complexes r\u00e9sistent aux r\u00e8gles ferm\u00e9es<\/strong>
    Climat, repliement prot\u00e9ique ou \u00e9volution linguistique pr\u00e9sentent des interactions d\u2019ordre \u00e9lev\u00e9 qui \u00e9chappent aux formulations symboliques \u00e9l\u00e9gantes. Dans ces domaines, les meilleurs pr\u00e9dicteurs actuels sont souvent data\u2011driven<\/em> ou bas\u00e9s sur la simulation, non sur des r\u00e8gles.<\/li>\r\n
  3. Point de vue de la complexit\u00e9 de Kolmogorov<\/strong>
    Le \u00ab\u00a0programme\u00a0\u00bb qui g\u00e9n\u00e8re le monde peut \u00eatre irr\u00e9m\u00e9diablement long<\/em>. Toute r\u00e8gle concise que nous \u00e9crivons est donc une approximation. Un mod\u00e8le massif \u00e0 millions de param\u00e8tres peut se rapprocher, en longueur de description, de ce programme irr\u00e9ductible mieux qu\u2019un petit ensemble d\u2019\u00e9quations.<\/li>\r\n<\/ol>\r\n
    \r\n

    Pourquoi les corr\u00e9lations ratent quand m\u00eame quelque chose<\/em><\/h3>\r\n
      \r\n
    1. La manipulation causale exige de la structure<\/strong>
      Pour intervenir<\/em> (concevoir un m\u00e9dicament, un pont) il faut des leviers contrefactuels\u00a0: si je change X, Y varie ainsi<\/em>. La pure corr\u00e9lation ne fournit pas ces poign\u00e9es\u00a0; d\u2019o\u00f9 l\u2019int\u00e9r\u00eat de combiner apprentissage \u00e0 grande \u00e9chelle et modules de graphes causaux ou de simulateurs.<\/li>\r\n
    2. G\u00e9n\u00e9ralisation hors distribution<\/strong>
      Quand l\u2019environnement change, une r\u00e8gle parcimonieuse encodant de v\u00e9ritables invariants (conservation de l\u2019\u00e9nergie, grammaire compositionnelle) g\u00e9n\u00e9ralise souvent mieux qu\u2019une surface de corr\u00e9lations entra\u00een\u00e9e sur l\u2019ancien r\u00e9gime.<\/li>\r\n
    3. Interpr\u00e9tabilit\u00e9 et confiance humaines<\/strong>
      Les syst\u00e8mes sociaux exigent des justifications (\u00ab\u00a0Pourquoi devrais\u2011je te croire\u00a0?\u00a0\u00bb). Les r\u00e8gles servent de jalons v\u00e9rifiables. Un tenseur de 300\u00a0milliards de param\u00e8tres est plus difficile \u00e0 auditer.<\/li>\r\n<\/ol>\r\n
      \r\n

      Vers une synth\u00e8se\u00a0: \u00ab\u00a0la r\u00e8gle apr\u00e8s l\u2019apprentissage\u00a0\u00bb<\/h3>\r\n