Une petite \u00e9tude montre que ChatGPT surpasse les m\u00e9decins humains lorsqu’il \u00e9value des cas m\u00e9dicaux, m\u00eame lorsque ces m\u00e9decins utilisent le chatbot.<\/em><\/p><\/blockquote>\nPar Gina Kolata
\n17 novembre 2024<\/p>\n
<\/p>\n
Le Dr Adam Rodman, expert en m\u00e9decine interne au Beth Israel Deaconess Medical Center de Boston, s’attendait \u00e0 ce que les chatbots con\u00e7us pour utiliser l’intelligence artificielle aident les m\u00e9decins \u00e0 diagnostiquer les maladies.<\/p>\n
Or, il se trompait. En fait, dans une \u00e9tude que le Dr Rodman a contribu\u00e9 \u00e0 concevoir, les m\u00e9decins qui ont b\u00e9n\u00e9fici\u00e9 de ChatGPT-4 en m\u00eame temps que des ressources conventionnelles n’ont fait que l\u00e9g\u00e8rement mieux que les m\u00e9decins qui n’ont pas eu acc\u00e8s au chatbot. Et, \u00e0 la surprise des chercheurs, ChatGPT seul a obtenu de meilleurs r\u00e9sultats que les m\u00e9decins. \u00ab J’ai \u00e9t\u00e9 choqu\u00e9 \u00bb, a d\u00e9clar\u00e9 le Dr Rodman.<\/p>\n
Le chatbot, de la soci\u00e9t\u00e9 OpenAI, a obtenu un score moyen de 90 % lorsqu’il a diagnostiqu\u00e9 un probl\u00e8me m\u00e9dical \u00e0 partir d’un rapport de cas et qu’il a expliqu\u00e9 son raisonnement. Les m\u00e9decins d\u00e9sign\u00e9s au hasard pour utiliser le chatbot ont obtenu un score moyen de 76 %. Ceux qui ont \u00e9t\u00e9 d\u00e9sign\u00e9s au hasard pour ne pas l’utiliser ont obtenu une note moyenne de 74 %.<\/p>\n
L’\u00e9tude ne s’est pas limit\u00e9e aux performances sup\u00e9rieures du chatbot. Elle a mis en \u00e9vidence la confiance parfois in\u00e9branlable des m\u00e9decins dans le diagnostic qu’ils ont pos\u00e9, m\u00eame lorsqu’un chatbot peut en sugg\u00e9rer un meilleur.<\/p>\n
L’\u00e9tude a \u00e9galement montr\u00e9 que si les m\u00e9decins sont expos\u00e9s aux outils de l’intelligence artificielle dans le cadre de leur travail, peu d’entre eux savent comment exploiter les capacit\u00e9s des chatbots. En cons\u00e9quence, ils n’ont pas su tirer parti de la capacit\u00e9 des syst\u00e8mes d’IA \u00e0 r\u00e9soudre des probl\u00e8mes de diagnostic complexes et \u00e0 fournir des explications sur leurs diagnostics.<\/p>\n
Les syst\u00e8mes d’IA devraient \u00eatre des \u00ab prolongateurs de m\u00e9decin \u00bb, a d\u00e9clar\u00e9 le Dr Rodman, offrant de pr\u00e9cieux seconds avis sur les diagnostics. Mais il semble qu’il y ait encore du chemin \u00e0 parcourir avant que ce potentiel ne se concr\u00e9tise.<\/p>\n
Cas d’\u00e9cole, cas d’avenir<\/strong><\/p>\nL’exp\u00e9rience a port\u00e9 sur 50 m\u00e9decins, un \u00e9chantillon d’internes et de praticiens recrut\u00e9s par l’interm\u00e9diaire de quelques grands syst\u00e8mes hospitaliers am\u00e9ricains, et a \u00e9t\u00e9 publi\u00e9e le mois dernier dans la revue JAMA Network Open.<\/p>\n
Les sujets test\u00e9s se sont vu soumettre six cas et ont \u00e9t\u00e9 not\u00e9s sur leur capacit\u00e9 \u00e0 sugg\u00e9rer des diagnostics et \u00e0 expliquer pourquoi ils les privil\u00e9giaient ou les excluaient. Ils ont \u00e9galement \u00e9t\u00e9 not\u00e9s sur leur capacit\u00e9 \u00e0 poser le bon diagnostic final.<\/p>\n
Les \u00e9valuateurs \u00e9taient des experts m\u00e9dicaux qui ne voyaient que les r\u00e9ponses des participants, sans savoir si elles provenaient d’un m\u00e9decin avec ChatGPT, d’un m\u00e9decin sans ChatGPT ou de ChatGPT lui-m\u00eame.<\/p>\n
Les \u00e9tudes de cas utilis\u00e9es dans l’\u00e9tude \u00e9taient bas\u00e9es sur des patients r\u00e9els et font partie d’un ensemble de 105 cas utilis\u00e9s par les chercheurs depuis les ann\u00e9es 1990. Les cas n’ont intentionnellement jamais \u00e9t\u00e9 publi\u00e9s afin que les \u00e9tudiants en m\u00e9decine et d’autres personnes puissent \u00eatre test\u00e9s sur ces cas sans en avoir connaissance \u00e0 l’avance. Cela signifie \u00e9galement que ChatGPT n’a pas pu \u00eatre form\u00e9 sur ces cas.<\/p>\n
Mais pour illustrer l’\u00e9tude, les chercheurs ont publi\u00e9 l’un des six cas sur lesquels les m\u00e9decins ont \u00e9t\u00e9 test\u00e9s, ainsi que les r\u00e9ponses d’un m\u00e9decin ayant obtenu un score \u00e9lev\u00e9 et d’un m\u00e9decin ayant obtenu un score faible aux questions du test sur ce cas.<\/p>\n
Ce cas test concernait un patient de 76 ans qui souffrait de fortes douleurs dans le bas du dos, les fesses et les mollets lorsqu’il marchait. Ces douleurs sont apparues quelques jours apr\u00e8s qu’il ait subi une angioplastie par ballonnet pour \u00e9largir une art\u00e8re coronaire. Il avait \u00e9t\u00e9 trait\u00e9 par l’h\u00e9parine, un anticoagulant, pendant 48 heures apr\u00e8s l’intervention.<\/p>\n
L’homme s’est plaint d’\u00eatre fi\u00e9vreux et fatigu\u00e9. Son cardiologue a effectu\u00e9 des examens de laboratoire qui ont r\u00e9v\u00e9l\u00e9 une nouvelle an\u00e9mie et une accumulation d’azote et d’autres d\u00e9chets r\u00e9naux dans son sang. L’homme avait subi un pontage pour une maladie cardiaque dix ans plus t\u00f4t. La pr\u00e9sentation du cas se poursuit avec les d\u00e9tails de l’examen physique de l’homme, puis avec les r\u00e9sultats des tests de laboratoire.<\/p>\n
Le bon diagnostic \u00e9tait celui d’une embolie de cholest\u00e9rol, une affection dans laquelle des \u00e9clats de cholest\u00e9rol se d\u00e9tachent de la plaque dans les art\u00e8res et bloquent les vaisseaux sanguins.<\/p>\n
Les participants ont \u00e9t\u00e9 invit\u00e9s \u00e0 proposer trois diagnostics possibles, avec preuves \u00e0 l’appui pour chacun d’entre eux. Ils ont \u00e9galement \u00e9t\u00e9 invit\u00e9s \u00e0 indiquer, pour chaque diagnostic possible, les r\u00e9sultats qui ne l’\u00e9tayent pas ou qui \u00e9taient attendus mais absents.<\/p>\n
Les participants ont \u00e9galement \u00e9t\u00e9 invit\u00e9s \u00e0 fournir un diagnostic final. Ils devaient ensuite citer jusqu’\u00e0 trois \u00e9tapes suppl\u00e9mentaires qu’ils adopteraient dans leur processus de diagnostic.<\/p>\n
Tout comme le diagnostic du cas publi\u00e9, les diagnostics des cinq autres cas de l’\u00e9tude n’ont pas \u00e9t\u00e9 faciles \u00e0 \u00e9tablir. Mais ils n’\u00e9taient pas non plus rares au point d’\u00eatre presque inconcevables. Pourtant, les m\u00e9decins ont en moyenne fait moins bien que le chatbot.<\/p>\n
Les chercheurs se sont demand\u00e9s ce qui se passait. La r\u00e9ponse semble d\u00e9pendre de la mani\u00e8re dont les m\u00e9decins \u00e9tablissent un diagnostic et dont ils utilisent un outil comme l’intelligence artificielle.<\/p>\n
Le m\u00e9decin dans la machine<\/strong><\/p>\nComment les m\u00e9decins diagnostiquent-ils les patients ?<\/p>\n
Selon le Dr Andrew Lea, historien de la m\u00e9decine au Brigham and Women’s Hospital, qui n’a pas particip\u00e9 \u00e0 l’\u00e9tude, le probl\u00e8me est que \u00ab nous ne savons pas vraiment comment les m\u00e9decins pensent \u00bb.<\/p>\n
Lorsqu’ils d\u00e9crivent comment ils sont parvenus \u00e0 un diagnostic, les m\u00e9decins disent \u00ab intuition \u00bb ou \u00ab sur la base de mon exp\u00e9rience \u00bb, explique le Dr Lea.<\/p>\n
Ce type d’impr\u00e9cision a pos\u00e9 un d\u00e9fi aux chercheurs pendant des d\u00e9cennies, alors qu’ils essayaient de cr\u00e9er des programmes informatiques capables de penser comme un m\u00e9decin.<\/p>\n
Cette qu\u00eate a commenc\u00e9 il y a pr\u00e8s de 70 ans. \u00ab Depuis qu’il existe des ordinateurs, des gens essaient de les utiliser pour \u00e9tablir des diagnostics \u00bb, explique le Dr Lea.<\/p>\n
L’une des tentatives les plus ambitieuses a d\u00e9but\u00e9 dans les ann\u00e9es 1970 \u00e0 l’universit\u00e9 de Pittsburgh. Des informaticiens y ont recrut\u00e9 le Dr Jack Myers, pr\u00e9sident du d\u00e9partement de m\u00e9decine interne de l’\u00e9cole de m\u00e9decine, connu pour \u00eatre un ma\u00eetre du diagnostic. Il avait une m\u00e9moire photographique et passait 20 heures par semaine \u00e0 la biblioth\u00e8que m\u00e9dicale, essayant d’apprendre tout ce qui \u00e9tait connu en m\u00e9decine.<\/p>\n
Le Dr Myers recevait les d\u00e9tails m\u00e9dicaux des cas et expliquait son raisonnement lorsqu’il r\u00e9fl\u00e9chissait aux diagnostics. Les informaticiens ont converti ses cha\u00eenes logiques en code. Le programme qui en a r\u00e9sult\u00e9, appel\u00e9 INTERNIST-1, comprenait plus de 500 maladies et environ 3 500 sympt\u00f4mes de maladies.<\/p>\n
Pour le tester, les chercheurs lui ont soumis des cas tir\u00e9s du New England Journal of Medicine. \u00ab L’ordinateur s’est tr\u00e8s bien d\u00e9brouill\u00e9 \u00bb, a d\u00e9clar\u00e9 le Dr Rodman. Ses performances \u00ab \u00e9taient probablement meilleures que celles d’un \u00eatre humain \u00bb, a-t-il ajout\u00e9.<\/p>\n
Mais INTERNIST-1 n’a jamais d\u00e9coll\u00e9. Il \u00e9tait difficile \u00e0 utiliser et il fallait plus d’une heure pour lui fournir les informations n\u00e9cessaires \u00e0 l’\u00e9tablissement d’un diagnostic. De plus, ses cr\u00e9ateurs ont not\u00e9 que \u00ab la forme actuelle du programme n’est pas suffisamment fiable pour des applications cliniques \u00bb.<\/p>\n
La recherche s’est poursuivie. Au milieu des ann\u00e9es 1990, une demi-douzaine de programmes informatiques tentaient d’\u00e9tablir des diagnostics m\u00e9dicaux. Aucun ne s’est g\u00e9n\u00e9ralis\u00e9. \u00ab Il ne s’agit pas seulement d’\u00eatre convivial, il faut aussi que les m\u00e9decins lui fassent confiance \u00bb, explique le Dr Rodman.<\/p>\n
Face \u00e0 l’incertitude qui entoure le mode de pens\u00e9e des m\u00e9decins, les experts ont commenc\u00e9 \u00e0 se demander s’ils devaient s’en pr\u00e9occuper. Dans quelle mesure est-il important d’essayer de concevoir des programmes informatiques capables de poser des diagnostics de la m\u00eame mani\u00e8re que les humains ? \u00ab On s’est demand\u00e9 dans quelle mesure un programme informatique devait imiter le raisonnement humain \u00bb, a d\u00e9clar\u00e9 le Dr Lea. \u00ab Pourquoi ne pas jouer sur la force de l’ordinateur ?\u00a0\u00bb<\/p>\n
L’ordinateur peut ne pas \u00eatre en mesure d’expliquer clairement son processus de d\u00e9cision, mais est-ce important s’il parvient \u00e0 poser le bon diagnostic ?<\/p>\n
La perspective a chang\u00e9 avec l’av\u00e8nement de grands mod\u00e8les de langage comme ChatGPT. Ils ne tentent pas explicitement de reproduire la pens\u00e9e d’un m\u00e9decin ; leurs capacit\u00e9s de diagnostic proviennent de leur aptitude \u00e0 pr\u00e9dire les mots.<\/p>\n
\u00ab L’interface de chat est l’application qui tue \u00bb, a d\u00e9clar\u00e9 le Dr Jonathan H. Chen, m\u00e9decin et informaticien \u00e0 Stanford, l’un des auteurs de la nouvelle \u00e9tude. \u00ab Nous pouvons introduire tout un dossier dans l’ordinateur \u00bb, a-t-il ajout\u00e9. \u00ab Il y a quelques ann\u00e9es encore, les ordinateurs ne comprenaient pas le langage.<\/p>\n
Mais de nombreux m\u00e9decins n’exploitent peut-\u00eatre pas ce potentiel.<\/p>\n
Erreur de manipulation<\/strong><\/p>\nApr\u00e8s avoir \u00e9t\u00e9 initialement choqu\u00e9 par les r\u00e9sultats de la nouvelle \u00e9tude, le Dr Rodman a d\u00e9cid\u00e9 de creuser un peu plus les donn\u00e9es et d’examiner les journaux des messages \u00e9chang\u00e9s entre les m\u00e9decins et ChatGPT. Les m\u00e9decins ont d\u00fb voir les diagnostics et le raisonnement du chatbot, alors pourquoi les utilisateurs du chatbot n’ont-ils pas obtenu de meilleurs r\u00e9sultats ?<\/p>\n
Il s’av\u00e8re que les m\u00e9decins n’ont souvent pas \u00e9t\u00e9 convaincus par le chatbot lorsqu’il indiquait quelque chose qui n’allait pas dans le sens de leur diagnostic. Au contraire, ils avaient tendance \u00e0 s’accrocher \u00e0 leur propre id\u00e9e du bon diagnostic. \u00ab Ils n’\u00e9coutaient pas l’I.A. lorsque celle-ci leur disait des choses avec lesquelles ils n’\u00e9taient pas d’accord \u00bb, a d\u00e9clar\u00e9 le Dr Rodman.<\/p>\n
C’est logique, a d\u00e9clar\u00e9 Laura Zwaan, qui \u00e9tudie le raisonnement clinique et les erreurs de diagnostic \u00e0 l’Erasmus Medical Center de Rotterdam et qui n’a pas particip\u00e9 \u00e0 l’\u00e9tude. \u00ab Les gens sont g\u00e9n\u00e9ralement trop s\u00fbrs d’eux lorsqu’ils pensent qu’ils ont raison \u00bb, a-t-elle d\u00e9clar\u00e9.<\/p>\n
Mais il y avait un autre probl\u00e8me : De nombreux m\u00e9decins ne savaient pas comment utiliser un chatbot de mani\u00e8re optimale.<\/p>\n
Le Dr Chen a d\u00e9clar\u00e9 avoir remarqu\u00e9 que lorsqu’il jetait un coup d’\u0153il dans les journaux de discussion des m\u00e9decins, \u00ab ils l’utilisaient comme un moteur de recherche pour des questions dirig\u00e9es \u00bb : La cirrhose est-elle un facteur de risque de cancer ? Quels sont les diagnostics possibles pour une douleur oculaire ? \u00ab Seule une fraction des m\u00e9decins a r\u00e9alis\u00e9 qu’ils pouvaient litt\u00e9ralement copier-coller l’historique complet du cas dans le chatbot et lui demander de donner une r\u00e9ponse compl\u00e8te \u00e0 l’ensemble de la question \u00bb, a ajout\u00e9 le Dr Chen. \u00ab Seule une fraction des m\u00e9decins a effectivement vu les r\u00e9ponses \u00e9tonnamment intelligentes et compl\u00e8tes que le chatbot \u00e9tait capable de produire.<\/p>\n
Gina Kolata s’int\u00e9resse aux maladies et aux traitements, \u00e0 la mani\u00e8re dont les traitements sont d\u00e9couverts et test\u00e9s, et \u00e0 leur impact sur les personnes. En savoir plus sur Gina Kolata<\/a><\/em><\/p>\nTraduit par DeepL (+PJ)<\/p><\/blockquote>\n
![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-11-20-12.17.39-A-cinematic-and-dramatic-depiction-of-a-modern-operating-room.-The-scene-is-dimly-lit-with-a-spotlight-on-the-patient-on-the-operating-table-surround.webp\")
<\/p>\n
Illustration par DALL\u00b7E<\/em><\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"![\"\"](\"https:\/\/www.pauljorion.com\/blog\/wp-content\/uploads\/DALL\u00b7E-2024-11-20-12.16.49-A-cinematic-and-dramatic-depiction-of-a-modern-operating-room.-The-scene-is-dimly-lit-with-a-spotlight-on-the-patient-on-the-operating-table-surround.webp\")
<\/p>\n
\nIllustration par DALL\u00b7E<\/em><\/p>\n<\/blockquote>\nThe New York Times – Les chatbots de l’IA battent les m\u00e9decins dans le diagnostic m\u00e9dical<\/b><\/a>, le 17 novembre 2024<\/p>\n\nUne petite \u00e9tude montre que ChatGPT surpasse les m\u00e9decins humains lorsqu’il \u00e9value des cas m\u00e9dicaux, m\u00eame lorsque ces m\u00e9decins utilisent […]<\/em><\/p>\n<\/blockquote>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9204,13,3608],"tags":[9084,9180,9205,9867,9253,7669],"class_list":["post-142249","post","type-post","status-publish","format-standard","hentry","category-grands-modeles-de-langage","category-intelligence-artificielle","category-medecine-2","tag-chatgpt","tag-diagnostic-medical","tag-grands-modeles-de-langage","tag-internist","tag-llm","tag-openai"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142249","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=142249"}],"version-history":[{"count":4,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142249\/revisions"}],"predecessor-version":[{"id":142255,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/142249\/revisions\/142255"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=142249"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=142249"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=142249"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}