{"id":94667,"date":"2017-04-23T09:56:30","date_gmt":"2017-04-23T07:56:30","guid":{"rendered":"http:\/\/www.pauljorion.com\/blog\/?p=94667"},"modified":"2017-04-23T09:56:30","modified_gmt":"2017-04-23T07:56:30","slug":"quelques-mises-au-point-sur-les-sondages-par-serge-boucher","status":"publish","type":"post","link":"https:\/\/www.pauljorion.com\/blog\/2017\/04\/23\/quelques-mises-au-point-sur-les-sondages-par-serge-boucher\/","title":{"rendered":"Quelques mises au point sur les sondages, par Serge Boucher"},"content":{"rendered":"

Nous sommes un dimanche d’automne. Depuis des mois, l’actualit\u00e9 est d\u00e9chir\u00e9e par une peur commune : un tremblement de terre pourrait se produire mardi prochain. Les sismologues s’inqui\u00e8tent. Un des plus exp\u00e9riment\u00e9s d’entre eux estime qu’il y aurait plus d’une chance sur trois que le tremblement de terre se produise. L’\u00e9crasante majorit\u00e9 des commentateurs et de la population n’y croit pas. Tous ces gens nous ennuient avec leurs calculs soi-disant scientifiques, tout le monde sait bien qu’il n’y aura pas de tremblement de terre.<\/span><\/p>\n

<\/p>\n

Puis le tremblement de terre se produit. Aussi bien les commentateurs que leur audience en tirent la m\u00eame conclusion : les sismologues ont \u00e9t\u00e9 infoutus de pr\u00e9dire ce tremblement de terre, (un tiers c’est moins qu’un demi), ils n’y connaissent d\u00e9cid\u00e9ment rien, et il est d\u00e9sormais inutile de leur demander leur avis sur quoi que ce soit.<\/span><\/p>\n

\u00c0 peu de choses pr\u00e8s, ceci est l’histoire de la derni\u00e8re \u00e9lection pr\u00e9sidentielle am\u00e9ricaine. Durant les semaines pr\u00e9c\u00e9dant le scrutin, la moyenne des sondages a presque toujours donn\u00e9 Hillary Clinton en t\u00eate au niveau national, mais avec une marge trop faible pour lui assurer la pr\u00e9sidence. La victoire de Trump a choqu\u00e9 tout le monde, sauf ceux qui suivaient attentivement les sondages et les analyses qu’en faisaient les experts du domaine, en particulier FiveThirtyEight<\/a>\u00a0et The Upshot<\/a>. Il est assez \u00e9trange, pour qui a suivi ces analyses, et \u00e9tait donc \u00e0 la veille de l’\u00e9lection bien conscient que Trump pouvait tout \u00e0 fait gagner, que les sondages, qui donnaient une image beaucoup plus juste de l’\u00e9tat de l’opinion publique que les m\u00e9dias, en sont sortis totalement d\u00e9cr\u00e9dibilis\u00e9s.<\/span><\/p>\n

On peut n\u00e9anmoins se demander pourquoi les sondages ne sont pas tout simplement \u00ab\u00a0justes\u00a0\u00bb. Apr\u00e8s tout, en interrogeant un grand nombre de personnes, on devrait obtenir une estimation tr\u00e8s pr\u00e9cise des pr\u00e9f\u00e9rences de la population enti\u00e8re. Aussi \u00e9tonnant que cela puisse para\u00eetre, ce n’est pas du tout le cas.<\/span><\/p>\n

Premi\u00e8rement, les gens mentent. Ils mentent au sondeur, un peu, mais surtout ils se mentent \u00e0 eux-m\u00eames : une proportion non-n\u00e9gligeable de ceux qui se disent s\u00fbrs d’aller voter ne le font finalement pas. Beaucoup de ceux qui se disent et se croient certains de leur choix changent d’avis avant l’\u00e9lection. Si un sondeur ne tient pas compte de cela, ses estimations seront syst\u00e9matiquement fausses. S’il travaille pour un institut de sondage qui se livre \u00e0 cet exercice depuis de nombreuses ann\u00e9es, il peut comparer les sondages men\u00e9s lors d’\u00e9lections pr\u00e9c\u00e9dentes avec les r\u00e9sultats r\u00e9els de ces \u00e9lections, et en d\u00e9duire des suppositions raisonnables sur les proportions de sond\u00e9s qui sont plus ou moins certains ou plus ou moins motiv\u00e9s qu’ils ne le disent, et ajuster ses estimations sur cette base. Cet ajustement est \u00e9videmment loin d’\u00eatre parfait, mais empiriquement cela donne de bien meilleurs r\u00e9sultats que de ne pas ajuster du tout.<\/span><\/p>\n

Ensuite, aucun \u00e9chantillon, m\u00eame de milliers ou de dizaines de milliers d’individus, n’est repr\u00e9sentatif de la population dans son ensemble. M\u00eame en choisissant les individus enti\u00e8rement au hasard, ce qui est en soi beaucoup plus difficile qu’il n’y parait, vous obtiendrez toujours un \u00e9chantillon o\u00f9 il y a plus de gens \u00ab\u00a0de gauche\u00a0\u00bb que dans la population, ou plus de gens \u00ab\u00a0de droite\u00a0\u00bb, ou plus de riches, ou plus de pauvres, ou plus de gens qui vivent en ville, ou plus de gens qui vivent en Bretagne, ou plus d’universitaires, ou plus d’ouvriers, ou plus d’entrepreneurs, et tout un tas d’autres \u00ab erreurs d’\u00e9chantillonage \u00bb qui font que les intentions de vote que vous mesurez dans votre sondage sont n\u00e9cessairement diff\u00e9rentes de celles de l’\u00e9lectorat national.<\/span><\/p>\n

C’est l\u00e0 qu’intervient la \u00ab m\u00e9thode des quota \u00bb, toujours mentionn\u00e9e lors de la publication des sondages, sans qu’on prenne jamais le temps d’expliquer en quoi celle-ci consiste. L’id\u00e9e de base est de segmenter la population, et les sond\u00e9s, en groupes distincts, selon un crit\u00e8re connu pour \u00eatre corr\u00e9l\u00e9 aux intentions de vote, par exemple, l’\u00e2ge. Supposons que vous avez, par hasard, dans votre \u00e9chantillon, beaucoup plus d’\u00e9lecteurs \u00e2g\u00e9s de moins de 25 ans qu’il y en a dans l’\u00e9lectorat \u2013 proportion connue assez pr\u00e9cis\u00e9ment via les recensements r\u00e9guliers et les estimations d\u00e9mographiques entre ceux-ci. Au lieu de supposer que n% de l’\u00e9lectorat va voter X\u00a0parce que n% des sond\u00e9s disent vouloir voter X, ce qui est certainement faux, vous supposez que p% de l’\u00e9lectorat de moins de 25 ans va voter X\u00a0parce que p% des sond\u00e9s de moins de 25 ans disent vouloir voter X. Ce qui, toutes autre choses restant \u00e9gales, est fort probablement moins faux. En r\u00e9p\u00e9tant l’exercice pour toutes les tranches d’\u00e2ge, vous obtenez une estimation des intentions de vote pour chaque tranche d’\u00e2ge, et donc via la taille de chaque tranche d’\u00e2ge dans l’\u00e9lectorat, une estimation du vote X\u00a0dans l’\u00e9lectorat fort probablement plus proche de la r\u00e9alit\u00e9 que le n% de d\u00e9part.<\/span><\/p>\n

Ceci ressemble fort \u00e0 un mic-mac math\u00e9matique qui permet aux sondeurs d’obtenir pratiquement n’importe quel r\u00e9sultat en choisissant une fa\u00e7on particuli\u00e8re de segmenter leur \u00e9chantillon. (J’ai pris l’\u00e2ge pour l’exemple, mais on pourrait faire le m\u00eame exercice par revenu, niveau d’\u00e9tude, r\u00e9gion, taille de la commune de r\u00e9sidence, ou que sais-je encore, et cela se fait.) C’est exactement \u00e7a\u00a0: The Upshot<\/a>, mentionn\u00e9 plus haut, a demand\u00e9 en septembre\u00a0\u00e0 cinq sondeurs exp\u00e9riment\u00e9s d’analyser le m\u00eame \u00e9chantillon et d’en d\u00e9duire les intentions de vote en faveur de Clinton et Trump. Leurs estimations variaient entre 4% en faveur de Clinton et 1% en faveur de Trump. Rappelons que l’\u00e9lection s’est finalement jou\u00e9e \u00e0 0,77% pr\u00e8s, la marge de Trump dans le Wisconsin. N\u00e9anmoins, on constate empiriquement (il \u00ab\u00a0suffit\u00a0\u00bb de comparer les donn\u00e9es de sondages historiques avec les r\u00e9sultats d’\u00e9lections pass\u00e9es) qu’on obtient de meilleures estimations en utilisant cette m\u00e9thode.<\/span><\/p>\n

On pourrait continuer longtemps comme \u00e7a, mais ceci suffit, je pense, \u00e0 montrer que faire un bon sondage est en fait tr\u00e8s difficile, et qu’il n’y a aucune raison de s’attendre \u00e0 ce que les tous derniers sondages, ou m\u00eame la moyenne des tous derniers sondages, donne une estimation pr\u00e9cise \u00e0 moins de 2 ou 3% dans le meilleur des cas. Pour la pr\u00e9sidentielle fran\u00e7aise, les sondeurs font face \u00e0 une situation in\u00e9dite, avec quatre candidats dans un mouchoir de poche, ce qui est tout le contraire du meilleur des cas.<\/span><\/p>\n

Les sondages qui sortent dans les deux ou trois derniers jours pr\u00e9c\u00e9dant une \u00e9lection sont particuli\u00e8rement suspects. On constate que les \u00e9carts d’estimation entre les diff\u00e9rents sondeurs diminuent presque toujours \u00e0 l’approche imm\u00e9diate de l’\u00e9lection, ce qui n’a aucune justification statistique. L’explication la plus probable est que les sondeurs, dans les choix qu’ils doivent n\u00e9cessairement faire pour analyser leurs r\u00e9sultats au mieux, font \u00e0 l’approche de l’\u00e9lection de plus en plus confiance au consensus du moment. La raison est purement psychologique : aucun n\u2019a envie de publier un sondage s’\u00e9cartant fortement de l’avis des \u00ab\u00a0experts\u00a0\u00bb politiques, au risque d’avoir l’air ridicule si les \u00ab\u00a0experts\u00a0\u00bb ont raison. Par contre, si tous les sondeurs se trompent de la m\u00eame fa\u00e7on, aucun ne ressort comme particuli\u00e8rement ridicule. On a constat\u00e9 ce ph\u00e9nom\u00e8ne de \u00ab\u00a0herding\u00a0\u00bb, ou \u00ab\u00a0suivisme\u00a0\u00bb, lors de la pr\u00e9sidentielle am\u00e9ricaine, quand les derniers sondages s’accordaient comme par magie sur une remont\u00e9e d’Hillary Clinton, conform\u00e9ment \u00e0 l’opinion g\u00e9n\u00e9rale des \u00ab\u00a0experts\u00a0\u00bb, mais a posteriori le contraire de ce qui \u00e9tait en train de se passer.\u00a0<\/span><\/p>\n

Plus g\u00e9n\u00e9ralement, les sondeurs n’ont aucun moyen de tenir compte des \u00e9lecteurs qui changent d’avis dans les derniers jours pr\u00e9c\u00e9dant une \u00e9lection. Interroger les gens et analyser leurs r\u00e9ponses prend au minimum deux ou trois jours, donc par d\u00e9finition les sondeurs n’ont aucun moyen de mesurer ce qui change durant ce temps-l\u00e0.<\/span><\/p>\n

Les sondages restent n\u00e9anmoins utiles. On peut affirmer sans prendre de risque que les quatre candidats les plus haut plac\u00e9s ont tous leur chance d’atteindre le second tour, contrairement aux sept autres. On peut aussi dire qu’il n’est pas du tout s\u00fbr que les deux premiers seront au second tour.\u00a0Il y a bien plus d’une chance sur deux pour que le second tour soit inattendu, et donc plus d’une chance sur deux, d’apr\u00e8s les sondages eux-m\u00eames, pour que tout le monde s’exclame dimanche soir ou lundi matin \u00ab\u00a0vous voyez, les sondages \u00e9taient faux.\u00a0\u00bb<\/span><\/p>\n

Et pourtant, ils ne sont probablement pas \u00ab\u00a0faux\u00a0\u00bb. Mais ce ne sont que des sondages.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

Nous sommes un dimanche d’automne. Depuis des mois, l’actualit\u00e9 est d\u00e9chir\u00e9e par une peur commune : un tremblement de terre pourrait se produire mardi prochain. Les sismologues s’inqui\u00e8tent. Un des plus exp\u00e9riment\u00e9s d’entre eux estime qu’il y aurait plus d’une chance sur trois que le tremblement de terre se produise. L’\u00e9crasante majorit\u00e9 des […]<\/span><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4454,17],"tags":[1234],"class_list":["post-94667","post","type-post","status-publish","format-standard","hentry","category-france","category-politique","tag-sondages"],"_links":{"self":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/94667","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/comments?post=94667"}],"version-history":[{"count":1,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/94667\/revisions"}],"predecessor-version":[{"id":94677,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/posts\/94667\/revisions\/94677"}],"wp:attachment":[{"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/media?parent=94667"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/categories?post=94667"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pauljorion.com\/blog\/wp-json\/wp\/v2\/tags?post=94667"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}