Marge d'erreur socialiste

Un cas d’école intéressant : le décompte final des voix socialistes donne 42 voix d’avance à Martine Aubry sur environ 140 000 suffrages exprimés. Faut-il revoter ?

Vous avez probablement entendu dire que la marge d’erreur d’un sondage est d’environ 3%. Ce chiffre donne une indication sur la pertinence du sondage : si un sondage donne par exemple Martine Aubry à 52%, cela veut dire qu’il y a 95% de chances que le score réel d’adhésion à Martine Aubry dans la population soit entre 49% et 55 %. Mais évidemment, le score réel de Martine Aubry n’a pas autant de chances d’être 49% que 52% dans un tel sondage : la figure ci-contre illustre la probabilité d’un sondage de donner un pourcentage X sachant que la population est réellement à 52%, et l’on voit bien qu’il y a un gros pic de probabilité à 52 %.

D’où vient maintenant ce chiffre de 3% ? Quel que soit le mode de recueil des données, il se produit des erreurs. Le sondé peut dire par exemple « Royal » à la place d' »Aubry » sans y penser, le sondeur peut noter « Aubry » à la place de « Royal », etc… Toutes ces erreurs créent de la variabilité dans les sondages, et un sondage sur une même population ne donnera pas forcément le même résultat à quelques heures d’intervalles. C’est pour cela que les courbes très stables des uns et des autres dans les sondages lors de la dernière présidentielle étaient assez suspectes. On peut démontrer, à l’aide de la loi des grands nombres, que cet intervalle de 95% est de plus ou moins l’inverse de la racine carrée de N, où N est le nombre de personnes sondées. Pour N=1000, nombre typique de sondés lors d’un sondage, calculez l’inverse de la racine carrée de N et vous tomberez sur le chiffre magique de 3%.

Maintenant, sondons une population de 140 000 personnes. Prenons l’inverse de la racine carrée du nombre de personnes pour calculer la marge d’erreur : on tombe sur environ 0.3%, ce qui correspond à environ 400 voix d’écart. La marge d’erreur n’est que divisée par 10 lorsque la population est multipliée par 100 (normal, on prend une racine carrée). Le vote des socialistes donne un écart de seulement 42 voix d’écart, soit dix fois moins que la marge d’erreur. Si le vote socialiste était un sondage, le sondeur donnerait égalité parfaite à 50-50.

Vous me direz qu’un vote est un vote, et un sondage un sondage. Ce qui compte vraiment est le vote lui-même. Sauf que lors d’un vote, des petites erreurs statistiques peuvent aussi s’accumuler : un bulletin peut-être compté comme invalide alors qu’il est en fait valide, lors d’un dépouillement, on peut se tromper et dire « Royal » à la place d' »Aubry », la machine à voter peut avoir un bug, l’assesseur qui va recopier les résultats finaux et transmettre à la direction du parti peut mal écrire un chiffre … Au final, il reste toujours une petite marge d’erreur, aussi infime soit-elle. Lorsque l’écart final est dix fois moindre que la marge d’erreur statistique, il me semble que le seul choix raisonnable est de ne pas donner de vainqueur, de déclarer que le résultat est du 50-50 et de réfléchir à comment se sortir de cette mouise …


Ajout 24 Novembre :

J’ai lu ici et là quelques réactions à ce billet. Que les choses soient claires : je ne « démontre » absolument pas qu’il faut revoter. Je constate simplement que l’écart ici est dix fois inférieur à la marge d’erreur statistique, qui donne une borne supérieure de la variabilité du vote si on le refaisait plusieurs fois par exemple (ce serait une expérience intéressante à faire d’ailleurs, rien que pour ça, j’aimerais bien que le PS revote !). Mais dans le cas d’un vote, l’erreur est « matérielle »; c’est l’erreur faite dans le dépouillement, le recopiage et la centralisation des résultats. Cette erreur est normalement beaucoup plus petite que la marge d’erreur statistique, mais est-elle moins de dix fois plus petite ? Je compare les deux peut-être à tort car elles sont a priori de nature très différentes, mais la comparaison avec la marge d’erreur statistique permet au moins d’avoir un point de repère Le cas actuel du PS montre que cette erreur matérielle est loin d’être négligeable quand le résultat est si serré vu qu’on ajoute 10 voix par ci, retire 10 voix par là. Tout cela est contestable en soi, mais cela m’interpelle sur le principe du vainqueur à 50% + une voix.

Étiquettes :

Catégories : Non classé

7 réflexions au sujet de « Marge d'erreur socialiste »

  1. Bonjour et bravo pour ce blog très intéressant.
    Y a un truc qui ne me convient pas dans ce discours. Un sondage se réfère à un vote à venir, et tente, sur la base d’un échantillon « le plus représentatif possible » (les guillemets s’imposent) mais fatalement plus petit que l’échantillon des votants, de prédire le résultat du jour J. La variabilité tient au fait qu’un autre échantillon aurait donné des résultats semblables à l’inverse de la racine du nombre d’échantillons près, c’est tout. Là, les 3 %, on sait d’où ça sort.
    Je crois qu’une variabilité de 3% sur un même échantillon c’est un peu tiré par les cheveux, vu que l’échantillon est fortement auto-corrélé (12 heures après un premier sondage, 99% d’une maison de retraite sont toujours opposés à la venue de « megadeth » à la fête du village).

    Pour le jour du vote, il faut peut-être évaluer, dans un premier temps, la probabilité qu’un électeur se plante (probabilité peut-être élevée dans l’Hérault ou en Seine maritime). Et cette probabilité n’est pas liée à la loi des grands nombres. Il manque donc, au moins, un facteur dans votre marge d’erreur. On s’en rend bien compte quand vous mettez au même niveau des sources d’erreurs très différentes (« je louche, j’ai coché Aubry alors que je voulais voter Royal » et « l’assesseur ne marche plus après 2h du matin »). Mettons que l’assesseur, dévoué mais de plus en plus sous pression, ait un instant de déconcentration tous les mille bulletins, et coche au hasard « Martine » ou « Ségolène », indépendamment du bulletin qu’il a sous les yeux. Au vu du résultat final, il a une chance sur deux de se planter, mais l’erreur commise ne va pas diffuser sur les 999 bulletins qu’il arrive a lire.
    Je n’arrive donc pas à comprendre cette limite statistique que vous proposez pour juger la validité du vote.
    Après recomptage, 42 n’est pas une si mauvaise réponse. Pour la question, par contre…

  2. @ touriste : il y a bien une différence entre un sondage et un vote, bien sûr, et je n’ai jamais dit le contraire. Mais mon point est que même sur un vote, même si on fait deux fois le même scrutin, il y aura des différences. Parce qu’il n’y a pas qu’un seul assesseur, mais beaucoup plus, et les erreurs peuvent s’accumuler, parce que sur 140 000 électeurs, il y en a peut-être 0.1 % qui ont voté le contraire de ce qu’ils pensaient, ce qui ferait ici 140 électeurs, soit trois fois plus que la différence. 1% de différence, ça fait ici 1400 électeurs, 30 fois la différence ! Si l’écart entre les résultats était de 10 000 voix, ces erreurs seraient complètement négligeables, mais quand on a 42 voix d’écart sur 140 000 …

    Même sans refaire le vote, si on fait un recompte des voix, je suis sûr qu’on trouve une différence. Pour une raison simple : le résultat proclamé du vote est une mesure physique du nombre de bulletins des votants pour l’une ou pour l’autre, et comme toute mesure physique, elle a une marge d’erreur, ici d’origine humaine … Bien sûr on essaie de la réduire au maximum, mais il y a toujours une marge d’erreur, et proclamer une victoire à 42 voix près, sans recompter, sans s’assurer que le scrutin s’est partout parfaitement déroulé, cela revient à choisir son premier secrétaire à pile ou face. C’est une procédure comme une autre, mais ce n’est pas de la démocratie à proprement parler. Mon opinion en tant que citoyen est que la seule solution viable est la co-direction dans ce cas puisqu’on a clairement du 50-50.

  3. Illustration de ce que je dis plus haut : voilà ce que je lis sur le Figaro

    18h42: 12 voix dans la balance. L’écart va-t-il passer de 42 voix à 18 ? La fédération PS de Moselle annonce en tout cas avoir envoyé un correctif au siège du PS à Paris, pour rectifier une «erreur manifeste de la permanente» de la section de Talange. Alors que celle-ci aurait compté 18 voix à Martine Aubry et 6 à Ségolène Royal, la vérité serait en fait l’inverse. Il mentionne aussi «les 81,25 % des suffrages, soit environ 20 voix» recueillis par Mme Royal en Nouvelle-Calédonie, «dont les résultats n’ont pas été pris en compte dans le calcul national».

    Même sans revoter, on voit bien que le « vrai » résultat est fluctuant. Il est parfaitement possible que Royal repasse devant à ce petit jeu. Cela n’a bien sûr aucun sens : qui va décider quand on va arrêter de vérifier ? En 2000, Gore avait fini par jeter l’éponge dans ses vérifications après un mois au nom de l’intérêt supérieur de la nation. Aux membres du parti de savoir si l’intérêt supérieur du parti socialiste est de mettre en tête l’une ou l’autre, ou de choisir une troisième voie qui acte la division du parti en deux parties exactement égales.

  4. Très bonne réflexion. Je me posais aussi ce genre de questions hier. Le scrutin du PS permet de repenser cette bonne vieille règle de « la majorité plus une voix ». Ce principe, qui semble au fondement de la démocratie, est-il un principe juste au vu de l’avancée de la connaissance statistique ? Faut-il prendre en compte une marge d’erreur dans un vote ? Quelles règles adopter pour fonder la légitimité d’un vainqueur en cas d’égalité « statistique » (un écart existant, mais étant inférieur à la marge d’erreur définie) ?

    – Faut-il prendre en compte la marge d’erreur pour un vote ?
    L’argument principal qui fonde la règle actuelle est qu’un vote, ce n’est pas un sondage. Un vote est quelque chose de concret, qui a ses règles et peut donc être en théorie défini comme quelque chose de sûr, sans erreurs. Or, tout montre dans le vote socialiste que ce n’est là que théorie… Dès que la victoire est très serrée, si l’on veut chercher des erreurs, on en trouvera. Il n’y a que lorsque la victoire est plus nette que cette recherche apparaît inutile, sauf suspicion de tricherie. Pourquoi ? Parce que le perdant sait alors que la marge d’erreur ne suffirait pas à gagner. Je pense qu’on trouvera toujours des erreurs involontaires dans n’importe quelle élection un tant soit peu importante. Les partisans d’Aubry ont raison de dire que si l’on cherche les erreurs, il y en aura dans les deux sens. Or, ce n’est un argument ni pour l’une, ni pour l’autre. Dans les faits, il semble bien que la valeur du « +1 voix » ne soit vraiment que théorique. Lorsque l’écart est inférieur à la marge d’erreur, la différence officielle n’a aucune valeur réelle et on peut légitimement proclamer l’égalité parfaite.

    – Quelles solution en cas de 50/50 statistique ?
    Revoter, dit Ségolène Royal. C’est la règle actuellement adoptée par la jurisprudence qui accorde souvent l’annulation des élections quand le perdant maintient sa contestation. En effet, en général, le perdant abandonne avant, comme Al Gore qui a finalement jeté l’éponge, sans doute pour éviter aux USA de sombrer dans la division. Sans doute aussi avait-t-il pensé que, de toute façon, le manque de légitimité forte obligerait son adversaire à pratiquer une politique d’union nationale. L’Histoire a montré qu’il n’en a rien été. Le risque est toujours que le gagnant revendique la pleine possession de sa victoire. Or, aucune légitimité ne sort du « 50% plus 1 ». L’abandon est donc une mauvaise solution. Le revote quelque part l’est aussi, puisque c’est une stratégie d’épuisement de l’électeur. Les partisans de Martine Aubry peuvent à juste titre dire « on va voter jusqu’à ce que Ségolène soit élue ??? ». Si la démocratie assumait enfin l’idée qu’un vote a une marge d’erreur, elle se devrait donc de définir les règles « subsidiaires » pour départager les vainqueurs. Actuellement (les municipales l’ont montré pour une commune) c’est le plus vieux. Superbe exemple de démocratie dans cette commune, où la liste la plus vieille s’est retrouvé avec 75% des sièges au conseil municipal. Cette sélection sur l’âge (qui actuellement existe à tous les niveaux : exemple dans la fonction publique pour départager les ex-equo aux dernières places des concours de recrutements ou dans les mouvements de mutations) me semble tout simplement abjecte. Il faudrait donc inventer de nouvelles règles fondées sur ce qui fonde réellement la légitimité. Trois pistes de réflexion :
    * au nombre de victoires qualifiées (c’est à dire supérieure à la marge d’erreur) dans la subdivision administrative de niveau 1 (la région, la fédération pour le PS), puis en cas d’égalité de niveau 2, etc. En fractionnant sur un nombre plus petit, on rend le 50% +1 supérieur à la marge d’erreur, donc valide. Cela donnerait dans le cas actuel (si j’ai bien compté et si on estime le tableau du PS complet, ce qu’il n’est pas) une majorité de 2 fédérations à Martine Aubry.
    * au gagnant du premier tour, selon la logique « au premier tour, on choisit ; au deuxième, on élimine ». Selon cette logique, dans une égalité au second tour, le gagnant du 1er tour a une légitimité supérieure à son adversaire, puisque c’est sur lui que s’est porté le choix premier d’un maximum d’électeurs. Je pense que c’est au nom de cette légitimité que la défaite de Ségolène Royal apparaît injuste pour ses partisans, puisqu’ils sont plus nombreux que les « vrais » partisans de Martine Aubry.
    * au PS « tradi », selon la rhétorique du vieux parti, on pourrait imaginer la logique absolument inverse, selon laquelle c’est le candidat le plus « rassembleur » qui doit l’emporter et celui qui arrive à passer de 2e à premier ex-aequo est donc celui qui a réussi à faire le mieux la synthèse, ce qui lui confère une légitimité supplémentaire.

    Toutes ces options ont leurs arguments pour ou contre, la seule nécessité serait que les règles soient fixées à l’avance, pour ne souffrir d’aucune contestation (on peut contester les résultats, pas les règles).

    – Quelle marge d’erreur ?
    Reste la question du chiffre de la marge d’erreur. 3% pour un vote, c’est énorme. Peut-on arriver à un calcul réellement mathématique de la marge d’erreur d’un vote, sans risquer de tomber dans le déni de démocratie ? Il faudrait se baser sur une marge d’erreur ressentie, c’est-à-dire la limite où le perdant n’aura pas la tentation de contester sa défaire. Une différence de 0,1 % me semble une sérieuse hypothèse de travail (mais très arbitraire).

    En conclusion, il me semble que ce scénario catastrophe du PS devrait faire réfléchir. Si un tel vote se produisait au niveau national, ce ne serait pas l’implosion d’un parti qui serait en jeu, mais une guerre civile…

  5. Merci pour l’info sur le vote municipal, je ne connaissais pas la règle de l’ancienneté, c’est effectivement un peu bizarre…

    3% pour un vote, c’est énorme.

    Justement, la marge d’erreur statistique pour un vote n’est pas de 3%. Dans le cas du PS, elle est de 0.3%. Pour une présidentielle où il y a en gros 100 fois plus de votants, elle serait de 0.03% .

  6. cette discussion ets passionnante,
    mais pour pouvoir appliquer la loi normale aux erreurs sur le dépouillement,
    il faudrait q’on aie une approche « loi des grands nombres » avec beaucoup de petites variables indépendantes…je n’en suis pas du tout certain: les erreurs ne sont pas si nombreuses semble t il (je ne parle pas des cas de farude/manipulation, et « par lots » de vote donc pas indépendantes…
    la seule maniére d’estimer ce taux d’erreur, à mon sens, serait de faire tout redépouiller, à partir du bulletin de vote, par d’autres personnes: possible, intéressant sur le plan universitaire, pas si cher, mais délicat politiquement (et je ne suis pas certain que les bulletins sont conservés…);
    un nouveau vote serait moins significatif car les votants seraient différents (et d’ailleurs revoter le 1er tour, le second, celui du 6 nov sur les motionsd?)
    car un vote c’est un sondage avec un bon taux d’échantillonge sur la population des inscrits…

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *