America Economie Geekeries Non classé Physique

Lecture: j’entend Silver, le renard et le hérisson

Inutile de présenter ici Nate Silver, l’homme qui a prédit les résultats de l’élection présidentielle US à l’aide des résultats publics des sondages et d’un tableur Excel.

En parallèle de son travail sur FiveThirtyEight, Silver a publié cette année un livre au titre très explicite: « The signal and the noise, why so many predictions fait but some don’t ». Il faut dire que Silver est une pythie récidiviste: si les élections présidentielles US lui ont permis d’être connu du grand public (geek?), Silver n’a fait qu’appliquer des méthodes statistiques simples qu’il avait auparavant développées sur des sujets bien moins sérieux tels que le base-ball ou le poker. En bon scientifique, il nous explique sans son livre à la fois sa méthode générale, et les domaines où il pense qu’elle s’applique naturellement.

En réalité, le livre pourrait être quasiment un traité de philosophie de vie ou de travail, reposant sur cinq piliers:

  • faire de bonnes prédictions vous amènera au succès
  • il faut constamment essayer de penser probabiliste pour faire vos prédictions
  • il faut apprendre à distinguer le « signal » du « bruit » dans le flot d’information (corollaire de la pensée probabiliste)
  • à chaque nouvelle information, il faut mettre à jour les probabilités de prédictions
  • le raisonnement bayésien est la meilleure méthode pour mettre à jour vos probabilités

Pierre angulaire de ses modèles, le raisonnement bayésien typique est introduit de façon toute vaudevilesque: imaginez que vous rentriez chez vous un soir, et que vous découvriez un caleçon qui ne vous appartient pas. Quelle est alors la probabilité que votre conjoint(e) vous trompe ?

La clé est que si vous pensez probabiliste, vous avez déjà une estimation a priori de la probabilité d’être trompé. Sur la base des faits, vous la mettez à jour. Dans l’exemple ci-dessous, imaginez que vous estimez a priori la probabilité d’être trompé à $latex p_t=5\%$ (avant de découvrir le caleçon). Imaginez que vous estimez à $latex p_{tr|t}=50\%$ la probabilité que votre conjoint(e) laisse traîner un caleçon étranger s’il vous trompe, et à $latex p_{tr|nt}=1\%$ la probabilité que votre conjoint laisse traîner un caleçon inconnu sans vous tromper (peut-être est-ce un caleçon du propriétaire précédent de l’appartement, ou peut-être votre conjoint(e) aime porter des caleçons secrets dans son intimité). Alors, c’est un exercice élémentaire d’estimer la probabilité que votre conjoint vous trompe sachant que vous avez trouvé le caleçon: ici $latex \frac{p_t p_{tr|t}}{p_t p_{tr|t}+(1-p_t)p_{tr|nt}}=72 \%$.
Le plus intéressant dans cette formule est de faire varier les préjugés pour comprendre ce qui ce passe. Imaginez que vous estimez a priori que votre conjoint est vraiment quelqu’un de très fidèle, avec seulement 0.1% de chance de vous tromper. Alors, la probabilité d’être trompé après avoir trouvé un caleçon est mise à jour à moins de 5 %. Ce qui se passe est qu’il y a, statistiquement, une espèce de « compétition » entre les deux événements a priori très improbables que votre conjoint vous trompe et que vous trouviez un caleçon inconnu. Même petite, comme la probabilité de trouver un caleçon inconnu est néanmoins a priori beaucoup plus élevée que la probabilité que celle que votre conjoint vous trompe, il y a 95% de chance dans ce cas que ce caleçon ne provienne pas d’un(e) amant(e) de passage. C’est le même effet que le fameux problème des tests positifs à des maladies très rares (très bien décrit dans ce billet des éconoclastes): si une maladie est très rare, il est plus probable qu’un test se trompe en étant positif qu’il ne révèle que vous ayez cette maladie. Au passage, Silver fait une analogie intéressante avec la recherche scientifique: à supposer qu’il est difficile de trouver des résultats nouveaux, quand les publications scientifiques se multiplient comme actuellement, le raisonnement bayésien nous dit immédiatement que la plupart des publications ne sont pas de vraies innovations …

En revanche, Silver insiste bien sur le fait qu’il faut constamment mettre à jour ses probabilités. Dans le vaudeville précédent, on a vu qu’on passe de 0.1% à 5% avec un caleçon trouvé. Deux caleçon trouvés, et donc on monte donc immédiatement à 70%. Avec une probabilité de tromperie a priori à 70%, un caleçon trouvé vous donne la quasi certitude à 99% d’être trompé. On le voit, l’accumulation modérée d’information permet immédiatement d’avoir beaucoup plus de certitudes par simple inférence bayésienne, ce qui confère une robustesse certaine à l’approche (et lui a permis de prédire l’élection d’Obama à 90 %).

Pourtant, paradoxalement, Silver n’insiste pas tant dans son livre sur cette convergence bayésienne que sur la nécessaire vision probabiliste des choses, et la façon de construire des bonnes probabilités a priori en utilisant de bons modèles.

Il détaille deux modes de pensée inspirés d’un essai de Isaiah Berlin, « le renard et le hérisson ». Le hérisson est un peu l’anti-bayésien: il est hyper spécialisé, a des grilles de lectures très étroites (en gros une idée forte), veut absolument faire coller la réalité à ces préconceptions et ne remet jamais en question ses probabilités « a priori ». L’archétype en est l’analyste politique, qui, durant la campagne présidentielle US, est resté scotché à un 50-50 entre Obama et Romney. Le renard est bayésien: il essaie d’avoir une pensée probabiliste, mise à jour en fonction de la multitude d’ informations reçues, confronte ses modèles à la réalité, sans a priori.

Silver se penche ensuite sur des domaines très variés décrivant tantôt les erreurs des hérissons (finance, politique), tantôt les succès des renards (poker, météo), tantôt les domaines où il est parfois difficile de faire des prédictions précises fautes de données ou d’informations fiables (tremblement de terre, terrorisme). Sur chaque sujet, on apprend énormément. Par exemple, sur le poker en ligne, Silver explique qu’ en utilisant son raisonnement bayésien (« quelle stratégie adopter sachant les cartes sur la table et les miennes ? »), il a pu gagner pas mal d’argent, car la plupart des joueurs n’ont justement pas une approche suffisamment bayésienne. Il a pu également identifier dans la pyramide des gains à quel moment, statistiquement, il n’arriverait plus à gagner d’argent lorsque la plupart des joueurs sont devenus un tout petit peu meilleurs. Le chapitre sur les échecs est tout aussi passionant, illustrant notamment comment Kasparov a perdu contre Deep Blue car il n’avait pas prévu la possibilité d’un … bug dans son code !

J’ai lu avec particulièrement d’attention les chapitres sur la physique (météo et climat) et l’économie. Silver a été critiqué dans ce billet de Michael Mann (célèbre climatologue) pour avoir passé trop de temps à détailler les prédictions d’un scientifique marginal qu’il utilise comme homme de paille: même si le choix éditorial était contestable, je ne trouve personnellement pas ce chapitre spécialement choquant (ni spécialement intéressant malheureusement). Le chapitre sur la météo est passionant: Silver décrit très bien comment accumulation de données, modèles physiques et raisonnement bayésien ont amené à une amélioration considérable des prédictions, si bien qu’aujourd’hui, quand le National Weather Service américain prédit une probabilité de précipitation de X %, statistiquement, il pleut effectivement X % des fois. De façon intéressante, Silver raconte que les chaînes météo « gonflent » les proba de précipitation pour mieux coller à la psychologie des télespectateurs: rien de pire qu’un pique-nique gâché par une pluie qui n’avait que 10% de chances de tomber. Le seul bémol est qu’il ne discute pas tellement les progrès numériques sur la question: l’amélioration d’un facteur 3 des prédictions sur 25 ans a probablement beaucoup à voir avec le gain de puissance informatique extraordinaire durant ces mêmes 25 ans.

Le livre est un must-read. Il est intéressant, et en plus assez amusant (notamment le passage à la sulfateuse des éditorialistes politiques). Ma seule critique personnelle est que je discerne un biais épistémique d’économiste dans les propos de Silver (mais peut-être est-ce mon propre biais épistémique de physicien). Silver me fait parfois l’effet d’être un hérisson bayésien. Il ne fait par exemple pas de distinctions fortes entre des domaines où les prédictions sont de nature très différentes. Par exemple, les échecs ou le poker sont des domaines où les règles sont fixées une fois pour toutes, et où les prédictions sont faites sur la base « d’énumération » de toutes les configurations possibles (ou de projections de ces configurations). La physique a un ensemble de règles fixées, mais il y a une stochastisticté intrinsèque (soit chaotique, soit purement probabiliste). Le marché, lui, est un être totalement dynamique, où les règles sont en quelque sorte changées par leurs propes acteurs. Silver me semble sous-estimer l’importance des caractéristiques universelles qui découlent de ces différents modèles (en physique on dirait « classe d’universalité ») et qui permettent d’améliorer les prédictions.

Par exemple, sur les marchés, il explique très bien les effets de meute en trading, jouant l’effet de feedback positifs très fort. Mais dans ce cas, on s’attend à avoir des systèmes multistables, avec des effets d’hystérèse (les économistes parleraient peut-être de dépendance au sentier): en particulier, cela veut dire que des optima locaux peuvent être stables, et donc que le marché peut échouer à trouver les optimum globaux. Pire, on peut avoir des dynamiques analogues à celle des verres en physique. Silver, bien qu’il cite la théorie des systèmes complexes, ignore complètement ce genre d’effets et semble en fait rester bloqué sur l’idée qu’il n’y aurait qu’un unique optimum (un peu platonicien) sur le marché autour duquel fluctuent les prix (ce qui me semble impossible en vertu même des effets qu’il invoque). En fait, c’est une critique générale qui revient souvent sur Silver: il ne va pas complètement au bout des principes qu’il énonce, et il se pourrait même qu’il soit en réalité plus fréquentiste que bayésien

About the author

tom.roud

5 Comments

  • Merci pour cette revue.
    Je ne savais pas pour l’histoire du chapitre sur le climat, je le lirai pour me faire une idee.
    Sinon je l’avais vu au Daily Show et il m’avait bien fait rigole, en plus.

  • Intéressant. Cependant dans l’histoire des caleçons, je ne vois pas pourquoi le deuxième caleçon devrait avoir le même poids que le premier dans l’estimation : il se peut très bien que les deux aient une explication commune qui soit la plus probable, et que de ce fait un deuxième caleçon n’apporte aucune information supplémentaire (il faudrait pondérer tous les scénarios où c’est le cas, si tant est qu’on puisse les énumérer). Du coup un autre événement suspect mais indépendant aurait été plus intéressant pour l’exemple.

    C’est d’ailleurs ce qui me gène un peu avec les raisonnements bayésiens : j’ai l’impression qu’ils dépendent toujours de manière cruciale de la façon dont on modélise le monde, d’où découle certains a priori (sur l’indépendance des événements entre eux, voire sur la façon dont on découpe le monde en « événements ») et que cette dépendance est parfois un peu minorée.

  • Au fait, t’oublieras pas de me rendre mon caleçon…
    C’est sympa tes expérience de proba mais je me les gèle moi, maintenant.

Leave a Comment