À travers deux problèmes, un pile ou face et un envol d’oiseaux, nous revisitons la vaste et encore jeune théorie des tests d’hypothèses de la statistique… et de la encore plus jeune théorie des tests multiples.

Une pièce truquée ?

Alya et Ethan décident chaque matin au pile ou face, qui sera chargé de vaisselle, toujours en utilisant une même pièce de monnaie : face c’est pour Alya, pile c’est pour Ethan. Au cours de la semaine, Alya a dû faire cinq fois la vaisselle, Ethan deux fois seulement. Alya commence à se poser sérieusement des questions… Est-ce bien si équitable ? La pièce est-elle vraiment équilibrée ? A-t-elle exactement une chance sur deux de tomber sur pile et une chance sur deux de tomber sur face ?

La question qu’elle se pose, elle va chercher à y répondre à l’aide d’un test d’hypothèses. La théorie des tests d’hypothèses [1] couvre un pan entier de la théorie de la statistique. Si les concepts de base de la théorie de la statistique ont été introduits par Laplace en 1812 [2] puis par Gauss. Ces questions ont pris de l’ampleur avec les travaux de Karl Pearson à la fin du 19ème siècle, puis au 20ème siècle où Fisher et Neyman ont exploré la partie de la statistique liée à l’estimation et aux tests d’hypothèses.

Revenons au problème d’Alya. Alya veut savoir si elle a de bonnes raisons de changer de pièce de monnaie. Les hypothèses qui l’intéressent seront d’une part l’hypothèse nulle, celle qui semble la plus plausible, ici : La pièce a autant de chance de tomber sur pile que sur face, et d’autre part l’hypothèse alternative, celle qu’elle cherche à démontrer, ici : La pièce a plus de chance de tomber sur face que sur pile.

Pour prendre sa décision concernant l’urgence de devoir changer de pièce de monnaie, Alya va réaliser une expérience. Elle va lancer 100 fois la pièce et compter le nombre de fois où la pièce est tombée sur face, une variable aléatoire, notée X. Un théorème central limite, dont des versions remontent aux années 1810’, et dont les versions les plus modernes datent des années 1920’ [3], indique que lorsque l’hypothèse nulle est valide, alors, la variable X proprement normalisée, à savoir 20(X/100 – 0,5), se comportera selon une loi normale standard, voir la figure suivante.

Loi normale standard

En particulier, avec probabilité 0,05, X dépassera la valeur 100(0,5 + 1,64/20), soit 58,2, ou de façon équivalente, la version normalisée de X tombera dans la zone grisée, délimitée à gauche par la valeur de x égale à 1,64, et dont l’aire vaut 0,05. Au contraire, on s’attend à ce que X dépasse plus souvent 58,2 lorsque l’hypothèse alternative est vraie.

Lorsqu’elle a réalisé l’expérience, Alya a compté exactement 68 fois face. C’est supérieur à la limite fixée à 58,2. Ainsi, elle en est maintenant convaincue (avec 95 % de certitude),… Ethan lui a ramené une pièce truquée en sa faveur, à lui !

Une façon strictement équivalente de prendre une décision est de calculer une p-valeur, ici, la probabilité qu’une pièce équilibrée mène à plus de 68 piles parmi les 100 lancés. Ici la p-valeur est inférieure à 5 % car l’hypothèse nulle a été rejetée par le résultat de l’expérience d’Alya...

Passer d’une à 7 pièces...

Alya et Ethan auraient pu décider de choisir une pièce différente pour chaque jour de la semaine. Dans ce cas, chercher à savoir quelles sont les pièces truquées parmi ces 7 pièces, simultanément, tout en gardant un niveau de certitude de 95 %, nécessite d’adapter le seuil de 58,2. Il est possible de procéder à cette adaptation en utilisant des techniques de correction, dues à Bonferroni ou encore à Benjamini et à Hochberg. Les travaux de Benjamini, Yekutieli, Heller et Hochberg, sur les tests multiples et en particulier sur le taux de fausses découvertes (False Discovery Rate) et les méthodes pour le contrôler, ont été récompensée en 2024 par le Rousseeuw Prize for Statistics.

Tenir compte du fait que plusieurs tests sont effectués simultanément et adapter le seuil de rejet est primordial pour éviter de publier de fausses découvertes,... comme par exemple, le fait que les célèbres dragées à la gelée de sucre verts provoquent de l’acné, alors qu’on aura effectué une vingtaine de tests pour chacune des couleurs possibles de ces fameuses dragées. Voir la bande dessinée humoristique [4] (lien).

Peut-on dire que les pinsons nantais s’envolent dans une direction totalement aléatoire ?

Considérons maintenant une question tout à fait différente, à savoir : Les pinsons nantais s’envolent-ils dans une direction complètement aléatoire ? Pour répondre à cette question, imaginons l’expérience suivante. Nous laissons s’envoler successivement une trentaine de pinsons, et nous notons les directions prises par ces pinsons, par des points sur la sphère. 

L’hypothèse nulle est : Les directions ont été générés de façon indépendante et uniforme sur la sphère, c’est-à-dire, de façon totalement aléatoire, sans direction privilégiée. L’hypothèse alternative est : Les directions n’ont pas été générées de façon indépendante et uniforme sur la sphère.

De nombreuses configurations mènent à l’hypothèse alternative. Par exemple, la présence d’un pot de pop-corn à proximité du lieu d’envol des oiseaux mènerait à des points localisés dans une direction proche de celle du pot de pop-corn. Ces points seraient plus étalés sur la sphère si le pot de pop-corn était plus éloigné. La loi de Fisher von Mises permet de modéliser ce type de phénomène. On pourrait encore imaginer la présence de plusieurs pots de pop-corn. Ou encore imaginer rompre l’indépendance en laissant les oiseaux prendre leur envol simultanément, menant à une répulsion entre les directions prises par les oiseaux.

Si visuellement, aucun des nuages de points représentés ci-dessus ne ressemble à l’échantillon uniforme initial, nous souhaiterions prendre une décision de façon automatique, telle une IA. L’avantage serait aussi de détecter des directions privilégiées imperceptibles à l’œil nu...

Une façon de prendre une décision est d’utiliser la moyenne (le barycentre) des positions des points. Sous l’hypothèse nulle, on s’attend à ce que cette moyenne soit très proche du centre de la sphère. C’est ce que fait le test de Rayleigh. Ce test est optimal contre des alternatives qui sont des échantillons issus de loi de Fisher von Mises. Pour fixer notre niveau de certitude à 95 % par exemple, il faudra se comparer non plus à la loi normale comme pour un pile ou face, mais à une loi du Chi2.

Si cette méthode est optimale lorsque l’alternative est la situation avec un unique pot de pop-corn, cette méthode se révèle complètement aveugle à certaines autres alternatives, telles que la présence de plusieurs pots de pop-corn organisés de façon symétrique, ou encore pour un envol simultané d’oiseaux. De nombreux autres tests existent alors, à commencer par le test de Bingham. Un inventaire est disponible dans [5]. En particulier, dans les travaux récents [6], des tests ont été développés pour le cas spécifique d’alternatives associées à l’envol simultané de plusieurs oiseaux. Dans [7], les performances des tests classiques de Rayleigh et Bingham sont étudiées pour ce type d’alternatives. Enfin, dans [8], il est question d’estimer la position du pot de pop-corn lorsque celui-ci est tellement loin qu’on a du mal à distinguer cette direction privilégiée.

Remerciements :

Claire Brécheteau remercie les fonds Pulsar avec la Région Pays de Loire et Centrale Nantes pour lui avoir permis de faire avancer ces travaux liés aux tests d’uniformité sur la sphère.

[1] Lehmann, Romano, Testing Statistical Hypotheses, 2005

[2] Laplace, Théorie Analytique des Probabilités, 1812

[3] Fischer, A History of the Central Limit Theorem, From Classical to Modern Probability Theory, 2011

[4] Randall Munroe, xkcd, Significant, https://xkcd.com/882/

[5] Garcia-Portugués, Verdebout, An overview of uniformity tests on the hypersphere, 2018

[6] Brécheteau, Two distance-based families of statistical tests of uniformity for probability measures on homogeneous compact Polish spaces, preprint

[7] Brécheteau, Paindaveine, Verdebout, On the detection of hierarchical signals on hyperspheres, soumis

[8] Brécheteau, Verdebout, Two-sample location problems for directions : testing and preliminary test estimation under weak identifiability, soumis