Je peux affirmer que « les légumes font grossir » (suffit de regarder une vache pour s'en convaincre) et prendre quelques personnes que je gave de carottes pendant une semaine. Après, je peux les peser et constater qu'ils ont pris quelques grammes. Sur base de ces observations, je peux toujours affirmer que les carottes font prendre du poids. Ceci dit, je pourrais me tromper vu que je n'avais que quelques personnes sous la main et que le hasard a peut-être trop bien fait les choses. Dès lors, que vaut la probabilité que je me trompe ? L'intérêt d'un test d'hypothèse est de pouvoir estimer cette probabilité et donc, dans mon cas, de quantifier l'erreur que je commets en affirmant que les légumes font grossir.
Autrement dit, le terme « significatif » est à comprendre dans le contexte suivant : l'intérêt d'un test d'hypothèse n'est pas d'affirmer que notre hypothèse est fondée mais de donner une idée de l'erreur que l'on commet en l'affirmant.
C'est la première étape de la procédure. L'hypothèse nulle H0 est une hypothèse de non différence (exemple : il n'y a pas de différence significative entre les échantillons A et B). Elle est en général formulée de façon à être rejetée. Dans le cas de son rejet, l'hypothèse alternative (H1 : il y a une différence significative entre les échantillons A et B) doit être acceptée. Un test d'hypothèse constitue donc une sorte de démonstration par l'absurde en probabilité.
Dans le cas du test ci-dessus (et comme dans beaucoup d'autres), on commence par définir l'hypothèse nulle H0 : les légumes ne font pas grossir, la différence constatée est due aux « fluctuations d'échantillonnage ». Nous allons chercher à rejeter cette hypothèse au profit de l'hypothèse alternative H1 (les légumes font grossir = ce qu'on veut prouver). Le test est validé si l'hypothèse nulle H0 est rejetée.
Une fois le test validé, en avançant que les légumes font grossir, vous avez rejeté l'hypothèse initiale H0 de l'identité des résultats (= si l'on observe une différence entre les poids de mes cobayes avant et après, c'est la faute à pas de chance ou aux « fluctuations d'échantillonnage »). Vous pouvez accepter l'hypothèse alternative H1.
Cela dit, il se peut que, comme expliqué précédemment, le hasard ait trop bien fait les choses et que, en réalité, les légumes ne font pas grossir. A ce titre, insistons sur le fait que l'intérêt d'un test d'hypothèse réside dans la possibilité de calculer (plus précisément « borner ») la probabilité que je me trompe en affirmant qu'ils font grossir. Cette probabilité α s'appelle l'erreur de première espèce.
En outre, si le test n'est pas validé, vous ne pouvez pas rejeter l'hypothèse H0 et vous devez donc accepter celle-ci en commettant une erreur de seconde espèce β, qui est celle commise en acceptant l'hypothèse H0 alors qu'elle est fausse. Le souci de cette erreur est qu'elle n'est en général pas quantifiable mais consiste en une discussion. Vous perdez donc le contrôle de l'erreur et par la même occasion l'intérêt du test statistique.
D'un point de vue un poil plus rigoureux, pour tester notre hypothèse de recherche, nous la formulons en hypothèse alternative H1. Cette dernière pose que la moyenne du poids de la population avant (temps 1) et après (temps 2) est différente : μ1 ≠ μ2, alors que pour H0 la moyenne du poids aux temps 1 et 2 est la même : μ1 = μ2. Si les données nous permettent de rejeter H0, alors H1 peut être acceptée, et cela supportera l'idée de la validité de l'hypothèse de recherche (et de sa théorie sous-jacente, s'il y en a une).
La nature de l'hypothèse de recherche détermine comment H1 doit être formulée :
- Si elle pose que deux ensembles de résultats différeront simplement par leur moyenne, alors H1 est telle que μ1 ≠ μ2. Les tests statistiques seront bilatéraux.
- Au contraire, si la théorie prédit la direction de la différence, c'est-à-dire qu'un des ensembles de résultats spécifiés aura une moyenne supérieure à celle de l'autre ensemble, alors H1 est telle que soit μ1 > μ2, soit μ1 < μ2. Les tests applicables seront alors unilatéraux.
| (I) { | H0 : μ1 = μ2 | (II) { | H0 : μ1 ≥ μ2 | (III) { | H0 : μ1 ≤ μ2 |
| H1 : μ1 ≠ μ2 | H1 : μ1 < μ2 | H1 : μ1 > μ2 | |||
| bilatéral | unilatéral gauche | unilatéral droit |
Les tables statistiques (et maintenant les logiciels statistiques) fournissent les valeurs statistiques dans le cas unilatéral et bilatéral. Pour tous les tests, on définit donc une hypothèse nulle H0 et une hypothèse alternative H1.
Les logiciels calculent une probabilité particulière appellée p-valeur. Cette p-valeur est naïvement vue comme la probabilité que l'hypothèse nulle soit vraie (ou à la probabilité de se tromper en rejetant l'hypothèse nulle). Nous verrons un peu plus loin que ça n'est pas tout à fait exact.
Cela dit, si par exemple p-valeur > 0,05, il ne vaut mieux pas rejeter l'hypothèse nulle car il y aurait une probabilité supérieure à 5% que notre jugement soit faux. On dit alors qu'on a une différence non significative entre les deux échantillons.