Comparer deux échantillons est une situation qui se présente chaque fois que l'on mettre en évidence si deux traitements sont différents ou si un traitement est meilleur qu'un autre. Dans tous les cas, le groupe qui a subi le traitement est comparé à celui qui n'en a pas subi, ou qui a subi un traitement différent.
Deux situations se présentent d'emblée :
Dans la première situation, nous aurons des échantillons appariés ou non indépendants. Dans le second cas, il s'agira d'échantillons indépendants.
Ce cas se présente chaque fois que l'on compare k méthodes de mesures (ou k séries de mesures différées dans le temps) en soumettant les mêmes individus à ces k méthodes. A chacune des méthodes correspond alors une population de mesures, mais ces populations et les échantillons que l'on peut en extraire ne sont pas indépendants. Il est aussi possible de soumettre les mêmes sujets à k traitements différents. Chaque sujet est alors utilisé comme son propre contrôle.
Il va de soi que dans ce cas de figure, les effectifs de chaque échantillon seront identiques étant donné que nous récolterons des k-uples de valeurs.
Il n'est pas toujours possible d'utiliser des échantillons appariés. En effet, la nature de la variable étudiée peut exclure l'utilisation des sujets comme leur propre contrôle. Il faut alors utiliser la méthode des échantillons indépendants. Les deux échantillons à comparer peuvent être obtenus par deux méthodes :
Dans le cas des échantillons indépendants, il n'est pas nécessaire que les deux échantillons aient la même taille étant donné que nous pouvons faire passer la même épreuve à k groupes distincts de taille différentes.
Quel est le nombre k d'échantillons ?
Dans le cas particulier où l'on cherche à comparer des résultats à une valeur de référence, le cas de l'indépendance ne se pose pas étant donné que nous n'avons qu'un seul échantillon. Nous appliquerons dans ce cas un test de conformité.
Quoi qu'il en soit, selon ces différentes caractéristiques, on utilisera des tests appropriés à 1, 2 ou k échantillons, indépendants ou appariés.