Lorsque nous définissons la nature de la population et le mode d'échantillonnage, nous établissons un modèle statistique (c'est à dire une formulation mathématique des hypothèses faites sur les observations). A chaque test statistique est associé un modèle et des contraintes de mesure. Ce test n'est alors valide que si les conditions imposées par le modèle et les contraintes de mesure sont respectées. Il est difficile de dire si les conditions d'un modèle sont remplies, et le plus souvent nous nous contentons d'admettre qu'elles le sont. Aussi devrions nous préciser, chaque fois : « Si le modèle utilisé et le mode de mesure sont corrects, alors... ».
Il est clair que moins les exigences imposées par le modèle sont nombreuses et restrictives, plus les conclusions que l'on tire sont générales.
De ce fait, les tests les plus puissants sont ceux qui ont les hypothèses les plus strictes. Si ces hypothèses sont valides, ces tests sont alors les mieux à même de rejeter H0 quand elle est fausse et de ne pas rejeter H0 quand elle est vraie.
Exemple : Le test de Student (test paramétrique) de comparaison des moyennes de deux échantillons indépendants est un des tests statistiques les plus puissants. Mais avant d'accepter les conclusions d'un tel test, nous devons vérifier que ses conditions d'utilisations sont remplies. Ces conditions sont les suivantes :
A part l'hypothèse d'homoscédasticité et de normalité, qui peuvent être testées, les autres hypothèses sont considérées comme vraies.
Quand les hypothèses constituant le modèle statistique d'un test ne sont pas remplies, il est alors difficile de dire quel est le pouvoir réel du test et d'estimer la signification de son résultat. Lors de la rédaction d'un TFE ou d'un mémoire de fin d'études, il est parfois opportun de tenir compte de ces remarques lors de la rédaction des conclusions.