Un test paramétrique requiert un modèle à fortes contraintes (normalité des distributions, égalité des variances) pour lequel les mesures doivent avoir été réalisées dans une échelle quantitative. Ces hypothèses sont d'autant plus difficiles à vérifier que les effectifs étudiés sont plus réduits.
Un test non paramétrique est un test dont le modèle ne précise pas les conditions que doivent remplir les paramètres de la population dont a été extrait l'échantillon. Cependant certaines conditions d'application doivent être vérifiées, comme le caractère aléatoire des échantillons.
Leur emploi se justifie lorsque les conditions d'applications des autres méthodes ne sont pas satisfaites, même après d'éventuelles transformation de variables.
Les probabilités des résultats de la plupart des tests non paramétriques sont des probabilités exactes quelle que soit la forme de la distribution de la population dont est tiré l'échantillon.
Pour des échantillons de taille très faible jusqu'à n = 6, la seule possibilité est l'utilisation d'un test non paramétrique, sauf si la nature exacte de la distribution de la population est précisément connue. Ceci permet une diminution du coût ou du temps nécessaire à la collecte des informations.
Il existe des tests non paramétriques permettant de traiter des échantillons composés à partir d'observations provenant de populations différentes. De telles données ne peuvent être traitées par les tests paramétriques sans faire des hypothèses irréalistes.
Seuls des tests non paramétriques existent qui permettent le traitement de données qualitatives : soit exprimées en rangs ou en plus ou moins (échelle ordinale), soit nominales.
Les tests non paramétriques sont plus facile à apprendre et à appliquer que les tests paramétriques. Leur relative simplicité résulte souvent du remplacement des valeurs observées soit par des variables alternatives, indiquant l'appartenance à l'une ou à l'autre classe d'observation, soit par les rangs, c'est-à-dire les numéros d'ordre des valeurs observées rangées par ordre croissant. C'est ainsi que la médiane est généralement préférée à la moyenne, comme paramètre de position.
Les tests paramétriques, quand leurs conditions sont remplies, sont les plus puissants que les tests non paramétriques.
Un second inconvénient réside dans la difficulté a trouver la description des tests et de leurs tables de valeurs significatives, surtout en langue française. Heureusement, les niveaux de significativité sont donnés directement par les logiciels statistiques courants.
Remarquons que l'interprétation d'un test non-paramétrique est à nuancer par rapport à un test paramétrique. Par exemple, les tests basés sur les rangs (comme le test de Wilcoxon) comparent des médianes et non des moyennes. Il convient de prendre ce fait en compte lors de l'interprétation des résultats.
En outre (d'expérience pour des échantillons de taille raisonnable de taille ≥ 10), si la condition de normalité est vérifiée, les échantillons présentent une distribution normale. Dès lors, la médiane est égale à la moyenne et les résultats (càd la pval) fournis par un test basé sur les rangs (ex : Wilcoxon) sont, selon toute attente, identiques à ceux fournie par un test paramétrique (ex : Student).