Bij een eenvoudige independent samples t-test of een one way ANOVA test wordt er vanuit gegaan dat:
- de observaties normaal verdeelt zijn in elke groep apart
- de varianties van de observaties in de groepen gelijk is (i.e. homoskedasticiteit)
(- dat alle observaties onafhankelijk zijn van elkaar, iets wat ge meestal aanneemt als waar zijnde)
Bij non-parametrische testen (zoals permutatie tests, wilcoxon-mann-whitney test, ...) ga je hier niet van die eerste 2 assumpties uit. Het is echter geen goed idee om altijd non-parametrische testen te gebruiken ook al zijn ze altijd toepasbaar voor elke onderliggende distributie (bvb. een lognormale distributie). Indien de assumpties onderliggende de ANOVA test voldaan zijn, dan bezit deze een hogere 'power' dan de non-parametrische testen. ('power' zijnde de kans dat een alternatieve hypothesis aanvaard wordt, conditioneel op het feit dat deze alternatieve hypothese ook echt waar is)