HCO6a, hypotheses testen & P-waardes
Dogma, de procedure van het opstellen van een nul en alternatieve hypothese is niet door 1 iemand
bedacht, maar is een samenkomst van de visie van 2 mannen: Fisher en Pearson. Zij hadden hele
andere gedachtes over de manier waarop statistiek geïnterpreteerd moet worden en deze zijn
samengekomen in het huidige dogma (H0, HA, α=0.05, P, ‘significantie’…). Beide zouden het echter
niet eens zijn met deze methode van vandaag en er zijn dan ook wat aanmerkingen op deze
methode.
α=0.05, in de biologie wordt 0.05 standaard als drempel genomen voor significantie. Het zou echter
beter zijn als je kijkt naar de consequentie van een type I of type II fout en op basis daarvan je
drempelwaarde voor significantie berekent. Met de waarde van 0.05 ga je ervanuit dat het ‘oke’ is
om in 1 van 20 keer een false-positive (type I fout) te krijgen, maar moet je ook geen rekeningen
houden met de false negatives (type II fout)? Het is erg afhankelijk van de consequentie van het
maken van een type I of type II fout wat voor drempelwaarde je moet kiezen.
Verwerpen, je kan je ook afvragen waarom wetenschappers überhaupt een binaire keuze moeten
maken, verwerpen of aannemen van de nulhypothese. Waarom kan je niet gewoon een P-waarde
geven daarmee bijvoorbeeld concluderen ‘dat er een indicatie is dat de gemiddelde waardes van een
variabelen verschillen tussen twee groepen (P=0.04).’ Het zou misschien beter zijn om te zeggen dat
er veel/weinig/sterk/zwak bewijs is tegen/voor een hypothese en dat je dat dan kwantificeert met
een P-waarde.
Publication bias, als gevolg van het feit dat we hypotheses alleen maar verwerpen of aannemen,
komen enkel onderzoeken, waarbij significante resultaten gevonden zijn, voor in wetenschappelijke
tijdschriften. Als je enkel significante resultaten publiceert, komt er een afwijking in de gepubliceerde
materialen. Als je bijvoorbeeld 5 onderzoeken hebt die ongeveer hetzelfde fenomeen bestuderen en
maar 1 op die 5 een significant resultaat heeft, zal enkel dit resultaat gepubliceerd worden en
misschien is het wel een false-positive. Dit is de reden dat je in medisch onderzoek van te voren je
onderzoek al moet registreren en dus moet publiceren, ook al komt er geen significant resultaat uit.
Je publicatie zal dan niet in een groot tijdschrift verschijnen, maar meta-analyses kunnen je
resultaten wel meenemen. Meta-analyses vergelijken alle onderzoeken op een bepaald gebied en
voegen dit samen.
Logica hypothese toetsen, rechts zie je de logica van hypothese toetsen
weergegeven. (A) als de nulhypothese waar is, is een bepaald resultaat
zeer onwaarschijnlijk. (B) als dat resultaat dan toch voorkomt, (C) is H0
waarschijnlijk niet waar. Deze logica kan je nu toepassen op het
voorbeeld dat als 2e is gegeven in de afbeelding (→). Je merkt meteen
dat de logica voor het toetsen van een hypothese dus niet volledig is. Je
hebt nu namelijk volgens de logica gesteld dat iemand uit de 2e kamer
geen Nederlander is, maar er zitten alleen maar Nederlanders in de 2e
kamer dus dat klopt niet. Dit is dus onzin, maar wel dezelfde logica. Het
probleem is dat een bepaalde gebeurtenis onwaarschijnlijk is als H0 waar
is, maar er wordt niks gezegd over de kans op de gebeurtenis als H0 niet waar is. Als iemand geen
Nederlander is, is de kans bijvoorbeeld nog onwaarschijnlijk dat die in de 2e kamer zit (Pr=0).
P-waarde, is de kans van het vinden van een bepaalde toetsingsgrootheid die
tenminste zo extreem is als degene die je gevonden hebt in je
steekproef/experiment, maar dit is met de veronderstelling dat H0 waar is. Als
je toetsingsgrootheid dan veel groter is dan je zou verwachten met toeval, kan
je de nulhypothese verwerpen. P-waarde is dus de kans op een bepaalde
waarde onder H0.
Grote P-waarde, 16:00
Slide 14
Dogma, de procedure van het opstellen van een nul en alternatieve hypothese is niet door 1 iemand
bedacht, maar is een samenkomst van de visie van 2 mannen: Fisher en Pearson. Zij hadden hele
andere gedachtes over de manier waarop statistiek geïnterpreteerd moet worden en deze zijn
samengekomen in het huidige dogma (H0, HA, α=0.05, P, ‘significantie’…). Beide zouden het echter
niet eens zijn met deze methode van vandaag en er zijn dan ook wat aanmerkingen op deze
methode.
α=0.05, in de biologie wordt 0.05 standaard als drempel genomen voor significantie. Het zou echter
beter zijn als je kijkt naar de consequentie van een type I of type II fout en op basis daarvan je
drempelwaarde voor significantie berekent. Met de waarde van 0.05 ga je ervanuit dat het ‘oke’ is
om in 1 van 20 keer een false-positive (type I fout) te krijgen, maar moet je ook geen rekeningen
houden met de false negatives (type II fout)? Het is erg afhankelijk van de consequentie van het
maken van een type I of type II fout wat voor drempelwaarde je moet kiezen.
Verwerpen, je kan je ook afvragen waarom wetenschappers überhaupt een binaire keuze moeten
maken, verwerpen of aannemen van de nulhypothese. Waarom kan je niet gewoon een P-waarde
geven daarmee bijvoorbeeld concluderen ‘dat er een indicatie is dat de gemiddelde waardes van een
variabelen verschillen tussen twee groepen (P=0.04).’ Het zou misschien beter zijn om te zeggen dat
er veel/weinig/sterk/zwak bewijs is tegen/voor een hypothese en dat je dat dan kwantificeert met
een P-waarde.
Publication bias, als gevolg van het feit dat we hypotheses alleen maar verwerpen of aannemen,
komen enkel onderzoeken, waarbij significante resultaten gevonden zijn, voor in wetenschappelijke
tijdschriften. Als je enkel significante resultaten publiceert, komt er een afwijking in de gepubliceerde
materialen. Als je bijvoorbeeld 5 onderzoeken hebt die ongeveer hetzelfde fenomeen bestuderen en
maar 1 op die 5 een significant resultaat heeft, zal enkel dit resultaat gepubliceerd worden en
misschien is het wel een false-positive. Dit is de reden dat je in medisch onderzoek van te voren je
onderzoek al moet registreren en dus moet publiceren, ook al komt er geen significant resultaat uit.
Je publicatie zal dan niet in een groot tijdschrift verschijnen, maar meta-analyses kunnen je
resultaten wel meenemen. Meta-analyses vergelijken alle onderzoeken op een bepaald gebied en
voegen dit samen.
Logica hypothese toetsen, rechts zie je de logica van hypothese toetsen
weergegeven. (A) als de nulhypothese waar is, is een bepaald resultaat
zeer onwaarschijnlijk. (B) als dat resultaat dan toch voorkomt, (C) is H0
waarschijnlijk niet waar. Deze logica kan je nu toepassen op het
voorbeeld dat als 2e is gegeven in de afbeelding (→). Je merkt meteen
dat de logica voor het toetsen van een hypothese dus niet volledig is. Je
hebt nu namelijk volgens de logica gesteld dat iemand uit de 2e kamer
geen Nederlander is, maar er zitten alleen maar Nederlanders in de 2e
kamer dus dat klopt niet. Dit is dus onzin, maar wel dezelfde logica. Het
probleem is dat een bepaalde gebeurtenis onwaarschijnlijk is als H0 waar
is, maar er wordt niks gezegd over de kans op de gebeurtenis als H0 niet waar is. Als iemand geen
Nederlander is, is de kans bijvoorbeeld nog onwaarschijnlijk dat die in de 2e kamer zit (Pr=0).
P-waarde, is de kans van het vinden van een bepaalde toetsingsgrootheid die
tenminste zo extreem is als degene die je gevonden hebt in je
steekproef/experiment, maar dit is met de veronderstelling dat H0 waar is. Als
je toetsingsgrootheid dan veel groter is dan je zou verwachten met toeval, kan
je de nulhypothese verwerpen. P-waarde is dus de kans op een bepaalde
waarde onder H0.
Grote P-waarde, 16:00
Slide 14
