✏️
E1 - NHST en Bayesiaanse statistiek
Introductie
Null Hypothesis Significance Testing
Toetskeuzes
Specificiteit van een hypothese
Waarde resultaten
Bayesiaanse hypothese evaluatie
Posterior model kansen
NHST en Bayes/BHE naast elkaar
Introductie
Experimenteel onderzoek - Onderzoek waarbij wordt onderzocht wat de invloed is van een door de onderzoeker
gemanipuleerde factor in een bepaalde situatie. In de meeste gevallen worden daarvoor twee gelijke groepen
samengesteld, waarbij de ene groep wordt onderworpen aan een experimentele factor en de andere (de
controlegroep) niet.
Null Hypothesis Significance Testing
Null Hypothesis Significance Testing (NHST) - Hypothesen toetsen volgens dit stappenplan:
1. Toetskeuze, hypothesen opstellen en
significantieniveau kiezen.
2. Assumpties controleren.
3. Toetsingsgrootheid en p-waarde bepalen.
4. Conclusie trekken over H0.
5. Inhoudelijke conclusies en effectgrootte bepalen.
Toetskeuzes
Meetniveau betrokken variabelen
Analyse Doel van analyse (indien van toepassing Nulhypothese(n)
(on)afhankelijk)
H0: p (rho)=0
Pearson Nagaan of er een lineaire relatie is tussen twee Twee variabelen, beiden interval Er is geen relatie
correlatie variabelen. of ratio. tussen variabelen 1
en 2.
E1 - NHST en Bayesiaanse statistiek 1
, Meetniveau betrokken variabelen
Analyse Doel van analyse (indien van toepassing Nulhypothese(n)
(on)afhankelijk)
H0: ps=0
Nagaan of er een relatie is tussen twee
Spearman Twee variabelen, minimaal Er is geen relatie
variabelen. Kan worden gebruikt wanneer het
correlatie ordinaal. tussen de
verband niet lineair is, maar wel monotoon.
variabelen 1 en 2.
H0: b (bèta)=0
De onafhankelijke
Voorspellen van een variabele (afhankelijk) 1 afhankelijke en minstens 1
Lineaire variabele is geen
a.d.h.v. een of meer andere variabelen onafhankelijke variabele op
regressie voorspeller van de
(onafhankelijk). minimaal interval.
afhankelijke
variabele.
H0: µ1=µ2
1 afhankelijke variabele op
Het gemiddelde
minimaal interval.
Onafhankelijke t- Nagaan of er een verschil is in gemiddeldes van groep 1 is
1 onafhankelijke variabele
toets tussen twee onafhankelijke groepen. gelijk aan het
dichotoom (nominaal of ordinaal
gemiddelde van
met twee groepen).
groep 2.
1 afhankelijke variabele op H0: µ1=µ2=µ3
Nagaan of er een verschil is in gemiddeldes minimaal interval. De gemiddelden
Eenweg ANOVA
tussen twee of meer groepen. 1 onafhankelijke variabele op van de groepen
nominaal of ordinaal. zijn gelijk.
Tweeweg ANOVA zie hoorcollege 9
Specificiteit van een hypothese
Zeer specifiek: want het is alleen de optie dat in de populatie het
gemiddelde in de experimentele groep (e) exact gelijk is dan in de
controlegroep (c).
Minder specifiek: meer opties, maar zegt wel dat in de populatie het
gemiddelde in e groter is dan in c.
Helemaal niet specifiek, want bijna alles is mogelijk.
Waarde resultaten
Er kan gemakkelijk een foute conclusie getrokken worden. Dit kan op twee verschillende manieren:
Type I-fout - Het onterecht verwerpen van de nulhypothese.
Type II-fout - Het onterecht niet verwerpen van de nulhypothese.
De waarde van een conclusie uit één onderzoek is hierdoor niet zo groot. Daarom worden onderzoeken
gerepliceerd.
Replicatie - Het opnieuw uitvoeren van een onderzoek door andere onderzoekers. Als de resultaten vergelijkbaar
zijn, is de conclusie van originele onderzoek betrouwbaarder. Als dat niet zo is kan er aan het originele onderzoek
getwijfeld worden.
Binnen de sociale wetenschappen is er een replicatiecrisis. In de replicatiestudies werden effectgroottes
gevonden die maar half zo groot waren als in de originele studies. Ook waren bijna alle originele studies
significant, maar in replicaties maar één derde. Dit komt door:
Publication bias - Onderzoek wordt alleen gepubliceerd als er een significant resultaat uit komt.
E1 - NHST en Bayesiaanse statistiek 2
, Questionable research practices - Voor onderzoekers is het van belang dat hun onderzoek gepubliceerd
wordt, dus zij worden verleid om te focussen op het vinden van een significant resultaat. Zo kunnen ze
bijvoorbeeld data aanpassen in hun voordeel.
Oplossing:
Preregistratie - De onderzoeker stuurt een onderzoeksvoorstel naar een tijdschrift. Hierin staat beschreven hoe
hij het onderzoek wil gaan uitvoeren. Het tijdschrift beoordeelt of dit een goede manier is om onderzoek uit te
voeren.
Het resultaat moet altijd gepubliceerd worden bij goedkeuring, dus ook als het niet significant is.
Onderzoekers kunnen achteraf geen dingen meer aanpassen om toch tot significante resultaten te komen.
Bayesiaanse hypothese evaluatie
Bayesiaanse hypothese evaluatie (BHE) - Dit is een nieuwe manier van analyseren van resultaten. We gebruiken
geen p-waarde maar de Bayes factor.
Bayes factor (BF) - Geeft aan hoe goed hypothesen ten opzichte van elkaar bij de data passen. Welke past het
beste bij de data. Wordt berekend met de:
Fit (f) - Hoe goed de hypothese bij de data past.
Als de groepsgemiddeldes erg verschillen, is de fit van H0 niet zo goed en H1 wel goed.
Je hoeft niet te weten hoe je de fit berekend, alleen of hij hoog/laag/gemiddeld is en wat voor invloed dit
heeft op BF.
Specificiteit (c) - Hoe complex de hypothese is. H1 is heel complex en H0 niet complex. Als de BF 1 is en er
dus niet één hypothese beter is dan de ander, wordt de minst complexe hypothese genomen. Daarom staat c
in de formule.
Formule:
f en c worden relatief bepaald ten opzichte van H1. Daarom zijn de f
en c van H1 gelijk aan 1 en vallen ze weg in de formule.
H1 bevat alle mogelijkheden (behalve dat de groepen gelijk zijn aan
elkaar), dat is ook een reden waarom de f en c van H1 wordt gesteld
als 1.
Bv: BF01=7 geeft aan dat in de data voor H0 7 keer meer steun te
vinden is dan voor H1. H0 wordt dus niet verworpen.
Bv: BF01=0,25 geeft aan dat in de data voor H0 0,25 keer meer
steun te vinden is an voor H1
Om BF01 om te zetten omzetten in BF10 doe je 1 / BF01, dus bij het
laatste voorbeeld krijg je BF10 = 1 / BF01 = ,25 = 4.
Als in JASP de output bij H0 staat, is dit de BF01.
Stappenplan:
E1 - NHST en Bayesiaanse statistiek 3
E1 - NHST en Bayesiaanse statistiek
Introductie
Null Hypothesis Significance Testing
Toetskeuzes
Specificiteit van een hypothese
Waarde resultaten
Bayesiaanse hypothese evaluatie
Posterior model kansen
NHST en Bayes/BHE naast elkaar
Introductie
Experimenteel onderzoek - Onderzoek waarbij wordt onderzocht wat de invloed is van een door de onderzoeker
gemanipuleerde factor in een bepaalde situatie. In de meeste gevallen worden daarvoor twee gelijke groepen
samengesteld, waarbij de ene groep wordt onderworpen aan een experimentele factor en de andere (de
controlegroep) niet.
Null Hypothesis Significance Testing
Null Hypothesis Significance Testing (NHST) - Hypothesen toetsen volgens dit stappenplan:
1. Toetskeuze, hypothesen opstellen en
significantieniveau kiezen.
2. Assumpties controleren.
3. Toetsingsgrootheid en p-waarde bepalen.
4. Conclusie trekken over H0.
5. Inhoudelijke conclusies en effectgrootte bepalen.
Toetskeuzes
Meetniveau betrokken variabelen
Analyse Doel van analyse (indien van toepassing Nulhypothese(n)
(on)afhankelijk)
H0: p (rho)=0
Pearson Nagaan of er een lineaire relatie is tussen twee Twee variabelen, beiden interval Er is geen relatie
correlatie variabelen. of ratio. tussen variabelen 1
en 2.
E1 - NHST en Bayesiaanse statistiek 1
, Meetniveau betrokken variabelen
Analyse Doel van analyse (indien van toepassing Nulhypothese(n)
(on)afhankelijk)
H0: ps=0
Nagaan of er een relatie is tussen twee
Spearman Twee variabelen, minimaal Er is geen relatie
variabelen. Kan worden gebruikt wanneer het
correlatie ordinaal. tussen de
verband niet lineair is, maar wel monotoon.
variabelen 1 en 2.
H0: b (bèta)=0
De onafhankelijke
Voorspellen van een variabele (afhankelijk) 1 afhankelijke en minstens 1
Lineaire variabele is geen
a.d.h.v. een of meer andere variabelen onafhankelijke variabele op
regressie voorspeller van de
(onafhankelijk). minimaal interval.
afhankelijke
variabele.
H0: µ1=µ2
1 afhankelijke variabele op
Het gemiddelde
minimaal interval.
Onafhankelijke t- Nagaan of er een verschil is in gemiddeldes van groep 1 is
1 onafhankelijke variabele
toets tussen twee onafhankelijke groepen. gelijk aan het
dichotoom (nominaal of ordinaal
gemiddelde van
met twee groepen).
groep 2.
1 afhankelijke variabele op H0: µ1=µ2=µ3
Nagaan of er een verschil is in gemiddeldes minimaal interval. De gemiddelden
Eenweg ANOVA
tussen twee of meer groepen. 1 onafhankelijke variabele op van de groepen
nominaal of ordinaal. zijn gelijk.
Tweeweg ANOVA zie hoorcollege 9
Specificiteit van een hypothese
Zeer specifiek: want het is alleen de optie dat in de populatie het
gemiddelde in de experimentele groep (e) exact gelijk is dan in de
controlegroep (c).
Minder specifiek: meer opties, maar zegt wel dat in de populatie het
gemiddelde in e groter is dan in c.
Helemaal niet specifiek, want bijna alles is mogelijk.
Waarde resultaten
Er kan gemakkelijk een foute conclusie getrokken worden. Dit kan op twee verschillende manieren:
Type I-fout - Het onterecht verwerpen van de nulhypothese.
Type II-fout - Het onterecht niet verwerpen van de nulhypothese.
De waarde van een conclusie uit één onderzoek is hierdoor niet zo groot. Daarom worden onderzoeken
gerepliceerd.
Replicatie - Het opnieuw uitvoeren van een onderzoek door andere onderzoekers. Als de resultaten vergelijkbaar
zijn, is de conclusie van originele onderzoek betrouwbaarder. Als dat niet zo is kan er aan het originele onderzoek
getwijfeld worden.
Binnen de sociale wetenschappen is er een replicatiecrisis. In de replicatiestudies werden effectgroottes
gevonden die maar half zo groot waren als in de originele studies. Ook waren bijna alle originele studies
significant, maar in replicaties maar één derde. Dit komt door:
Publication bias - Onderzoek wordt alleen gepubliceerd als er een significant resultaat uit komt.
E1 - NHST en Bayesiaanse statistiek 2
, Questionable research practices - Voor onderzoekers is het van belang dat hun onderzoek gepubliceerd
wordt, dus zij worden verleid om te focussen op het vinden van een significant resultaat. Zo kunnen ze
bijvoorbeeld data aanpassen in hun voordeel.
Oplossing:
Preregistratie - De onderzoeker stuurt een onderzoeksvoorstel naar een tijdschrift. Hierin staat beschreven hoe
hij het onderzoek wil gaan uitvoeren. Het tijdschrift beoordeelt of dit een goede manier is om onderzoek uit te
voeren.
Het resultaat moet altijd gepubliceerd worden bij goedkeuring, dus ook als het niet significant is.
Onderzoekers kunnen achteraf geen dingen meer aanpassen om toch tot significante resultaten te komen.
Bayesiaanse hypothese evaluatie
Bayesiaanse hypothese evaluatie (BHE) - Dit is een nieuwe manier van analyseren van resultaten. We gebruiken
geen p-waarde maar de Bayes factor.
Bayes factor (BF) - Geeft aan hoe goed hypothesen ten opzichte van elkaar bij de data passen. Welke past het
beste bij de data. Wordt berekend met de:
Fit (f) - Hoe goed de hypothese bij de data past.
Als de groepsgemiddeldes erg verschillen, is de fit van H0 niet zo goed en H1 wel goed.
Je hoeft niet te weten hoe je de fit berekend, alleen of hij hoog/laag/gemiddeld is en wat voor invloed dit
heeft op BF.
Specificiteit (c) - Hoe complex de hypothese is. H1 is heel complex en H0 niet complex. Als de BF 1 is en er
dus niet één hypothese beter is dan de ander, wordt de minst complexe hypothese genomen. Daarom staat c
in de formule.
Formule:
f en c worden relatief bepaald ten opzichte van H1. Daarom zijn de f
en c van H1 gelijk aan 1 en vallen ze weg in de formule.
H1 bevat alle mogelijkheden (behalve dat de groepen gelijk zijn aan
elkaar), dat is ook een reden waarom de f en c van H1 wordt gesteld
als 1.
Bv: BF01=7 geeft aan dat in de data voor H0 7 keer meer steun te
vinden is dan voor H1. H0 wordt dus niet verworpen.
Bv: BF01=0,25 geeft aan dat in de data voor H0 0,25 keer meer
steun te vinden is an voor H1
Om BF01 om te zetten omzetten in BF10 doe je 1 / BF01, dus bij het
laatste voorbeeld krijg je BF10 = 1 / BF01 = ,25 = 4.
Als in JASP de output bij H0 staat, is dit de BF01.
Stappenplan:
E1 - NHST en Bayesiaanse statistiek 3
