Hoorcolleges TOE Experimenteel
Het gerandomiseerde experiment: Bayesiaanse statistiek en design overwegingen
De empirische cirkel
Een contemporaine empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
a. Onafhankelijke variabele: groepsindeling (controlegroep + experimentele groep)
b. Afhankelijke variabele: die we willen voorspellen aan de hand van al dan niet
experimenteel gemanipuleerd zijn
3. Hypothese formulering en preregistratie
a. Nulhypothese: mu niet = mu wel
b. Alternatieve hypothese: mu niet ≠ mu wel
4. Steekproeftrekking, randomiseren en causaliteit, data verzamelen en data controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
a. NHST:
i. H0 wel/niet verwerpen a.d.h.v. p-waarde (<0.05)
ii. Effectsize: cohen's d: gestandaardiseerde verschil tussen twee
gemiddelden. Cohen's d = (Mniet – Mwel) / (samengevoegd + sd)
iii. Alpha: de kans op een type I fout; standaard alpha = 0.05 (kans dat de
nulhypothese ten onrechte wordt verworpen).
iv. Power: 1 – de kans op een type II fout. De kans om de nulhypothese
terecht te verwerpen. Standaard power = 0.80
b. Bayesiaanse hypothese evaluatie
i. P-waarde wordt vervangen door Bayes Factor (BF). De Bayes Factor
geeft de relatieve steun in de data.
1. Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha
even groot.
2. Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter
dan voor Ha.
3. Als BF0a kleiner is dan 1, dan is de steun in de data voor H0
kleiner dan voor Ha.
a. BF0a=0,64. Omdraaien. BFa0=1/0,64=1,5. Dus 1,5x meer
steun voor Ha dan voor H0.
ii. Bayes Factor wordt berekend a.d.h.v. de fit (f0) en de specifiteit (c0) van
de nulhypothese. BF0a= f0/c0
1. Fit: hoe kleiner hoe beter. Wordt kleiner als het verschil tussen de
gemiddelden toeneemt.
2. Specifiteit: H0: mu wel = mu niet. Heel erg specifiek. H1: mu wel >
mu niet. Redelijk specifiek. H1: mu wel ≠ mu niet. Geheel niet
specifiek.
iii. Doordat Bayes Factor niet wordt vergeleken met een grenswaarde (zoals
p-waarde) voorkomt dit sloppy science en publication bias.
iv. Bayes Factor zelf interpreteren, maar:
1. ≥25: zeer aanemelijk
1
, 2. Ongeveer 5: niet genoeg steun zodat de andere hypothese
gediskwalificeerd kan worden.
3. Ongeveer 1,5: geen sprake van een voorkeur
v. Posterior model kansen (PMKs): conditionele type I en II fouten
1. De kans dat H0 waar is gegeven de informatie in de data noemen
we PMK0
2. De kans dat H1 waar is gegeven de informatie in de data noemen
we PMKa
3. Beide kansen tellen op tot 1,0
vi. Bayesian Updating
1. Er wordt geen gebruik gemaakt van een power, dus wordt de
steekproef steeds vergroot totdat de PMK goed genoeg is
(volgens de onderzoeker)
6. Rapportage
7. Replicatieonderzoek
a. Replicatiecrisis: herhaling van onderzoek dat niet altijd leidt tot dezelfde
conclusies. Twee oorzaken:
i. Sloppy science: data manipuleren om lage p-waarde te creeëren
ii. Publicatie bias: alleen onderzoek met significante verschillen worden
gepubliceerd. Zelfs als er al eerder onderzoek was waar geen significant
verschil te vinden was.
b. Tegengaan replicatiecrisis: pre-registratie (vooraf stappenplan opstellen en daar
niet vanaf wijken) en tijdschriften die al selecteren voordat de data is verzamelt.
Experimentele designs
- Als de personen ieder 2x gemeten worden (bijv. voor en na) wordt dit getoetst a.d.h.v.
een “gepaarde t-test".
o Gevaren van een gepaarde t-test:
Maturation threat: we zien een natuurlijke ontwikkeling (mensen
ontwikkelen zich altijd. Niet perse effect van de behandeling)
History threat: een externe gebeurtenis beïnvloed alle deelnemers (bijv.
Corona zorgt ervoor dat mensen zich depressiever voelen)
Regression to the mean: alle patiënten waren behoorlijk ziek, ze konden
niet verslechteren maar wel verbeteren.
Observer bias: therapeuten vinden de patiënten aan het begin van de
behandeling erg ziek maar na “hun” behandeling natuurlijk veel beter. (te
voorkomen door controlegroep + dubbel blind design)
Demand characteristics: patiënten “willen” dat de behandeling effectief is
en voelen zich dus beter na de behandeling. (te voorkomen door
controlegroep + blind design)
Placebo effect: het is niet de behandeling die effect heeft maar puur dat
er een therapeut is die warme aandacht voor de patiënt heeft. Te
voorkomen door nog een extra groep (naast de controlegroep) toe te
voegen die het placebo krijgt (in dit geval warme aandacht).
o Deze gevaren kunnen voorkomen worden door:
2
Het gerandomiseerde experiment: Bayesiaanse statistiek en design overwegingen
De empirische cirkel
Een contemporaine empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
a. Onafhankelijke variabele: groepsindeling (controlegroep + experimentele groep)
b. Afhankelijke variabele: die we willen voorspellen aan de hand van al dan niet
experimenteel gemanipuleerd zijn
3. Hypothese formulering en preregistratie
a. Nulhypothese: mu niet = mu wel
b. Alternatieve hypothese: mu niet ≠ mu wel
4. Steekproeftrekking, randomiseren en causaliteit, data verzamelen en data controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
a. NHST:
i. H0 wel/niet verwerpen a.d.h.v. p-waarde (<0.05)
ii. Effectsize: cohen's d: gestandaardiseerde verschil tussen twee
gemiddelden. Cohen's d = (Mniet – Mwel) / (samengevoegd + sd)
iii. Alpha: de kans op een type I fout; standaard alpha = 0.05 (kans dat de
nulhypothese ten onrechte wordt verworpen).
iv. Power: 1 – de kans op een type II fout. De kans om de nulhypothese
terecht te verwerpen. Standaard power = 0.80
b. Bayesiaanse hypothese evaluatie
i. P-waarde wordt vervangen door Bayes Factor (BF). De Bayes Factor
geeft de relatieve steun in de data.
1. Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha
even groot.
2. Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter
dan voor Ha.
3. Als BF0a kleiner is dan 1, dan is de steun in de data voor H0
kleiner dan voor Ha.
a. BF0a=0,64. Omdraaien. BFa0=1/0,64=1,5. Dus 1,5x meer
steun voor Ha dan voor H0.
ii. Bayes Factor wordt berekend a.d.h.v. de fit (f0) en de specifiteit (c0) van
de nulhypothese. BF0a= f0/c0
1. Fit: hoe kleiner hoe beter. Wordt kleiner als het verschil tussen de
gemiddelden toeneemt.
2. Specifiteit: H0: mu wel = mu niet. Heel erg specifiek. H1: mu wel >
mu niet. Redelijk specifiek. H1: mu wel ≠ mu niet. Geheel niet
specifiek.
iii. Doordat Bayes Factor niet wordt vergeleken met een grenswaarde (zoals
p-waarde) voorkomt dit sloppy science en publication bias.
iv. Bayes Factor zelf interpreteren, maar:
1. ≥25: zeer aanemelijk
1
, 2. Ongeveer 5: niet genoeg steun zodat de andere hypothese
gediskwalificeerd kan worden.
3. Ongeveer 1,5: geen sprake van een voorkeur
v. Posterior model kansen (PMKs): conditionele type I en II fouten
1. De kans dat H0 waar is gegeven de informatie in de data noemen
we PMK0
2. De kans dat H1 waar is gegeven de informatie in de data noemen
we PMKa
3. Beide kansen tellen op tot 1,0
vi. Bayesian Updating
1. Er wordt geen gebruik gemaakt van een power, dus wordt de
steekproef steeds vergroot totdat de PMK goed genoeg is
(volgens de onderzoeker)
6. Rapportage
7. Replicatieonderzoek
a. Replicatiecrisis: herhaling van onderzoek dat niet altijd leidt tot dezelfde
conclusies. Twee oorzaken:
i. Sloppy science: data manipuleren om lage p-waarde te creeëren
ii. Publicatie bias: alleen onderzoek met significante verschillen worden
gepubliceerd. Zelfs als er al eerder onderzoek was waar geen significant
verschil te vinden was.
b. Tegengaan replicatiecrisis: pre-registratie (vooraf stappenplan opstellen en daar
niet vanaf wijken) en tijdschriften die al selecteren voordat de data is verzamelt.
Experimentele designs
- Als de personen ieder 2x gemeten worden (bijv. voor en na) wordt dit getoetst a.d.h.v.
een “gepaarde t-test".
o Gevaren van een gepaarde t-test:
Maturation threat: we zien een natuurlijke ontwikkeling (mensen
ontwikkelen zich altijd. Niet perse effect van de behandeling)
History threat: een externe gebeurtenis beïnvloed alle deelnemers (bijv.
Corona zorgt ervoor dat mensen zich depressiever voelen)
Regression to the mean: alle patiënten waren behoorlijk ziek, ze konden
niet verslechteren maar wel verbeteren.
Observer bias: therapeuten vinden de patiënten aan het begin van de
behandeling erg ziek maar na “hun” behandeling natuurlijk veel beter. (te
voorkomen door controlegroep + dubbel blind design)
Demand characteristics: patiënten “willen” dat de behandeling effectief is
en voelen zich dus beter na de behandeling. (te voorkomen door
controlegroep + blind design)
Placebo effect: het is niet de behandeling die effect heeft maar puur dat
er een therapeut is die warme aandacht voor de patiënt heeft. Te
voorkomen door nog een extra groep (naast de controlegroep) toe te
voegen die het placebo krijgt (in dit geval warme aandacht).
o Deze gevaren kunnen voorkomen worden door:
2
