HC4A – Gerandomiseerd experiment
Empirische cirkel
1. Idee en onderzoeksvraag
2. Onderzoeksontwerp – hoe ga ik het onderzoeken?
3. Hypothese formuleren en preregistratie (= onderzoeksverslag schrijven voor dat je data
gaat verzamelen zodat je je onderzoek niet meer kan aanpassen en vastligt, maakt kans om
type I fout kleiner)
4. Steekproeftrekking, randomizeren en causaliteit, data verzameling en datacontrole
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Replicatie crisis = als iemand anders je onderzoek opnieuw uitvoert, komen er andere
resultaten uit.
Hypothese evaluatie (NHST en Bayesiaans)
Bij NHST stel je een nulhypothese (waarin er geen verschil is tussen de twee groepen) en een
alternatieve hypothese (waarin er wel een verschil is tussen de groepen). Aan de hand van
steekproef zeggen we wat in de populatie aan de hand is (= inferentie). Dit doen we aan de
hand van het gemiddelde in de steekproef (M). De p-waarde is de kans op het verschil in
gemiddelden zoals gevonden in de steekproef of een groter verschil, onder de aanname dat
de nulhypothese waar is (dus dat beide gemiddelden aan elkaar gelijk zijn). Wanneer p < .05
verwerpen we de nulhypothese en gaan we er van uit dat in de populatie de gemiddelden
niet gelijk aan elkaar zijn. Dit is een significant verschil. Of dit significant verschil ook relevant
is, gebruiken we Cohens d = het aantal standaarddeviaties dat de twee gemiddelden van
elkaar verschillen.
Bayensiaanse benadering heeft veel aandacht gekregen door de replicatie crisis. Bij
Bayesiaanse verandering is de p-waarde vervangen door de Bayes Factor (BF). Deze wordt
berekend bij twee hypothesen (H0 en HA). De BF geeft de relatieve steun in de data voor H0
versus HA. Bij een BF = 5 betekent dat dat de steun in de data 5x groter is voor H0 dan voor
HA. Een BF van 0.40 betekent dat er 40x meer steun is voor H0 dan voor HA. De hypothesen
kun je ook omdraaien .40 = 2,5. Er is 2,5 meer keer zoveel steun voor HA dan voor
H0.
BF = 1 steun voor Ho is even groot als steun voor Ha.
BF > 1 steun voor Ho is groter dan voor Ha.
BF < 1 steun voor Ha is groter dan voor Ha.
De BF wordt berekend met behulp van de fit (f0) en de specificiteit (c0) (= complexiteit) van
de nulhypothese BF = f0 / c0.
- Hoe verder de gemiddelden uit elkaar liggen, hoe slechter de fit van de nulhypothese.
- Hoe specifieker de hypothese (H0: Uwel = Uniet, is erg specifiek i.p.v. H0: Uwel > Hniet),
hoe duidelijker de voorspelling.
, De BF wordt niet vergeleken met een grenswaarde om tot een beslissing te komen. Dit is
tegen de Questionable Research Practices (= analyses manipuleren om groter dan
grenswaarde te krijgen) en Publication Bias (= tijdschriften kunnen nu alle onderzoeken
accepteren i.p.v. alleen de significante effecten).
Voordat je BF hebt uitgerekend, moet je m pre registreren en dit laten accepteren ondanks
de BF.
Fouten bij NHST
Type 1 fout = als in populatie de twee gemiddelden gelijk zijn aan elkaar, en je vanuit
steekproef concludeert dat de twee gemiddelden niet gelijk zijn aan elkaar. Alfa is kans op
type I fout (staat op .05).
Power = als in populatie gemiddelden niet gelijk aan elkaar zijn, en vanuit steekproef ook
concluderen dat gemiddelden niet gelijk zijn aan elkaar.
Posterior model kansen (PMKs)
PMK0 = kans dat H0 waar is gegeven de informatie in de data.
PMKa = kans dat Ha waar is gegeven de informatie in de data.
Als PMK0 = .8 is dit een conditionele type I fout, want als we voor Ha kiezen is de kans dat
we dat ten onrechte doen gelijk aan .8
Als PMKa = .2 is dit conditionele type II fout, want als we voor H0 kiezen is de kans dat we
dat ten onrechte doen gelijk aan .2
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is. Bij NHST
wordt dat gedaan door middel van de power analyse hoe groot moet steekproef zijn om
effect te vinden, dus een power van .80.
Bij Bayesiaanse hypothese evaluatie door middel van Bayesian updating beginnen met
bepaald aantal personen en telkens personen toevoegen en daarmee door gaan tot de BF en
PMK-waarden overtuigend zijn.
Experimentele designs
1. Maturation threat = we zien een natuurlijke ontwikkeling, het komt zo met de tijd.
2. History threat = een externe gebeurtenis beïnvloed alle deelnemers.
3. Regression to the mean = je kan niet nog beter scoren in de schaal, je kon alleen maar
verslechteren.
4. Observer bias = therapeuten vinden de patiënten aan het begin van de behandeling erg
ziek, maar na ‘hun’ behandeling natuurlijk beter.
5. Demand characteristics = niet de behandeling is effectief, maar je wilt zo sterk dat de
behandeling effectief is en daardoor voel je je beter door de behandeling.
6. Placebo-effect = het komt niet door de behandeling, maar het feit dat je behandeld wordt
zoals de warme aandacht die je krijgt.
De bedreigingen kun je voorkomen door het toevoegen van een controlegroep (geen
maturation threat, geen history threat en geen regression to the mean).
Observer bias en demand characteristics kun je voorkomen door blind onderzoek, hierbij
weet de therapeut niet of de persoon in de behandelgroep of controlegroep zit. Dubbelblind
is als patiënt ook niet weet in welke groep hij/zij zit.
Empirische cirkel
1. Idee en onderzoeksvraag
2. Onderzoeksontwerp – hoe ga ik het onderzoeken?
3. Hypothese formuleren en preregistratie (= onderzoeksverslag schrijven voor dat je data
gaat verzamelen zodat je je onderzoek niet meer kan aanpassen en vastligt, maakt kans om
type I fout kleiner)
4. Steekproeftrekking, randomizeren en causaliteit, data verzameling en datacontrole
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Replicatie crisis = als iemand anders je onderzoek opnieuw uitvoert, komen er andere
resultaten uit.
Hypothese evaluatie (NHST en Bayesiaans)
Bij NHST stel je een nulhypothese (waarin er geen verschil is tussen de twee groepen) en een
alternatieve hypothese (waarin er wel een verschil is tussen de groepen). Aan de hand van
steekproef zeggen we wat in de populatie aan de hand is (= inferentie). Dit doen we aan de
hand van het gemiddelde in de steekproef (M). De p-waarde is de kans op het verschil in
gemiddelden zoals gevonden in de steekproef of een groter verschil, onder de aanname dat
de nulhypothese waar is (dus dat beide gemiddelden aan elkaar gelijk zijn). Wanneer p < .05
verwerpen we de nulhypothese en gaan we er van uit dat in de populatie de gemiddelden
niet gelijk aan elkaar zijn. Dit is een significant verschil. Of dit significant verschil ook relevant
is, gebruiken we Cohens d = het aantal standaarddeviaties dat de twee gemiddelden van
elkaar verschillen.
Bayensiaanse benadering heeft veel aandacht gekregen door de replicatie crisis. Bij
Bayesiaanse verandering is de p-waarde vervangen door de Bayes Factor (BF). Deze wordt
berekend bij twee hypothesen (H0 en HA). De BF geeft de relatieve steun in de data voor H0
versus HA. Bij een BF = 5 betekent dat dat de steun in de data 5x groter is voor H0 dan voor
HA. Een BF van 0.40 betekent dat er 40x meer steun is voor H0 dan voor HA. De hypothesen
kun je ook omdraaien .40 = 2,5. Er is 2,5 meer keer zoveel steun voor HA dan voor
H0.
BF = 1 steun voor Ho is even groot als steun voor Ha.
BF > 1 steun voor Ho is groter dan voor Ha.
BF < 1 steun voor Ha is groter dan voor Ha.
De BF wordt berekend met behulp van de fit (f0) en de specificiteit (c0) (= complexiteit) van
de nulhypothese BF = f0 / c0.
- Hoe verder de gemiddelden uit elkaar liggen, hoe slechter de fit van de nulhypothese.
- Hoe specifieker de hypothese (H0: Uwel = Uniet, is erg specifiek i.p.v. H0: Uwel > Hniet),
hoe duidelijker de voorspelling.
, De BF wordt niet vergeleken met een grenswaarde om tot een beslissing te komen. Dit is
tegen de Questionable Research Practices (= analyses manipuleren om groter dan
grenswaarde te krijgen) en Publication Bias (= tijdschriften kunnen nu alle onderzoeken
accepteren i.p.v. alleen de significante effecten).
Voordat je BF hebt uitgerekend, moet je m pre registreren en dit laten accepteren ondanks
de BF.
Fouten bij NHST
Type 1 fout = als in populatie de twee gemiddelden gelijk zijn aan elkaar, en je vanuit
steekproef concludeert dat de twee gemiddelden niet gelijk zijn aan elkaar. Alfa is kans op
type I fout (staat op .05).
Power = als in populatie gemiddelden niet gelijk aan elkaar zijn, en vanuit steekproef ook
concluderen dat gemiddelden niet gelijk zijn aan elkaar.
Posterior model kansen (PMKs)
PMK0 = kans dat H0 waar is gegeven de informatie in de data.
PMKa = kans dat Ha waar is gegeven de informatie in de data.
Als PMK0 = .8 is dit een conditionele type I fout, want als we voor Ha kiezen is de kans dat
we dat ten onrechte doen gelijk aan .8
Als PMKa = .2 is dit conditionele type II fout, want als we voor H0 kiezen is de kans dat we
dat ten onrechte doen gelijk aan .2
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is. Bij NHST
wordt dat gedaan door middel van de power analyse hoe groot moet steekproef zijn om
effect te vinden, dus een power van .80.
Bij Bayesiaanse hypothese evaluatie door middel van Bayesian updating beginnen met
bepaald aantal personen en telkens personen toevoegen en daarmee door gaan tot de BF en
PMK-waarden overtuigend zijn.
Experimentele designs
1. Maturation threat = we zien een natuurlijke ontwikkeling, het komt zo met de tijd.
2. History threat = een externe gebeurtenis beïnvloed alle deelnemers.
3. Regression to the mean = je kan niet nog beter scoren in de schaal, je kon alleen maar
verslechteren.
4. Observer bias = therapeuten vinden de patiënten aan het begin van de behandeling erg
ziek, maar na ‘hun’ behandeling natuurlijk beter.
5. Demand characteristics = niet de behandeling is effectief, maar je wilt zo sterk dat de
behandeling effectief is en daardoor voel je je beter door de behandeling.
6. Placebo-effect = het komt niet door de behandeling, maar het feit dat je behandeld wordt
zoals de warme aandacht die je krijgt.
De bedreigingen kun je voorkomen door het toevoegen van een controlegroep (geen
maturation threat, geen history threat en geen regression to the mean).
Observer bias en demand characteristics kun je voorkomen door blind onderzoek, hierbij
weet de therapeut niet of de persoon in de behandelgroep of controlegroep zit. Dubbelblind
is als patiënt ook niet weet in welke groep hij/zij zit.
