Samenvatting tt3 TOE
HC 1 - experimenteel
Oorzaken voor het voorkomen van een replicatie crisis
o Sloppy Science: gebruik en misbruik van NHST. (1) bevestiging van wetenschappers dat ze
data hebben gefabriceerd (zelf bedacht) of gefalsifieerd. (2) QRP (questionable research
practices): bijvoorbeeld het veranderen van dingen in analyse, om zo analyse resultaat te
krijgen dat jouw theorie/idee bevestigd. dit doen wetenschappers wanneer ze geen
significante p-waarde (groter dan 0.05) vinden.
o Publicatie Bias = het publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten
kunnen zowel het gevolg zijn van toeval als van sloppy science. Dus veel resultaten kloppen
niet!! Oplossingen: tijdschriften hanteren hogere significantie grens zodat wetenschappers
minder de neiging hebben om te frauderen. Ander advies:
Houden aan de empirische cirkel.
Twee vormen van hypothese evalutie:
1. Nul Hypothese Significantie Toetsing
P-waarde = de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 waar is.
Cohen’s d= effect size((M1-M2) : sd)het aantal standaarddeviaties dat de twee gemiddelden van
elkaar verschillen.
Tijdens replicatie crisis andere methode bedacht, want ander perspectief:
1. Bayesiaanse hypothese evaluatie
(is geen oplossing, maar een steun)
Bayes-factor
- De Bayes factor BF0a geeft de relatieve steun in de data voor H0 : µniet = µwel versus Ha :
µniet ≠µwel.
- Als BF0a = 5 dan betekend dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
BV: Oftwel, de BF0a = .64 van Etz en Vandekerckhove betekend .64x meer steun voor H0 dan voor
Ha. De hypotheses kun je ook omdraaien: BFa0 = 1/.64 = 1.50, oftwel, 1.50x meer steun voor Ha dan
voor H0.
DUS: (1) Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot. (2) Als BF0a
groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha. (3) Als BF0a kleiner is dan 1,
dan is de steun in de data voor H0 kleiner dan voor Ha.
Hoe wordt deze factor berekend?
Adhv de fit (f0) en de specificiteit (c0) van de nul-hypothese. BF0a = f0/c0
FIT
Fit geeft aan hoe goed een hypothese past bij wat ik in de data heb gevonden.
, De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt.
Hoe beter H0 bij de data past, hoe meer de data H0 steunen.
Hoe beter wat ik in steekproef vind past bij mijn hypothese, hoe beter de fit van de hypothese bij de
data. Dus hoe groter het verschil tussen de gemiddeldes wordt, hoe minder goed deze passen bij de
nulhypothese en de fit neemt dus af.
SPECIFICITEIT
Een goede hypothese is ook specifiek, want hoe preciezer hoe duidelijker de voorspelling die
een hypothese doet.
- H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk aan
elkaar".
- De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de populatie
het gemiddelde in de wel groep groter is dan in de niet groep.
- Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de
populatie de twee gemiddelden exact gelijk aan elkaar zijn.
Doordat de Bayes factor niet vergeleken wordt met een grenswaarde is het een remedie tegen de
QRP, omdat nu de incentive om de analyses zo te manipuleren dat er Bayes factor groter dan een
bepaalde grenswaarde uitkomt weg wordt genomen.
En de Publication bias, omdat tijdschriften niet langer een grenswaarde tot hun beschikking hebben
die ze kunnen gebruiken om artikelen mee te beoordelen.
Op de vraag "wanneer is de Bayes factor groot genoeg om voor H0 of H1 te kiezen” is dan ook geen
eenduidig antwoord.
1. Als BF0a = 100, dan is er weinig twijfel dat H0 meer gesteund wordt dan H1
2. Als BF0a = 25, dan is er nog steeds substantieel meer steun voor H0 dan voor H1
3. Als BF0a = 5, dan is er meer steun voor H0, maar niet zoveel meer dat H1 kan worden
gediskwalificeerd.
4. Als BF0a = 1.5 dan is er eigenlijk niet echt een voorkeur voor H0 of Ha
Het is dan ook een goed idee om bij elke gevonden waarde van de Bayes factor een interpretatie
te geven zonder daarbij naar vastgestelde grenswaarden (zoals de .05 bij NHST) te verwijzen.
Fouten bij het gebruik van de p-waarde
α (alfa niveau) = de kans om een nylhypothese ten onrechte te verwerpen = een Type I fout, staat
gebruikelijk op .05. Dit houdt in: we accepteren een kans van .05 dat we H0 ten onrechte verwerpen.
Dus van alle steekproeven die je doet, concludeer je bij 5% ten onrechte dat nulhypothese moet
worden verworpen.
om te zorgen dat je onderzoek alfa van 0.05 heeft hoef je niks te doen, alleen je p-waarde ermee
vergelijken.
Power = (1 - kans op een Type II fout) kans om nulhypothese terecht te verwerpen. Dat staat
gebruikelijk of .80, dwz, we willen een kans van .80 dat we H0 terecht verwerpen.
om te zorgen dat je
onderzoek juiste power heeft,
doe je en power-analyse.
HC 1 - experimenteel
Oorzaken voor het voorkomen van een replicatie crisis
o Sloppy Science: gebruik en misbruik van NHST. (1) bevestiging van wetenschappers dat ze
data hebben gefabriceerd (zelf bedacht) of gefalsifieerd. (2) QRP (questionable research
practices): bijvoorbeeld het veranderen van dingen in analyse, om zo analyse resultaat te
krijgen dat jouw theorie/idee bevestigd. dit doen wetenschappers wanneer ze geen
significante p-waarde (groter dan 0.05) vinden.
o Publicatie Bias = het publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten
kunnen zowel het gevolg zijn van toeval als van sloppy science. Dus veel resultaten kloppen
niet!! Oplossingen: tijdschriften hanteren hogere significantie grens zodat wetenschappers
minder de neiging hebben om te frauderen. Ander advies:
Houden aan de empirische cirkel.
Twee vormen van hypothese evalutie:
1. Nul Hypothese Significantie Toetsing
P-waarde = de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 waar is.
Cohen’s d= effect size((M1-M2) : sd)het aantal standaarddeviaties dat de twee gemiddelden van
elkaar verschillen.
Tijdens replicatie crisis andere methode bedacht, want ander perspectief:
1. Bayesiaanse hypothese evaluatie
(is geen oplossing, maar een steun)
Bayes-factor
- De Bayes factor BF0a geeft de relatieve steun in de data voor H0 : µniet = µwel versus Ha :
µniet ≠µwel.
- Als BF0a = 5 dan betekend dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
BV: Oftwel, de BF0a = .64 van Etz en Vandekerckhove betekend .64x meer steun voor H0 dan voor
Ha. De hypotheses kun je ook omdraaien: BFa0 = 1/.64 = 1.50, oftwel, 1.50x meer steun voor Ha dan
voor H0.
DUS: (1) Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot. (2) Als BF0a
groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha. (3) Als BF0a kleiner is dan 1,
dan is de steun in de data voor H0 kleiner dan voor Ha.
Hoe wordt deze factor berekend?
Adhv de fit (f0) en de specificiteit (c0) van de nul-hypothese. BF0a = f0/c0
FIT
Fit geeft aan hoe goed een hypothese past bij wat ik in de data heb gevonden.
, De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt.
Hoe beter H0 bij de data past, hoe meer de data H0 steunen.
Hoe beter wat ik in steekproef vind past bij mijn hypothese, hoe beter de fit van de hypothese bij de
data. Dus hoe groter het verschil tussen de gemiddeldes wordt, hoe minder goed deze passen bij de
nulhypothese en de fit neemt dus af.
SPECIFICITEIT
Een goede hypothese is ook specifiek, want hoe preciezer hoe duidelijker de voorspelling die
een hypothese doet.
- H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk aan
elkaar".
- De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de populatie
het gemiddelde in de wel groep groter is dan in de niet groep.
- Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de
populatie de twee gemiddelden exact gelijk aan elkaar zijn.
Doordat de Bayes factor niet vergeleken wordt met een grenswaarde is het een remedie tegen de
QRP, omdat nu de incentive om de analyses zo te manipuleren dat er Bayes factor groter dan een
bepaalde grenswaarde uitkomt weg wordt genomen.
En de Publication bias, omdat tijdschriften niet langer een grenswaarde tot hun beschikking hebben
die ze kunnen gebruiken om artikelen mee te beoordelen.
Op de vraag "wanneer is de Bayes factor groot genoeg om voor H0 of H1 te kiezen” is dan ook geen
eenduidig antwoord.
1. Als BF0a = 100, dan is er weinig twijfel dat H0 meer gesteund wordt dan H1
2. Als BF0a = 25, dan is er nog steeds substantieel meer steun voor H0 dan voor H1
3. Als BF0a = 5, dan is er meer steun voor H0, maar niet zoveel meer dat H1 kan worden
gediskwalificeerd.
4. Als BF0a = 1.5 dan is er eigenlijk niet echt een voorkeur voor H0 of Ha
Het is dan ook een goed idee om bij elke gevonden waarde van de Bayes factor een interpretatie
te geven zonder daarbij naar vastgestelde grenswaarden (zoals de .05 bij NHST) te verwijzen.
Fouten bij het gebruik van de p-waarde
α (alfa niveau) = de kans om een nylhypothese ten onrechte te verwerpen = een Type I fout, staat
gebruikelijk op .05. Dit houdt in: we accepteren een kans van .05 dat we H0 ten onrechte verwerpen.
Dus van alle steekproeven die je doet, concludeer je bij 5% ten onrechte dat nulhypothese moet
worden verworpen.
om te zorgen dat je onderzoek alfa van 0.05 heeft hoef je niks te doen, alleen je p-waarde ermee
vergelijken.
Power = (1 - kans op een Type II fout) kans om nulhypothese terecht te verwerpen. Dat staat
gebruikelijk of .80, dwz, we willen een kans van .80 dat we H0 terecht verwerpen.
om te zorgen dat je
onderzoek juiste power heeft,
doe je en power-analyse.
