Toe experimenteel
Hoorcollege 1
De contemporaine empisrische cirkel
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese, formulering en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, data verzameling en data controle
5. Nul hypothese sigificantie toetsing (NHST) of beyesiaanse hypothese evaluatie
6. Rapportage
7. Replicatieonderzoek
Voorbeeld onderzoek:
Op de dag van hun afstuderen lezen studenten aan de Stanford University
oftewel "een tekst die ze eraan herinnert dat ze een periode in hun leven gaan
afsluiten" (experimentele groep) of "een tekst die ze er niet aan herinnert dat ze
een periode gaan afsluiten" (controle groep) Vervolgens wordt de mate waarin ze
mixed emotions hebben (zowel blij als bedroefd) gemeten.
Onderzoeksvraag
Hebben studenten die eraan herinnerd worden dat ze hun studententijd gaan
afsluiten meer of minder mixed emotions dan studenten die daar niet aan
herinnerd worden?
Onderzoeksontwerp
- De onafhankelijke variabele is de groeps indeling. In de ene groep worden
studenten niet herinnerd aan de afsluiting van de studenten tijd. In de andere
groep worden studenten daar wel aan herinnerd.
- De afhankelijke variabele is mixed emotions. Elke student rapporteert
2.1 Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
2.2 Sadness ook op een zeven punts schaal
- De mixed-emotion score is de kleinste van beide resulterende getallen.
- 2.1 Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed
emotions.
- 2.2 Scoor je 7 en 7 dan ben je erg blij en erg bedroefd en scoor je hoog (7) op mixed
emotions.
Hypothese formulering
H0 : μniet = μwel
Ha : μniet is niet μwel
Waarbij μniet en μwel de gemiddelde scores op mixed emotions in de populaties
behorende bij de "niet" en "wel" groep weergeven.
Data verzameling
Nadat er een steekproef getrokken is en mensen over de controle en
experimentele condities verdeeld zijn, moeten de gegevens verzameld worden.
In onderhavige onderzoek is elke student gevraagd naar de happiness en
saddness op een 7-punts schaal lopend van not-at-all tot extremely.
,Hypothese evualatie
Er zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
1. Ten eerste zal de Nul Hypothese Significantie Toetsing (NHST) kort herhaald
worden.
2. Ten tweede zal de Bayesiaanse hypothese evaluatie gepresenteerd worden.
Nul Hypothese significantie toetsing
- Hypotheses worden getest met de t-toets
- P-waarde; de p-waarde is de kans op het verschil in gemiddelden zoals
gevonden in de steekproef of een groter verschil, onder de aanname dat
H0: uniet = uwel
- Effectgrootte: het gestandaardiseerde verschil tussen de gemiddelden,
Cohen’s d: Cohen’s d = Mniet – Mwel / pooled-sd, oftewel, het aantal standaard
deviaties dat de twee gemiddelden van elkaar verschillen
noot: cohen’s d kan berekend worden m.b.v. de gemiddelden voor de
wel en niet groepen en de sd (de wortel uit de mean squared error) zoals
deze door zowel SPSS als JASP gegeven worden.
- Let op: geef altijd aan hoeveel mensen er in de groep zitten, je mag nooit
een eyeball test doen (je moet een statistische toets doen!), je zegt nooit
we accepteren de nulhypothese je zegt je verwerpt hem niet.
Nylhopthese significantie toetsing: type 1 en type 2 fouten
- Alpha, α: de kans op een type 1 fout α staat gebruikelijk op .05 (dat wil
zeggen dat we accepteren een kans van .05 dat we H0 tenonrechte verwerpen
- Power: de power (1 – kans op type II fout) staat gebruikelijk op .80 (dat wil
zeggen, we willen een kans van ,80 dat we h 0 terecht verwerpen
Nul hypothese significantie toetsing: power analyse
Steekproefgroottes per groep voor een power van .80
, 1. Bij een poweranalyse bepaal je hoe groot je steekproef moet zijn. Je moet aangeven
wat voor effect size je verwacht. De meeste wetenschappers gaan uit van een medium
effectsize.
2. Voor een power van .80: Je kijkt bij .05. De effectsizes die meestal in gedrags en
sociaal wetenschappelijk onderzoek moeten worden gevonden liggen tussen de .20 en
de .50. Met α = .05 zijn er dus minstens 64 personen per groep nodig
3. In het mixed-emotions onderzoek zijn de steekproefgroottes (59 en 51 studenten per
groep) kleiner...
Nul hypothese significantie toetsing: rapportage
- De t-test (t = -2.36, df = 108) resulteerde in een p-waarde van .02.
Aangezien deze kleiner is dan .05 wordt H0 verworpen. Cohen’s d is -.45
dat is ruwweg een medium effect size waarbij de mixed emotions in de
"niet" groep lager liggen dan in de "wel" groep.
De replicatie crisis
Drie observaties
1. De originele studie heeft p<.05, de replicatie studie heeft p>.05
2. De originele studie heeft d=.45, de replicatie studie heeft d=.01
, 3. De replicatie studie heeft met 110 studenten per groep een power groter van .80 om
een effect size van d=.45 te kunnen ontdekken. Het resultaat van de replicatie studie is
dan ook geen type II fout
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van
wetenschappelijk onderzoek vaak niet repliceerbaar blijken. Twee van de
oorzaken zullen nu besproken worden: sloppy science (questionable research
practices) en publicatie bias.
Replicatie crisis: sloppy science
Sloppy science is bv. zorgen dat je p-waarde onder de .02 uitkomt. Hier tegen
kan je preregistreren (dus alles van tevoren vastleggen)
De replicatie crisis: publicatie bias
- Publicatie bias ligt niet bij de onderzoekers, maar bij de tijdschrijften
- Tijdschriften publiceren vooral significante resultaten, dus onderzoekers weten ook
niet welk onderzoek er al is gedaan. Uiteindelijk komt er dan wel iemand met bewijs
en een p-waarde kleiner dan .05.
- Publicatie bias is het publiceren van onderzoek gebaseerd op Type I
fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy
science.
Beyesiaanse hypothese evaluatie: de bayes factor
Gedurende de replicatie crisis ontstond er in toenemende mate aandacht voor de
Bayes factor als alternatief voor NHST. Niet dat daarmee alle problemen worden
vermeden, maar de Bayes factor komt voort uit een ander perspectief op
statistiek en het is goed ook dat perspectief te kennen.
Hoorcollege 1
De contemporaine empisrische cirkel
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese, formulering en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, data verzameling en data controle
5. Nul hypothese sigificantie toetsing (NHST) of beyesiaanse hypothese evaluatie
6. Rapportage
7. Replicatieonderzoek
Voorbeeld onderzoek:
Op de dag van hun afstuderen lezen studenten aan de Stanford University
oftewel "een tekst die ze eraan herinnert dat ze een periode in hun leven gaan
afsluiten" (experimentele groep) of "een tekst die ze er niet aan herinnert dat ze
een periode gaan afsluiten" (controle groep) Vervolgens wordt de mate waarin ze
mixed emotions hebben (zowel blij als bedroefd) gemeten.
Onderzoeksvraag
Hebben studenten die eraan herinnerd worden dat ze hun studententijd gaan
afsluiten meer of minder mixed emotions dan studenten die daar niet aan
herinnerd worden?
Onderzoeksontwerp
- De onafhankelijke variabele is de groeps indeling. In de ene groep worden
studenten niet herinnerd aan de afsluiting van de studenten tijd. In de andere
groep worden studenten daar wel aan herinnerd.
- De afhankelijke variabele is mixed emotions. Elke student rapporteert
2.1 Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
2.2 Sadness ook op een zeven punts schaal
- De mixed-emotion score is de kleinste van beide resulterende getallen.
- 2.1 Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed
emotions.
- 2.2 Scoor je 7 en 7 dan ben je erg blij en erg bedroefd en scoor je hoog (7) op mixed
emotions.
Hypothese formulering
H0 : μniet = μwel
Ha : μniet is niet μwel
Waarbij μniet en μwel de gemiddelde scores op mixed emotions in de populaties
behorende bij de "niet" en "wel" groep weergeven.
Data verzameling
Nadat er een steekproef getrokken is en mensen over de controle en
experimentele condities verdeeld zijn, moeten de gegevens verzameld worden.
In onderhavige onderzoek is elke student gevraagd naar de happiness en
saddness op een 7-punts schaal lopend van not-at-all tot extremely.
,Hypothese evualatie
Er zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
1. Ten eerste zal de Nul Hypothese Significantie Toetsing (NHST) kort herhaald
worden.
2. Ten tweede zal de Bayesiaanse hypothese evaluatie gepresenteerd worden.
Nul Hypothese significantie toetsing
- Hypotheses worden getest met de t-toets
- P-waarde; de p-waarde is de kans op het verschil in gemiddelden zoals
gevonden in de steekproef of een groter verschil, onder de aanname dat
H0: uniet = uwel
- Effectgrootte: het gestandaardiseerde verschil tussen de gemiddelden,
Cohen’s d: Cohen’s d = Mniet – Mwel / pooled-sd, oftewel, het aantal standaard
deviaties dat de twee gemiddelden van elkaar verschillen
noot: cohen’s d kan berekend worden m.b.v. de gemiddelden voor de
wel en niet groepen en de sd (de wortel uit de mean squared error) zoals
deze door zowel SPSS als JASP gegeven worden.
- Let op: geef altijd aan hoeveel mensen er in de groep zitten, je mag nooit
een eyeball test doen (je moet een statistische toets doen!), je zegt nooit
we accepteren de nulhypothese je zegt je verwerpt hem niet.
Nylhopthese significantie toetsing: type 1 en type 2 fouten
- Alpha, α: de kans op een type 1 fout α staat gebruikelijk op .05 (dat wil
zeggen dat we accepteren een kans van .05 dat we H0 tenonrechte verwerpen
- Power: de power (1 – kans op type II fout) staat gebruikelijk op .80 (dat wil
zeggen, we willen een kans van ,80 dat we h 0 terecht verwerpen
Nul hypothese significantie toetsing: power analyse
Steekproefgroottes per groep voor een power van .80
, 1. Bij een poweranalyse bepaal je hoe groot je steekproef moet zijn. Je moet aangeven
wat voor effect size je verwacht. De meeste wetenschappers gaan uit van een medium
effectsize.
2. Voor een power van .80: Je kijkt bij .05. De effectsizes die meestal in gedrags en
sociaal wetenschappelijk onderzoek moeten worden gevonden liggen tussen de .20 en
de .50. Met α = .05 zijn er dus minstens 64 personen per groep nodig
3. In het mixed-emotions onderzoek zijn de steekproefgroottes (59 en 51 studenten per
groep) kleiner...
Nul hypothese significantie toetsing: rapportage
- De t-test (t = -2.36, df = 108) resulteerde in een p-waarde van .02.
Aangezien deze kleiner is dan .05 wordt H0 verworpen. Cohen’s d is -.45
dat is ruwweg een medium effect size waarbij de mixed emotions in de
"niet" groep lager liggen dan in de "wel" groep.
De replicatie crisis
Drie observaties
1. De originele studie heeft p<.05, de replicatie studie heeft p>.05
2. De originele studie heeft d=.45, de replicatie studie heeft d=.01
, 3. De replicatie studie heeft met 110 studenten per groep een power groter van .80 om
een effect size van d=.45 te kunnen ontdekken. Het resultaat van de replicatie studie is
dan ook geen type II fout
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van
wetenschappelijk onderzoek vaak niet repliceerbaar blijken. Twee van de
oorzaken zullen nu besproken worden: sloppy science (questionable research
practices) en publicatie bias.
Replicatie crisis: sloppy science
Sloppy science is bv. zorgen dat je p-waarde onder de .02 uitkomt. Hier tegen
kan je preregistreren (dus alles van tevoren vastleggen)
De replicatie crisis: publicatie bias
- Publicatie bias ligt niet bij de onderzoekers, maar bij de tijdschrijften
- Tijdschriften publiceren vooral significante resultaten, dus onderzoekers weten ook
niet welk onderzoek er al is gedaan. Uiteindelijk komt er dan wel iemand met bewijs
en een p-waarde kleiner dan .05.
- Publicatie bias is het publiceren van onderzoek gebaseerd op Type I
fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy
science.
Beyesiaanse hypothese evaluatie: de bayes factor
Gedurende de replicatie crisis ontstond er in toenemende mate aandacht voor de
Bayes factor als alternatief voor NHST. Niet dat daarmee alle problemen worden
vermeden, maar de Bayes factor komt voort uit een ander perspectief op
statistiek en het is goed ook dat perspectief te kennen.
