Applied Research Methods D&H - Hoorcollege Aantekeningen

Applied Research Methods: D&H
Hoorcollege 1 – Algemene onderwerpen & statistische power


Wetenschappelijk onderzoek en theorie:
- Types wetenschappelijk onderzoek:
o Observaties: fenomenen vinden (denk bv. aan Pavlov).
o Correlaties en quasi-experimenten: relaties vinden (maar niet verklaren).
o Experimenten: causale verklaringen vinden.
o Alle types  ontwikkelen en testen van theorieën over ervaring en gedrag.
- Hoe onderscheid je een goed onderzoek van een slechte?
o Precisie.
o Parsimony (simpelheid; zo min mogelijk aannames).
o Testbaarheid en falsifieerbaarheid.


Validiteit van wetenschappelijk onderzoek:
- Types validiteit:
o Interne validiteit: heeft de interventie de resultaten bereikt (en dus niet een
confound variabele)?
o Externe validiteit: in hoeverre kunnen de resultaten gegeneraliseerd worden?
o Constructvaliditeit: welk aspect van de interventie heeft de resultaten
veroorzaakt?
o Statistische validiteit: zijn de statistische conclusies correct?


Correlationeel onderzoek:
- Correlationele onderzoeksvragen:
o Hoe erg zijn twee variabelen gerelateerd?  Correlatie.
o Hoe kan ik de ene variabele voorspellen als ik de ander weet?  Regressie.
- Hoe kan dit gebruikt en geïnterpreteerd worden?
o Correlatie; richting en grootte.
o Regressie; voorspelling.
- Pas op voor causale interpretaties!!


Correlatie en causaliteit:
- Voorbeeld van het causaliteitprobleem:
o Depressieve mensen denken negatiever over hunzelf dan over anderen  Je
weet niet wat wat veroorzaakt (wellicht zelfs derde variabele voor beide).
- De relatie is niet symmetrisch:
o Als causaliteit, dan correlatie (maar niet andersom!).
o Correlatie is dus een voorwaarde voor causaliteit.
- Temporale volgorde voorspelt causaliteit ook niet!

, - De enige manier om een causale relatie te vinden is met een experiment.
Variabelen in experimenten:
- Onafhankelijke variabelen (gemanipuleerd door experimentator):
o Wat is een goede OV?
 Het moet waarschijnlijk causaal zijn (verwachting) en gemanipuleerd
kunnen worden.
o Hoe veel niveaus?
- Afhankelijke variabele (gemeten door experimentator):
o Wat is een goede AV?
 Het moet waarschijnlijk een effect hebben (verband met OV) en
gemeten kunnen worden (+ constructvaliditeit).
o Wees bewust van vloereffecten en plafondeffecten (bv. allemaal lage scores
bij een te moeilijke test).
- Controlevariabelen (gecontroleerd door experimentator):
o Houdt deze constant.
o Je kunt ze omzetten tot onafhankelijke variabelen (bv. gender; dit kun je niet
manipuleren, dus is bv. een OV uit een quasi-experiment).


Between vs. within subject:
- Between-subjects design (onafhankelijke groepen):
o Elk subject ervaart slechts één niveau van de onafhankelijke variabele.
 Willekeurige toewijzing! Dit sluit confounded variabelen uit.
- Within-subjects design (Repeated Measures):
o Elk subject ervaart elk niveau van de onafhankelijke variabele.
 Volgorde effecten?


Problemen bij experimentele designs:
- Met name kritisch in klinische psychologie:
o Quasi-experimenten (correlationeel) i.p.v. willekeurige toewijzing.
o Externe validiteit:
 Lab vs. dagelijks leven.
 Patiënt vs. analoge populaties.
o Lage samplegrootte  lage statistische power.


Effectgrootte en statistische power; waarom?
- Hoe veel deelnemers heb ik waarschijnlijk nodig in mijn onderzoek?
- Waarom brengen zo veel experimenten in psychologie non-significante resultaten
op?
- Waarom kan ik beter niet veel van de significante resultaten geloven waar ik over
lees?

,Twee typen errors (problemen bij
generaliseren van kleine sample naar
populatie):




Wat zijn effectgrootte en statistische power?
- Effectgrootte:
o Hoe groot is een verschil / correlatie / relatie?
- Statistische power:
o Wat is de waarschijnlijkheid dat dit effect statistisch significant zal zijn in een
experiment?
- Situaties:
o Experiment in voorbereiding  Bepaal nodige samplegrootte.
o Experiment afgerond  Bepaal power van het experiment.
o Evaluatie van gepubliceerde studies  Zijn de effecten echt?


Cohen’s d als simpel voorbeeld van effectgroottes:
- Situatie: 2 groepen vergelijken met een t-toets.




- d = .20 is klein, d = .50 is medium en d =
.80 is groot.


Wat beïnvloedt power?
- Effectgrootte  Grotere effecten zijn makkelijker te vinden.
- Samplegrootte  Effecten zijn makkelijker te vinden bij meer deelnemers.
- Alfa error  Toegenomen alfa-error vermindert bèta-error.

, Voorbeeld van bepalen van samplegrootte vóór een
experiment:
- Vergelijking van twee groepsgemiddelden met
een tweezijdige t-toets.
- Wat is de nodige samplegrootte van elke
groep om ongeveer een power van 1-ß = .75
te bereiken?
o Dit wil zeggen; als er een effect is, wil
je ten minste driekwart kans hebben
om die te vinden.
- Zie tabel; de effectgroottes zijn belangrijker
dan de samplegroottes.


Wat metingen van effectgrootte:
- T-toets  d.
- ANOVA  f (f = d/2) of partial eta2 (percentage van verklaarde variantie).
- Correlatie  r (Pearsons correlatiecoëfficiënt).
o De correlatie zelf is dus een meting voor effectgrootte (hoe dichter bij 0 hoe
kleiner & groot wanneer het 1 of -1 nadert).


Waarom worden er zo veel kleine onderzoeken met grote effecten gepubliceerd?
1) Random fluctuatie van effecten in samples (overschattingen of onderschattingen van
het werkelijke populatie-effect).
o Kleinere sample = meer fluctuatie.
2) Publicatiebias met voorkeur voor significante effecten.
o Het gemiddelde effect van publicatie in tijdschriften ligt hoger dan het
werkelijke gemiddelde.
o Soms moet d namelijk groter zijn dan het werkelijke populatie-effect om
p = .05 te krijgen (bij kleine samples).
 Dan worden vaak alleen artikelen gepubliceerd die toevallig een groter
effect lieten zien dan het werkelijk is (meestal niet te repliceren).
Wat kunnen we leren van onderzoeken met kleine samples? Bijna niks!




Als je leest kun je rood niet van groen
onderscheiden.