Hoorcollege 11.
Kennisclips
Bedreigingen interne validiteit – deelnemers
+ Maturation: alternatieve uitleg natuurlijke verandering men verandert;
oplossing: controle groep.
+ Selectie: systematische verschillen in participant hun karakteristieken.
oplossing: randomisatie
+ Selectie door maturation: systematische verschillen in mate maturation.
oplossing: randomisatie.
Bedreigingen interne validiteit – instrumenten
+ Lage construct validiteit: vindt plaats bij systematische bias/meting van ander construct
is je instrument valide? Voorwaarde voor interne validiteit.
+ Instrumentatie: instrument verandert gedurende de loop van de studie. is je instrument
valide?
+ Testen/sensitisatie: meting kan gedrag beïnvloeden. Geeft alternatieve verklaring
speciaal design met meerdere groepen met/zonder pretest.
Bedreigingen interne validiteit – kunstmatig
onnatuurlijke reactie bij het deelnemen aan het onderzoek van participant of
onderzoeker.
+ Wetenschapper hun verwachting: bias effect onderzoeker zijn verwachting onbewuste
verandering van gedrag onderzoeker. Beïnvloed participant zijn antwoorden.
+ Demand karakteristieken: onbewust gedragsverandering van participant. Participant moet
blind onderzoek ingaan ipv inlezen en onderzoeker helpen.
Bedreigingen externe validiteit
Is de hypothese geldig voor andere tijd, setting en mensen?
+ Geschiedenis: geobserveerd effect generaliseert niet naar andere tijden.
+ Setting: geobserveerd effect houdt alleen stand in specifieke setting onnatuurlijkheid:
a.) pretesten: geobserveerd effect is alleen wanneer er een pretest is gedaan;
b.) reactiviteit: participant/onderzoeker reageren op het feit dat ze in een onderzoek zitten.
+ Selectie: hypothese relatie houdt alleen stand voor bepaalde mensen of bias.
‘True’ experimenten
maximaliseren interne validiteit.
+ Essentiële ingrediënten:
a.) Manipulatie oorzaak heb jij onder controle;
b.) Vergelijking vergelijkt oorzaak – gevolg;
c.) Random toewijzen willekeurige mensen aan groepen toewijzen. Geen systematische
verschillen.
d.) Replicatie geen karakteristieken ‘true’ experiment. Vergt te verzekeren dat
randomisatie werkt.
Binnen onderzoeksdesign
+ Tussen: elke groep mensen wordt beïnvloed door een ‘between factor’ 1 set van
condities.
+ Binnen: individu wordt blootgesteld aan alle factoren condities worden gecombineerd.
+ Within factor: longitudinaal en herhalend.
1
,Manipulatie
Controle over onafhankelijke variable.
+ Waarde/niveau bepaald door onderzoeker.
+ Controle over externe variabelen sluit alternatieve verklaringen uit.
+ Experimentele variabele: onafhankelijke variabel is volledig onder controle.
+ Individual difference variables: innerlijk deel van participant wat niet onder controle kan
staan.
+ Controle van variabelen van desinteresse is ideaal. Het enige verschil is onafhankelijke
variabel ceteris paribus/al het andere gelijk.
+ Controle variabelen: worden constant gehouden.
+ Individuele verschillen variabelen kunnen niet onder controle worden gehouden.
Lab vs veldonderzoek
+ Lab maximaliseert interne validiteit vaak experimenteel.
+ Vaak lage ecologische validiteit hoe dicht labsetting correspondeert met een natuurlijke
setting. Is niet per se slecht.
Experimental realism: experimentele vertaling van natuurlijke setting.
+ Lage ecologische validiteit is geen lage construct en externe validiteit.
+ Veld: ongecontroleerde omgeving. Observeert natuurlijk gedrag. Niet experimenteel, maar
kan wel.
Randomisatie
+ Verwijdert alle systematische verschillen tussen participanten in verschillende staten.
+ Ongelijke distributie is nog steeds mogelijk.
+ Randomisatie check: is de distributie gelijk? Meting relevante variabelen.
Experimentele ontwerpen
1.) 2 groepen: willekeurige selectie in experimentele (oorzaak bekend) en controle (oorzaak
onbekend) groep.
2.) 2 groep pretest/posttest: pretest voor exposure.
handig bij maturation en geeft inzicht in grootte van verandering.
pretest kan participanten gevoelig maken; leiden tot praktisch effect; alarmeert tot doel
studie.
3.) Solomon 4 groep: je combineert 1 en 2.
4.) Binnen/herhaalde metingen: participanten zijn blootgesteld aan alle condities.
Willekeurige toewijzing op volgorde ervaarde condities.
Quasi experimentele ontwerpen
+ Geen willekeurige toewijzing, manipulatie of vergelijking. Je onderzoekt een causale
relatie.
+ Willekeurige toewijzing kan niet-praktisch of onethisch zijn.
Natuurlijke experimenten.
Bevat natuurlijke events of individuele verschillen van variabelen.
Geselecteerde waarden lijken op correlatie studies.
+ Statistische groep vergelijking: non-random toewijzing.
+ Pretest/posttest nonequivalent design: pretest toevoegen.
Treadwell & Davis h10
Experimenteren: 1 variabele manipuleren om te zien of een andere variabel er aan
gerelateerd verandert als resultaat.
Welk variabelen hebben causale relatie? Onderzoekers doen iets om te zien wat er
gebeurt ipv ernaar te vragen.
2
,Veroorzaakt A (onafhankelijk) B? Causale relatie
1. Tijdsgebonden;
2. Covariantie (met elkaar variëren);
3. Niet-spurieuze relatie (er is geen derde variabel in het spel).
Ecologische isomorfisme: tot hoever is experimentele conditie vergelijkbaar met echte wereld
wat het probeert te simuleren?
Meer verfijnde designs hebben groot aantal participanten nodig voor soms langere periode.
Natuurlijk experiment ex post facto design.
+ Je voert geen experiment uit, observeert alleen of x y beïnvloedt.
Uniek/ongebruikelijk iets observatie.
X = manipulatie variabele;
R = willekeurige toewijzing individu tot groep.
Ox = observatie x.
1 groep pretest/posttest design
Ox X Oy
2 groep pretest/posttest design
1. Ox X Oy
2. Ox Oy
2 groep random assignment pretest/posttest design
1. R Ox X Oy
2. R Ox X Oy
Solomon 4 groep design
1. R Ox X Oy
2. R Ox Oy
3. R X Oy
4. R Oy
Bij 3 bekijk je of pretest resultaten niet beïnvloedt. Bij 4 kijk je alleen de posttest.
Control groep: variabelen niet beïnvloed door experimentele variabelen (geen ‘x’).
Tijdelijke ordening: gebaseerd op tijd. A gaat vooraf B.
Factoriële designs: manipuleren 2+ variabelen binnen experimentele design.
Interne validiteit: causaal verband wordt niet door andere factoren beïnvloed.
Externe validiteit: vangt experiment de externe wereld op die onderzoeker onderzoekt?
Generaliseerbaar buiten jouw onderzoek.
Selectie bias: problemen bij niet-gelijke groepen.
Attrition: mensen stoppen met de studie.
Experimenter bias: (on)bewust leden selecteren voor een groep.
Hawthorne effect: effect die onderzoekers zelf hebben op een onderzoeksgroep.
3
, Manipulatiecheck: kijkt naar hoe respondenten de gemanipuleerde variabele interpreteren (in
de vorm van survey).
Online experimenten kunnen veel participanten werven op lage kosten, maar resultaten
kunnen worden beïnvloed door zelfselectie, meerdere inzendingen, dropouts en
tekortkoming aan contact tussen onderzoeker en participant.
Aantekeningen
Experimenteel onderzoek: wat is het effect van x op y? Onderzoeker manipuleert
onafhankelijke variabele.
Systematisch. Veranderen iets en kijken of er iets op reageert/gebeurt.
Dan kun je iets met zekerheid zeggen over causaliteit.
Uitsluiten van alternatieve verklaringen: random toewijzen en validiteit.
Systematisch iets veranderen en vergelijken. Kan op verschillende manieren -> Designs.
Goed manipuleren = 1 ding veranderen en de rest gelijk houden.
Toewijzen van participanten is een tool om alternatieve verklaringen uit te sluiten.
Confound (verwarren): variabelen die samenhangen met manipulaties. Je kan niet meer
zekerheid zeggen of een verschil veroorzaakt wordt door manipulatie of de confounding
variabele. Confounds kunnen van alles zijn (eigenschap, locatie, dag van de week, etc).
Confounds voorkomen: stap 1, toewijzingsstrategie
Homogeniseren: alleen participanten selecteren met bepaalde eigenschappen. Geen variatie
op belangrijke variabelen mogelijk. Probleem: lage representativiteit. Je kunt ook belangrijke
eigenschappen vergeten.
Matchen: groep samenstelling voor bepaalde eigenschappen gelijk maken.
Precisiematching: koppels van ‘hele gelijke mensen; maken en op basis van die koppels
mensen in 2 groepen verdelen.
Globale matching: globaal eigenschappen over groepen gelijk maken.
-> wordt steeds lastiger bij matching voor meer eigenschappen. Weer kun je belangrijke
eigenschappen over het hoofd zien.
Randomiseren: participanten willekeurig toewijzen aan groepen. Probleem: het kan niet
altijd.
Bij voldoende mensen zijn mensen op alle groepsniveaus vergelijkbaar.
Confounds voorkomen: Stap 2, achteraf controleren
-> Zijn de groepen inderdaad vergelijkbaar op de variabelen die ik heb gemeten? ->
randomisatiecheck.
-> Nee? Mogelijke confound (kun je voor controleren in de analyses).
Dit kan altijd.
Confounds kunnen ook ontstaan binnen stimulusmateriaal
Met afhankelijke variabele meten we of variabelen conformeren.
Soorten experimenten:
‘designs’: hoe ga ik mijn onderzoek vormgeven/inrichten -> hoe of wat ga je iets vergelijken?
Classificaties:
1. Pre-experiment
> Geen aselecte toewijzing
4
Kennisclips
Bedreigingen interne validiteit – deelnemers
+ Maturation: alternatieve uitleg natuurlijke verandering men verandert;
oplossing: controle groep.
+ Selectie: systematische verschillen in participant hun karakteristieken.
oplossing: randomisatie
+ Selectie door maturation: systematische verschillen in mate maturation.
oplossing: randomisatie.
Bedreigingen interne validiteit – instrumenten
+ Lage construct validiteit: vindt plaats bij systematische bias/meting van ander construct
is je instrument valide? Voorwaarde voor interne validiteit.
+ Instrumentatie: instrument verandert gedurende de loop van de studie. is je instrument
valide?
+ Testen/sensitisatie: meting kan gedrag beïnvloeden. Geeft alternatieve verklaring
speciaal design met meerdere groepen met/zonder pretest.
Bedreigingen interne validiteit – kunstmatig
onnatuurlijke reactie bij het deelnemen aan het onderzoek van participant of
onderzoeker.
+ Wetenschapper hun verwachting: bias effect onderzoeker zijn verwachting onbewuste
verandering van gedrag onderzoeker. Beïnvloed participant zijn antwoorden.
+ Demand karakteristieken: onbewust gedragsverandering van participant. Participant moet
blind onderzoek ingaan ipv inlezen en onderzoeker helpen.
Bedreigingen externe validiteit
Is de hypothese geldig voor andere tijd, setting en mensen?
+ Geschiedenis: geobserveerd effect generaliseert niet naar andere tijden.
+ Setting: geobserveerd effect houdt alleen stand in specifieke setting onnatuurlijkheid:
a.) pretesten: geobserveerd effect is alleen wanneer er een pretest is gedaan;
b.) reactiviteit: participant/onderzoeker reageren op het feit dat ze in een onderzoek zitten.
+ Selectie: hypothese relatie houdt alleen stand voor bepaalde mensen of bias.
‘True’ experimenten
maximaliseren interne validiteit.
+ Essentiële ingrediënten:
a.) Manipulatie oorzaak heb jij onder controle;
b.) Vergelijking vergelijkt oorzaak – gevolg;
c.) Random toewijzen willekeurige mensen aan groepen toewijzen. Geen systematische
verschillen.
d.) Replicatie geen karakteristieken ‘true’ experiment. Vergt te verzekeren dat
randomisatie werkt.
Binnen onderzoeksdesign
+ Tussen: elke groep mensen wordt beïnvloed door een ‘between factor’ 1 set van
condities.
+ Binnen: individu wordt blootgesteld aan alle factoren condities worden gecombineerd.
+ Within factor: longitudinaal en herhalend.
1
,Manipulatie
Controle over onafhankelijke variable.
+ Waarde/niveau bepaald door onderzoeker.
+ Controle over externe variabelen sluit alternatieve verklaringen uit.
+ Experimentele variabele: onafhankelijke variabel is volledig onder controle.
+ Individual difference variables: innerlijk deel van participant wat niet onder controle kan
staan.
+ Controle van variabelen van desinteresse is ideaal. Het enige verschil is onafhankelijke
variabel ceteris paribus/al het andere gelijk.
+ Controle variabelen: worden constant gehouden.
+ Individuele verschillen variabelen kunnen niet onder controle worden gehouden.
Lab vs veldonderzoek
+ Lab maximaliseert interne validiteit vaak experimenteel.
+ Vaak lage ecologische validiteit hoe dicht labsetting correspondeert met een natuurlijke
setting. Is niet per se slecht.
Experimental realism: experimentele vertaling van natuurlijke setting.
+ Lage ecologische validiteit is geen lage construct en externe validiteit.
+ Veld: ongecontroleerde omgeving. Observeert natuurlijk gedrag. Niet experimenteel, maar
kan wel.
Randomisatie
+ Verwijdert alle systematische verschillen tussen participanten in verschillende staten.
+ Ongelijke distributie is nog steeds mogelijk.
+ Randomisatie check: is de distributie gelijk? Meting relevante variabelen.
Experimentele ontwerpen
1.) 2 groepen: willekeurige selectie in experimentele (oorzaak bekend) en controle (oorzaak
onbekend) groep.
2.) 2 groep pretest/posttest: pretest voor exposure.
handig bij maturation en geeft inzicht in grootte van verandering.
pretest kan participanten gevoelig maken; leiden tot praktisch effect; alarmeert tot doel
studie.
3.) Solomon 4 groep: je combineert 1 en 2.
4.) Binnen/herhaalde metingen: participanten zijn blootgesteld aan alle condities.
Willekeurige toewijzing op volgorde ervaarde condities.
Quasi experimentele ontwerpen
+ Geen willekeurige toewijzing, manipulatie of vergelijking. Je onderzoekt een causale
relatie.
+ Willekeurige toewijzing kan niet-praktisch of onethisch zijn.
Natuurlijke experimenten.
Bevat natuurlijke events of individuele verschillen van variabelen.
Geselecteerde waarden lijken op correlatie studies.
+ Statistische groep vergelijking: non-random toewijzing.
+ Pretest/posttest nonequivalent design: pretest toevoegen.
Treadwell & Davis h10
Experimenteren: 1 variabele manipuleren om te zien of een andere variabel er aan
gerelateerd verandert als resultaat.
Welk variabelen hebben causale relatie? Onderzoekers doen iets om te zien wat er
gebeurt ipv ernaar te vragen.
2
,Veroorzaakt A (onafhankelijk) B? Causale relatie
1. Tijdsgebonden;
2. Covariantie (met elkaar variëren);
3. Niet-spurieuze relatie (er is geen derde variabel in het spel).
Ecologische isomorfisme: tot hoever is experimentele conditie vergelijkbaar met echte wereld
wat het probeert te simuleren?
Meer verfijnde designs hebben groot aantal participanten nodig voor soms langere periode.
Natuurlijk experiment ex post facto design.
+ Je voert geen experiment uit, observeert alleen of x y beïnvloedt.
Uniek/ongebruikelijk iets observatie.
X = manipulatie variabele;
R = willekeurige toewijzing individu tot groep.
Ox = observatie x.
1 groep pretest/posttest design
Ox X Oy
2 groep pretest/posttest design
1. Ox X Oy
2. Ox Oy
2 groep random assignment pretest/posttest design
1. R Ox X Oy
2. R Ox X Oy
Solomon 4 groep design
1. R Ox X Oy
2. R Ox Oy
3. R X Oy
4. R Oy
Bij 3 bekijk je of pretest resultaten niet beïnvloedt. Bij 4 kijk je alleen de posttest.
Control groep: variabelen niet beïnvloed door experimentele variabelen (geen ‘x’).
Tijdelijke ordening: gebaseerd op tijd. A gaat vooraf B.
Factoriële designs: manipuleren 2+ variabelen binnen experimentele design.
Interne validiteit: causaal verband wordt niet door andere factoren beïnvloed.
Externe validiteit: vangt experiment de externe wereld op die onderzoeker onderzoekt?
Generaliseerbaar buiten jouw onderzoek.
Selectie bias: problemen bij niet-gelijke groepen.
Attrition: mensen stoppen met de studie.
Experimenter bias: (on)bewust leden selecteren voor een groep.
Hawthorne effect: effect die onderzoekers zelf hebben op een onderzoeksgroep.
3
, Manipulatiecheck: kijkt naar hoe respondenten de gemanipuleerde variabele interpreteren (in
de vorm van survey).
Online experimenten kunnen veel participanten werven op lage kosten, maar resultaten
kunnen worden beïnvloed door zelfselectie, meerdere inzendingen, dropouts en
tekortkoming aan contact tussen onderzoeker en participant.
Aantekeningen
Experimenteel onderzoek: wat is het effect van x op y? Onderzoeker manipuleert
onafhankelijke variabele.
Systematisch. Veranderen iets en kijken of er iets op reageert/gebeurt.
Dan kun je iets met zekerheid zeggen over causaliteit.
Uitsluiten van alternatieve verklaringen: random toewijzen en validiteit.
Systematisch iets veranderen en vergelijken. Kan op verschillende manieren -> Designs.
Goed manipuleren = 1 ding veranderen en de rest gelijk houden.
Toewijzen van participanten is een tool om alternatieve verklaringen uit te sluiten.
Confound (verwarren): variabelen die samenhangen met manipulaties. Je kan niet meer
zekerheid zeggen of een verschil veroorzaakt wordt door manipulatie of de confounding
variabele. Confounds kunnen van alles zijn (eigenschap, locatie, dag van de week, etc).
Confounds voorkomen: stap 1, toewijzingsstrategie
Homogeniseren: alleen participanten selecteren met bepaalde eigenschappen. Geen variatie
op belangrijke variabelen mogelijk. Probleem: lage representativiteit. Je kunt ook belangrijke
eigenschappen vergeten.
Matchen: groep samenstelling voor bepaalde eigenschappen gelijk maken.
Precisiematching: koppels van ‘hele gelijke mensen; maken en op basis van die koppels
mensen in 2 groepen verdelen.
Globale matching: globaal eigenschappen over groepen gelijk maken.
-> wordt steeds lastiger bij matching voor meer eigenschappen. Weer kun je belangrijke
eigenschappen over het hoofd zien.
Randomiseren: participanten willekeurig toewijzen aan groepen. Probleem: het kan niet
altijd.
Bij voldoende mensen zijn mensen op alle groepsniveaus vergelijkbaar.
Confounds voorkomen: Stap 2, achteraf controleren
-> Zijn de groepen inderdaad vergelijkbaar op de variabelen die ik heb gemeten? ->
randomisatiecheck.
-> Nee? Mogelijke confound (kun je voor controleren in de analyses).
Dit kan altijd.
Confounds kunnen ook ontstaan binnen stimulusmateriaal
Met afhankelijke variabele meten we of variabelen conformeren.
Soorten experimenten:
‘designs’: hoe ga ik mijn onderzoek vormgeven/inrichten -> hoe of wat ga je iets vergelijken?
Classificaties:
1. Pre-experiment
> Geen aselecte toewijzing
4
