MCOS Hoorcolleges
Week 8 - Hoorcollege 11 - experimenteel onderzoek
Experimenteel onderzoek
⇨ “De onderzoeker manipuleert de onafhankelijke variabele(n)”
⇨ Onafhankelijke variabele: wordt gemanipuleerd door de onderzoeker
⇨ Zeer geschikt voor vaststellen causaliteit
Causaliteit = heeft een oorzaak en gevolg
manipuleert = systematisch ‘iets’ veranderen en vergelijken
Doel is causaliteit vaststellen (oorzaak gevolg effecten)
3 voorwaarden:
1. Covariatie: een (statistisch) verband tussen X en Y
→ Is er een samenhang tussen X en Y?
2. Chronologie: X gaat vooraf aan Y
→ Kan dat wel door X komen?
3. Uitsluiten alternatieve verklaringen: Covariatie tussen
→ Komt het niet door iets anders?
Correlatie is dus geen causaliteit
Pas dus op met surveyonderzoek (Dat is namelijk één meetmoment)
Als ik manipuleer, heb ik dus zekerheid over de eerste twee criteria in causaliteit
Goed manipuleren = Verander één ding en hou de rest gelijk
Confound
Confounding variabelen zijn variabelen die samenhangen met manipulaties.
⇨ De variabelen zijn verward
⇨ Er is iets wat verschilt naast datgene wat ik manipuleer
⇨Je kan dan niet meer met zekerheid zeggen of een verschil veroorzaakt wordt door
de manipulatie of de confounding variabele
⇨ Note: Confounds zijn niet alleen persoonseigenschappen, het kan alles zijn (dag
van de week, locatie, etc).
Confounds voorkomen: Stap 1, Toewijzingsstrategie
Optie 1: Homogeniseren: alleen mensen met een bepaalde eigenschap laten meedoen aan
het onderzoek.
Probleem: Lage representativiteit
Groter probleem (!): Je kan belangrijke eigenschappen over het hoofd zien
Optie 2: Matchen: Groepsamenstelling voor bepaalde eigenschappen gelijk maken.
- Precisiematching: Koppels van ‘hele gelijke mensen’ maken en op basis van
die koppels mensen in twee groepen verdelen.
- Globale Matching: Globaal eigenschappen over groepen gelijk maken.
(evenveel mannen/vrouwen, oude/jonge, etc. in de groepen)
Probleem: Steeds lastiger bij matching voor meer eigenschappen
Groter probleem (!): Je kan belangrijke eigenschappen over het hoofd zien
,De beste optie:
Randomiseren: Participanten random toewijzen aan groepen.
Probleem: niet altijd mogelijk
Maar (!): Bij voldoende mensen zijn op groepsniveau alle eigenschappen gelijk (op
groepsniveau)
- Je hebt precies dezelfde kans om in de ene groep of in de ander kopen.
- Ze zijn dus waarschijnlijk inkwivalent
- Dus geen alternatieve verklaringen (counfounds) door eigenschappen van
participanten
Als het kan wil je dus random toewijzen!
Confounds voorkomen: Stap 2, Achteraf controleren
Zijn de groepen inderdaad vergelijkbaar op de variabelen die ik gemeten heb?
Note: Confounds kunnen ook ontstaan binnen stimulusmateriaal!
Voorbeeld: Hou zoveel mogelijk gelijk
Meestal kijken we met causaliteit naar effecten en vaak voorspellende onderzoeksvragen.
Experimenteel onderzoek is dus geschikt voor het meten van causaliteit
,Bouwstenen van een experiment
O = Observaties
X = Manipulaties
R = Random toewijzen aan condities
Soorten experimenten: (die zijn anders ingericht, ook wel design)
Design = inrichting/vormgeving experiment. Wat ga je vergelijken?
Met verschillende designs geven verschillende mate van ‘controle’
Dit betekent de mogelijkheid die wij hebben om de alternatieve verklaringen uit te sluiten.
1. One Group pretest-posttest design
⇨ Geen aselecte toewijzingen (geen random toewijzing)
⇨ Weinig controle
Vergelijkt voor- en nameting
O1 X O2
→ Probleem: Veel alternatieve verklaringen blijven mogelijk. Niet manipulatie, maar
iets anders veroorzaakt een verschil (e.g., extern voorval; rijping; test-effect)
2. Two-group posttest design
⇨ Geen aselecte toewijzing
⇨ Weinig controle
X O1 Vergelijkt twee groepen
O1
→ Probleem: Nog steeds, veel alternatieve verklaringen blijven mogelijk. Niet
manipulatie, maar iets anders veroorzaakt een verschil (e.g., bestond het verschil al?
eigenschappen van de groepen)
3. Two-group random assignment pretest-posttest design
⇨ Wel aselecte toewijzing
⇨ Veel controle
R O1 X O2
R O1 O2
● Vergelijkt voor- en nametingen van twee groepen
Zuiver Experiment
⇨ wel aselecte toewijzing
⇨ Veel controle
We zijn banger voor test effecten
4. Two-group random assignment posttest design (komt het meest voor)
⇨ Wel asellecte toewijzing
⇨ Wel controle
R X O1
R O1
*Vergelijk nametingen van twee groepen
, 5. Het beste Design ooit bedacht = Solomon Four-Group Design
Is alleen vaak te duur, te veel mensen nodig
R O1 X O2
R O1 O2
R X O1
R O1
(!) Je moet kunnen tekenen en ook de alternatieve verklaringen kan bedenken
Niet op in gegaan in het hoorcollege:
Time series analysis
O1 O2 O3X O4 O5 O6
Factorial Designs
- Meerdere manipulaties willen onderzoeken
- Het aantal factoren is het aantal manipulaties
Between-subjects versus within-subjects designs
1. Between-subjects: Vergelijk meerdere groepen mensen met elkaar
Kijk naar verschillen tussen mensen op groepsniveau
(two group posttest design)
2. Within-subjects: Vergelijk één groep op meerdere momenten
Kijk naar verschillen binnen mensen, vergelijk een persoon met zichzelf
(bijvoorbeeld voor en na een manipulatie)
(one-group Pretest-posttest design)
Week 8 - Hoorcollege 11 - experimenteel onderzoek
Experimenteel onderzoek
⇨ “De onderzoeker manipuleert de onafhankelijke variabele(n)”
⇨ Onafhankelijke variabele: wordt gemanipuleerd door de onderzoeker
⇨ Zeer geschikt voor vaststellen causaliteit
Causaliteit = heeft een oorzaak en gevolg
manipuleert = systematisch ‘iets’ veranderen en vergelijken
Doel is causaliteit vaststellen (oorzaak gevolg effecten)
3 voorwaarden:
1. Covariatie: een (statistisch) verband tussen X en Y
→ Is er een samenhang tussen X en Y?
2. Chronologie: X gaat vooraf aan Y
→ Kan dat wel door X komen?
3. Uitsluiten alternatieve verklaringen: Covariatie tussen
→ Komt het niet door iets anders?
Correlatie is dus geen causaliteit
Pas dus op met surveyonderzoek (Dat is namelijk één meetmoment)
Als ik manipuleer, heb ik dus zekerheid over de eerste twee criteria in causaliteit
Goed manipuleren = Verander één ding en hou de rest gelijk
Confound
Confounding variabelen zijn variabelen die samenhangen met manipulaties.
⇨ De variabelen zijn verward
⇨ Er is iets wat verschilt naast datgene wat ik manipuleer
⇨Je kan dan niet meer met zekerheid zeggen of een verschil veroorzaakt wordt door
de manipulatie of de confounding variabele
⇨ Note: Confounds zijn niet alleen persoonseigenschappen, het kan alles zijn (dag
van de week, locatie, etc).
Confounds voorkomen: Stap 1, Toewijzingsstrategie
Optie 1: Homogeniseren: alleen mensen met een bepaalde eigenschap laten meedoen aan
het onderzoek.
Probleem: Lage representativiteit
Groter probleem (!): Je kan belangrijke eigenschappen over het hoofd zien
Optie 2: Matchen: Groepsamenstelling voor bepaalde eigenschappen gelijk maken.
- Precisiematching: Koppels van ‘hele gelijke mensen’ maken en op basis van
die koppels mensen in twee groepen verdelen.
- Globale Matching: Globaal eigenschappen over groepen gelijk maken.
(evenveel mannen/vrouwen, oude/jonge, etc. in de groepen)
Probleem: Steeds lastiger bij matching voor meer eigenschappen
Groter probleem (!): Je kan belangrijke eigenschappen over het hoofd zien
,De beste optie:
Randomiseren: Participanten random toewijzen aan groepen.
Probleem: niet altijd mogelijk
Maar (!): Bij voldoende mensen zijn op groepsniveau alle eigenschappen gelijk (op
groepsniveau)
- Je hebt precies dezelfde kans om in de ene groep of in de ander kopen.
- Ze zijn dus waarschijnlijk inkwivalent
- Dus geen alternatieve verklaringen (counfounds) door eigenschappen van
participanten
Als het kan wil je dus random toewijzen!
Confounds voorkomen: Stap 2, Achteraf controleren
Zijn de groepen inderdaad vergelijkbaar op de variabelen die ik gemeten heb?
Note: Confounds kunnen ook ontstaan binnen stimulusmateriaal!
Voorbeeld: Hou zoveel mogelijk gelijk
Meestal kijken we met causaliteit naar effecten en vaak voorspellende onderzoeksvragen.
Experimenteel onderzoek is dus geschikt voor het meten van causaliteit
,Bouwstenen van een experiment
O = Observaties
X = Manipulaties
R = Random toewijzen aan condities
Soorten experimenten: (die zijn anders ingericht, ook wel design)
Design = inrichting/vormgeving experiment. Wat ga je vergelijken?
Met verschillende designs geven verschillende mate van ‘controle’
Dit betekent de mogelijkheid die wij hebben om de alternatieve verklaringen uit te sluiten.
1. One Group pretest-posttest design
⇨ Geen aselecte toewijzingen (geen random toewijzing)
⇨ Weinig controle
Vergelijkt voor- en nameting
O1 X O2
→ Probleem: Veel alternatieve verklaringen blijven mogelijk. Niet manipulatie, maar
iets anders veroorzaakt een verschil (e.g., extern voorval; rijping; test-effect)
2. Two-group posttest design
⇨ Geen aselecte toewijzing
⇨ Weinig controle
X O1 Vergelijkt twee groepen
O1
→ Probleem: Nog steeds, veel alternatieve verklaringen blijven mogelijk. Niet
manipulatie, maar iets anders veroorzaakt een verschil (e.g., bestond het verschil al?
eigenschappen van de groepen)
3. Two-group random assignment pretest-posttest design
⇨ Wel aselecte toewijzing
⇨ Veel controle
R O1 X O2
R O1 O2
● Vergelijkt voor- en nametingen van twee groepen
Zuiver Experiment
⇨ wel aselecte toewijzing
⇨ Veel controle
We zijn banger voor test effecten
4. Two-group random assignment posttest design (komt het meest voor)
⇨ Wel asellecte toewijzing
⇨ Wel controle
R X O1
R O1
*Vergelijk nametingen van twee groepen
, 5. Het beste Design ooit bedacht = Solomon Four-Group Design
Is alleen vaak te duur, te veel mensen nodig
R O1 X O2
R O1 O2
R X O1
R O1
(!) Je moet kunnen tekenen en ook de alternatieve verklaringen kan bedenken
Niet op in gegaan in het hoorcollege:
Time series analysis
O1 O2 O3X O4 O5 O6
Factorial Designs
- Meerdere manipulaties willen onderzoeken
- Het aantal factoren is het aantal manipulaties
Between-subjects versus within-subjects designs
1. Between-subjects: Vergelijk meerdere groepen mensen met elkaar
Kijk naar verschillen tussen mensen op groepsniveau
(two group posttest design)
2. Within-subjects: Vergelijk één groep op meerdere momenten
Kijk naar verschillen binnen mensen, vergelijk een persoon met zichzelf
(bijvoorbeeld voor en na een manipulatie)
(one-group Pretest-posttest design)
