Hoorcollege 1, Experimenteel
Causaliteit en het gerandomiseerd experiment
Uit correlationeel onderzoek kan geen causaal verband worden getrokken
Voorwaarden causaliteit:
1. Covariance: er moet een (indirecte) relatie zijn tussen oorzaak en gevolg
2. Temporal predecence: de oorzaak moet in de tijd voorafgaan aan het gevolg
3. Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
• Goed door gerandomiseerde eigenschap
• Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart?
• Bedreiging van interne validiteit:
- design confounds
- of de gemanipuleerde variabele het enige verschil in de behandeling van de twee groepen is
- systematische of willekeurige fout
- selectie effect
- de groepen zijn bij aanvang niet van gelijke waarde
Gerandomiseerd experiment manier om te kunnen voldoen aan de 3 voorwaarden voor causaliteit
- Onderzoeksopzet waarbij:
o Door randomisatie de groepen hetzelfde worden verondersteld
o De onderzoeker 1 variabele manipuleert: onderzoeker bepaald de waarde van een variabele
van de ene groep en de waarde van dezelfde variabele van de andere groep daarna
andere variabele gemeten, onderzoeker kijkt wat effect van die behandeling was (varieert)
is er een verschil tussen de 2 groepen (verschillende ‘behandelingen’ gehad)
o De onderzoeker het effect daarvan op een andere variabele meet
! sprake van een relatie, wanneer er een verschil is tussen de uitkomsten van de twee groepen
Typen variabelen bij gerandomiseerd experiment:
1. Onafhankelijke variabele: gemanipuleerde variabele
o Wordt voorafgaand aan het experiment bepaald onderzoeker beslist welke waarde die
aanneemt
2. Afhankelijke variabele: gemeten variabele/uitkomst variabele
o Afhankelijk van de onafhankelijke variabele, welke waarde een participant is toegewezen
Onderzoekshypothese is geschreven vanuit de operationele variabele, niet de constructen
Manieren van toewijzing aan groepen:
1. Natuurlijke indeling/eigen keuze deelnemer
2. Op grond van bepaalde persoonskenmerken
3. Op basis van willekeur toegewezen randomiseren/willekeurige (random) toewijzing
niet door een mens toegewezen, maar computer of iets anders
Typen groepen in experimenten:
• Controlegroep
• Experimentele groep
• Placebogroep
,Doel van willekeurige toewijzing:
• Zorgen dat de gemiddelde scores en spreiding in scores op alle variabelen (zowel gemeten als
ongemeten), bij aanvang van het experiment vergelijkbaar zijn tussen de groepen
groepsgewijs kan je ervan uit gaan dat de groepen gelijkwaardig zijn
Problemen (met name) bij kleine steekproef:
• Groepen zijn niet altijd even groot
• Relevante kenmerken van deelnemers zijn niet gelijkmatig verdeeld over de condities
! Oplossing: complexere randomisatie methode
• Soms is randomisatie van deelnemers niet mogelijk:
- niet ethisch
- praktisch onhaalbaar
• Soms wel mogelijk, maar gaat het mis:
- contaminatie: vervuiling van de randomisatie
- deelnemers is experimentele groep vertellen deelnemers in controlegroep over deelname
- deelnemers houden zich niet aan behandeling
- beïnvloeding door de onderzoeker
Experimentele onderzoeksvraag, PICO
• PICO:
- Population
- Intervention: niveaus van de gemanipuleerde/onafhankelijke variabele, waar is naar gekeken
- Comparison: groepen die vergeleken worden
- Outcome: gemeten/afhankelijke variabele
! I+C gemanipuleerde variabele
Experimenteel onderzoeksontwerp en hypothese
Gerandomiseerd experiment: willekeurige toewijzing van deelnemers aan één van de conditie
R: randomiseren
N…: steekproefgrootte
Stappen voor steekproef vormen:
1. Aselecte steekproef invloed op externe validiteit
2. Randomiseren invloed op interne validiteit
Data-verzameling en analyse
Na het verzamelen van de data moet hier eerst naar worden gekeken uitschieters, grafiek
Nulhypothesetoetsing, hypothesen en
toetsingsgrootheid
Stappen NHST:
1. Formuleren hypothese
2. Keuze & berekenen toetsingsgrootheid
3. Kans bepalen op resultaat gegeven H0
4. Beslissing nemen over H0 & inhoudelijke conclusie
, 1. Formuleren statistische hypothese
• Naast de onderzoekshypothese, stelt de onderzoeker de nulhypothese op:
- geen effect
- geen verschil
- geen relatie
• In de statistiek worden hypothesen vaak in symbolen opgeschreven
- voor populatie en steekproeven worden verschillende symbolen gebruikt
- populatiegemiddelde: μ
• M.b.v. symbolen worden de hypothesen omgezet in statistische hypothesen:
- H0 (nulhypothese): μ … = μ … (gemiddelden gelijk)
- HA (alternatieve hypothese): μ … ≠ μ …
! Hypothese gaat over de populatie, niet de steekproef
Soorten hypotheses:
1. Onderzoekshypothese
2. Geoperationaliseerde hypothese
3. Statistische hypothese
4. Nulhypothese
2. Keuze & berekenen toetsingsgrootheid te maken met validiteit onderzoek
• Soort toets hangt af van het meetniveau van de gemeten variabelen
• Op basis van de hypothesen (onderzoeksvraag en operationalisatie) kiest een onderzoeker de juiste
toetsprocedure
• Als de gemiddelde scores (interval/ratio) van twee onafhankelijke groepen worden vergeleken:
t-toets voor onafhankelijke groepen: gebruikt om te kijken of het gemiddelde van een bepaalde
populatie gelijk is aan het gemiddelde van de andere populatie
! Met de t-toets wordt het relatieve verschil tussen de twee groepen bepaald op grond van:
- verschil in gemiddelden tussen de groepen: M 1−M 2
- de spreiding in scores in de groepen: SD 1 en SD 2
- de grootte van de groepen: n1 en n2
3. Kans bepalen resultaat gegeven H0
• Met behulp van de t-verdeling kunnen onderzoekers de p-waarde bepalen
- herhaling p-waarde:
- p-waarde = overschrijdingskans: meet onder de aanname dat H0 waar is, wat de kans is dat er
een waarde geobserveerd wordt nog verder van 0 dan degene die geobserveerd is
- Wat is de kans dat de geobserveerde waarde, of extremer, vindt in het geval dat de
nulhypothese waar is
- meet mate van overeenkomst met de nul-situatie
4. Beslissing nemen over H0
• Statistische hypothesen:
- H0: μ … = μ … (gemiddelden gelijk)
- HA: μ … ≠ μ …
Causaliteit en het gerandomiseerd experiment
Uit correlationeel onderzoek kan geen causaal verband worden getrokken
Voorwaarden causaliteit:
1. Covariance: er moet een (indirecte) relatie zijn tussen oorzaak en gevolg
2. Temporal predecence: de oorzaak moet in de tijd voorafgaan aan het gevolg
3. Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
• Goed door gerandomiseerde eigenschap
• Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart?
• Bedreiging van interne validiteit:
- design confounds
- of de gemanipuleerde variabele het enige verschil in de behandeling van de twee groepen is
- systematische of willekeurige fout
- selectie effect
- de groepen zijn bij aanvang niet van gelijke waarde
Gerandomiseerd experiment manier om te kunnen voldoen aan de 3 voorwaarden voor causaliteit
- Onderzoeksopzet waarbij:
o Door randomisatie de groepen hetzelfde worden verondersteld
o De onderzoeker 1 variabele manipuleert: onderzoeker bepaald de waarde van een variabele
van de ene groep en de waarde van dezelfde variabele van de andere groep daarna
andere variabele gemeten, onderzoeker kijkt wat effect van die behandeling was (varieert)
is er een verschil tussen de 2 groepen (verschillende ‘behandelingen’ gehad)
o De onderzoeker het effect daarvan op een andere variabele meet
! sprake van een relatie, wanneer er een verschil is tussen de uitkomsten van de twee groepen
Typen variabelen bij gerandomiseerd experiment:
1. Onafhankelijke variabele: gemanipuleerde variabele
o Wordt voorafgaand aan het experiment bepaald onderzoeker beslist welke waarde die
aanneemt
2. Afhankelijke variabele: gemeten variabele/uitkomst variabele
o Afhankelijk van de onafhankelijke variabele, welke waarde een participant is toegewezen
Onderzoekshypothese is geschreven vanuit de operationele variabele, niet de constructen
Manieren van toewijzing aan groepen:
1. Natuurlijke indeling/eigen keuze deelnemer
2. Op grond van bepaalde persoonskenmerken
3. Op basis van willekeur toegewezen randomiseren/willekeurige (random) toewijzing
niet door een mens toegewezen, maar computer of iets anders
Typen groepen in experimenten:
• Controlegroep
• Experimentele groep
• Placebogroep
,Doel van willekeurige toewijzing:
• Zorgen dat de gemiddelde scores en spreiding in scores op alle variabelen (zowel gemeten als
ongemeten), bij aanvang van het experiment vergelijkbaar zijn tussen de groepen
groepsgewijs kan je ervan uit gaan dat de groepen gelijkwaardig zijn
Problemen (met name) bij kleine steekproef:
• Groepen zijn niet altijd even groot
• Relevante kenmerken van deelnemers zijn niet gelijkmatig verdeeld over de condities
! Oplossing: complexere randomisatie methode
• Soms is randomisatie van deelnemers niet mogelijk:
- niet ethisch
- praktisch onhaalbaar
• Soms wel mogelijk, maar gaat het mis:
- contaminatie: vervuiling van de randomisatie
- deelnemers is experimentele groep vertellen deelnemers in controlegroep over deelname
- deelnemers houden zich niet aan behandeling
- beïnvloeding door de onderzoeker
Experimentele onderzoeksvraag, PICO
• PICO:
- Population
- Intervention: niveaus van de gemanipuleerde/onafhankelijke variabele, waar is naar gekeken
- Comparison: groepen die vergeleken worden
- Outcome: gemeten/afhankelijke variabele
! I+C gemanipuleerde variabele
Experimenteel onderzoeksontwerp en hypothese
Gerandomiseerd experiment: willekeurige toewijzing van deelnemers aan één van de conditie
R: randomiseren
N…: steekproefgrootte
Stappen voor steekproef vormen:
1. Aselecte steekproef invloed op externe validiteit
2. Randomiseren invloed op interne validiteit
Data-verzameling en analyse
Na het verzamelen van de data moet hier eerst naar worden gekeken uitschieters, grafiek
Nulhypothesetoetsing, hypothesen en
toetsingsgrootheid
Stappen NHST:
1. Formuleren hypothese
2. Keuze & berekenen toetsingsgrootheid
3. Kans bepalen op resultaat gegeven H0
4. Beslissing nemen over H0 & inhoudelijke conclusie
, 1. Formuleren statistische hypothese
• Naast de onderzoekshypothese, stelt de onderzoeker de nulhypothese op:
- geen effect
- geen verschil
- geen relatie
• In de statistiek worden hypothesen vaak in symbolen opgeschreven
- voor populatie en steekproeven worden verschillende symbolen gebruikt
- populatiegemiddelde: μ
• M.b.v. symbolen worden de hypothesen omgezet in statistische hypothesen:
- H0 (nulhypothese): μ … = μ … (gemiddelden gelijk)
- HA (alternatieve hypothese): μ … ≠ μ …
! Hypothese gaat over de populatie, niet de steekproef
Soorten hypotheses:
1. Onderzoekshypothese
2. Geoperationaliseerde hypothese
3. Statistische hypothese
4. Nulhypothese
2. Keuze & berekenen toetsingsgrootheid te maken met validiteit onderzoek
• Soort toets hangt af van het meetniveau van de gemeten variabelen
• Op basis van de hypothesen (onderzoeksvraag en operationalisatie) kiest een onderzoeker de juiste
toetsprocedure
• Als de gemiddelde scores (interval/ratio) van twee onafhankelijke groepen worden vergeleken:
t-toets voor onafhankelijke groepen: gebruikt om te kijken of het gemiddelde van een bepaalde
populatie gelijk is aan het gemiddelde van de andere populatie
! Met de t-toets wordt het relatieve verschil tussen de twee groepen bepaald op grond van:
- verschil in gemiddelden tussen de groepen: M 1−M 2
- de spreiding in scores in de groepen: SD 1 en SD 2
- de grootte van de groepen: n1 en n2
3. Kans bepalen resultaat gegeven H0
• Met behulp van de t-verdeling kunnen onderzoekers de p-waarde bepalen
- herhaling p-waarde:
- p-waarde = overschrijdingskans: meet onder de aanname dat H0 waar is, wat de kans is dat er
een waarde geobserveerd wordt nog verder van 0 dan degene die geobserveerd is
- Wat is de kans dat de geobserveerde waarde, of extremer, vindt in het geval dat de
nulhypothese waar is
- meet mate van overeenkomst met de nul-situatie
4. Beslissing nemen over H0
• Statistische hypothesen:
- H0: μ … = μ … (gemiddelden gelijk)
- HA: μ … ≠ μ …
