Experimenteel onderzoek KOM
HC 10: Experimenteel onderzoek 1
Causaliteit en het gerandomiseerde experiment
Waarom zijn onderzoekers geïnteresseerd in causale verbanden? -> Begrijpen hoe de
(sociale) werkelijkheid in elkaar zit -> beïnvloeden werkelijkheid.
Van correlationeel -> causaal verband. Langs de drie voorwaarden voor causaliteit:
1. Covariance: er moet een (indirecte) relatie zijn tussen oorzaak en gevolg.
2. Temporal precedence: de oorzaak moet in tijd voorafgaan aan het gevolg.
3. Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten.
Beste manier om te kunnen voldoen aan de drie voorwaarden -> gerandomiseerd
experiment: groepen die gebruikt worden voor het onderzoek moeten door randomisatie tot
stand komen. Onderzoeksopzet waarbij:
Door randomisatie (niemand heeft enige invloed) de groepen hetzelfde worden
verondersteld.
De onderzoeker één variabele manipuleert (varieert). Onderzoeker bepaalt waarde
van de variabele.
De onderzoeker het effect daarvan op een andere variabele meet.
Is er een verschil tussen de twee groepen? De ene heeft de ene behandeling gehad,
de ander de ander (onderzoeker manipuleert).
Gemanipuleerde variabele = onafhankelijke variabele. De onderzoeker beslist al van te
voren van het onderzoek wat de waarde is van deze variabele.
Gemeten variabele = uitkomst/afhankelijke variabele.
1. Covariance:
Variabelen op interval/ratio meetniveau -> correlatie. Er is sprake van een relatie als er een
verschil is tussen twee groepen/variabelen.
Onderzoekshypothese is altijd geschreven a.d.h.v. geoperationaliseerde variabelen (scores),
niet a.d.h.v. de constructen. Onderzoeksvraag gaat wel over constructen.
2. Temporal precedence: de oorzaak moet in tijd voorafgaan aan het gevolg.
In een experiment kan de onderzoeker er voor zorgen dat oorzaak vooraf gaat aan gevolg.
Door de manipulatie uit te voren voorafgaan aan de meting van de afhankelijke variabele.
3. Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten.
Meest moeilijke. Is het wel de gemanipuleerde variabele die het verschil tussen de groepen
verklaart of is er een alternatieve verklaring? Alleen mogelijk met gerandomiseerd
experiment -> groepen aan begin experiment gelijk zijn.
Bedreigingen van interne validiteit (confounding):
Design confounds: was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen? In ontwerp niet goed gegaan, worden de groepen
wel hetzelfde behandeld? Als er nog een ander verschil is dan al vanuit wordt
gegaan, kan dat de alternatieve verklaring zijn voor de correlatie.
, Selectie effect: waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment? Kan qua grootte of qua kenmerken (meiden/jongens). Als de groepen
toch niet gelijkwaardig zijn -> kan een andere alternatieve verklaring voor de
correlatie zijn -> selectie effect.
Er kunnen altijd wel kleine verschillen zijn tussen experimenten maar het gaat er vooral om:
zijn het willekeurige verschillen, of systematische verschillen? Bij systematische verschillen -
> kan een alternatieve verklaring mogelijk zijn.
Hoe worden groepen ingedeeld?
Natuurlijke indeling/eigen keuze deelnemers?
Op grond van bepaalde persoonskenmerken?
Op basis van willekeur?
Belangrijk dat willekeurig gebeurt -> random toewijzing/randomiseren: niemand, geen
mens, heeft er invloed op. Doel: ervoor te zorgen dat: De gemiddelde scores en spreiding in
scores op alle variabelen, zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn
tussen de groepen. Je wilt groepsgewijs dat de groepen gelijk zijn.
Uitvoeren van willekeurige toewijzing:
Probleem (met name bij kleine steekproef): Groepen zijn niet altijd even groot, relevante
kenmerken van deelnemers niet gelijkmatig verdeeld over condities (meer jongens/meer
meiden). Het gaat er vooral om dat er evenveel spreiding is (in de scores).
Oplossing: complexere randomisatie methoden.
Soms is randomisatie deelnemers niet mogelijk: Niet ethisch of praktisch onhaalbaar.
Soms wel mogelijk, maar gaat het mis: contaminatie (vervuiling van de randomisatie):
- deelnemers in experimentele groep vertellen deelnemers in controle groep over
deelname
- deelnemers houden zich niet aan de behandeling
- beïnvloeding door de onderzoeker
Experimentele onderzoeksvraag PICO
Idee/theorie -> onderzoeksvraag:
PICO:
P: Population
I: Intervention
C: Comparison
O: Outcome
I&C zijn samen gemanipuleerde variabele.Outcome is de gemeten/afhankelijke variabele
Bijv. ‘heeft het tussentijds reviseren van aantekeningen vergeleken met het niet reviseren,
effect op leerprestaties van studenten?’
P= studenten
I: tussentijds reviseren van aantekeningen
C: reviseren vergeleken met het niet reviseren
O: leerprestaties
, Experimenteel onderzoeksontwerp en hypothese: interne en externe validiteit
Experiment = data verzameling. R betekent
willekeurige toewijzing. Stappenplan:
1. Aselecte steekproef/ random sample
(invloed externe validiteit)
2. Randomiseren (heeft invloed interne
validiteit -> selectie effecten)
3. Twee groepen, behandeling van twee
groepen heeft ook invloed op interne
validiteit -> design confound.
HC 10: Experimenteel onderzoek 1
Causaliteit en het gerandomiseerde experiment
Waarom zijn onderzoekers geïnteresseerd in causale verbanden? -> Begrijpen hoe de
(sociale) werkelijkheid in elkaar zit -> beïnvloeden werkelijkheid.
Van correlationeel -> causaal verband. Langs de drie voorwaarden voor causaliteit:
1. Covariance: er moet een (indirecte) relatie zijn tussen oorzaak en gevolg.
2. Temporal precedence: de oorzaak moet in tijd voorafgaan aan het gevolg.
3. Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten.
Beste manier om te kunnen voldoen aan de drie voorwaarden -> gerandomiseerd
experiment: groepen die gebruikt worden voor het onderzoek moeten door randomisatie tot
stand komen. Onderzoeksopzet waarbij:
Door randomisatie (niemand heeft enige invloed) de groepen hetzelfde worden
verondersteld.
De onderzoeker één variabele manipuleert (varieert). Onderzoeker bepaalt waarde
van de variabele.
De onderzoeker het effect daarvan op een andere variabele meet.
Is er een verschil tussen de twee groepen? De ene heeft de ene behandeling gehad,
de ander de ander (onderzoeker manipuleert).
Gemanipuleerde variabele = onafhankelijke variabele. De onderzoeker beslist al van te
voren van het onderzoek wat de waarde is van deze variabele.
Gemeten variabele = uitkomst/afhankelijke variabele.
1. Covariance:
Variabelen op interval/ratio meetniveau -> correlatie. Er is sprake van een relatie als er een
verschil is tussen twee groepen/variabelen.
Onderzoekshypothese is altijd geschreven a.d.h.v. geoperationaliseerde variabelen (scores),
niet a.d.h.v. de constructen. Onderzoeksvraag gaat wel over constructen.
2. Temporal precedence: de oorzaak moet in tijd voorafgaan aan het gevolg.
In een experiment kan de onderzoeker er voor zorgen dat oorzaak vooraf gaat aan gevolg.
Door de manipulatie uit te voren voorafgaan aan de meting van de afhankelijke variabele.
3. Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten.
Meest moeilijke. Is het wel de gemanipuleerde variabele die het verschil tussen de groepen
verklaart of is er een alternatieve verklaring? Alleen mogelijk met gerandomiseerd
experiment -> groepen aan begin experiment gelijk zijn.
Bedreigingen van interne validiteit (confounding):
Design confounds: was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen? In ontwerp niet goed gegaan, worden de groepen
wel hetzelfde behandeld? Als er nog een ander verschil is dan al vanuit wordt
gegaan, kan dat de alternatieve verklaring zijn voor de correlatie.
, Selectie effect: waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment? Kan qua grootte of qua kenmerken (meiden/jongens). Als de groepen
toch niet gelijkwaardig zijn -> kan een andere alternatieve verklaring voor de
correlatie zijn -> selectie effect.
Er kunnen altijd wel kleine verschillen zijn tussen experimenten maar het gaat er vooral om:
zijn het willekeurige verschillen, of systematische verschillen? Bij systematische verschillen -
> kan een alternatieve verklaring mogelijk zijn.
Hoe worden groepen ingedeeld?
Natuurlijke indeling/eigen keuze deelnemers?
Op grond van bepaalde persoonskenmerken?
Op basis van willekeur?
Belangrijk dat willekeurig gebeurt -> random toewijzing/randomiseren: niemand, geen
mens, heeft er invloed op. Doel: ervoor te zorgen dat: De gemiddelde scores en spreiding in
scores op alle variabelen, zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn
tussen de groepen. Je wilt groepsgewijs dat de groepen gelijk zijn.
Uitvoeren van willekeurige toewijzing:
Probleem (met name bij kleine steekproef): Groepen zijn niet altijd even groot, relevante
kenmerken van deelnemers niet gelijkmatig verdeeld over condities (meer jongens/meer
meiden). Het gaat er vooral om dat er evenveel spreiding is (in de scores).
Oplossing: complexere randomisatie methoden.
Soms is randomisatie deelnemers niet mogelijk: Niet ethisch of praktisch onhaalbaar.
Soms wel mogelijk, maar gaat het mis: contaminatie (vervuiling van de randomisatie):
- deelnemers in experimentele groep vertellen deelnemers in controle groep over
deelname
- deelnemers houden zich niet aan de behandeling
- beïnvloeding door de onderzoeker
Experimentele onderzoeksvraag PICO
Idee/theorie -> onderzoeksvraag:
PICO:
P: Population
I: Intervention
C: Comparison
O: Outcome
I&C zijn samen gemanipuleerde variabele.Outcome is de gemeten/afhankelijke variabele
Bijv. ‘heeft het tussentijds reviseren van aantekeningen vergeleken met het niet reviseren,
effect op leerprestaties van studenten?’
P= studenten
I: tussentijds reviseren van aantekeningen
C: reviseren vergeleken met het niet reviseren
O: leerprestaties
, Experimenteel onderzoeksontwerp en hypothese: interne en externe validiteit
Experiment = data verzameling. R betekent
willekeurige toewijzing. Stappenplan:
1. Aselecte steekproef/ random sample
(invloed externe validiteit)
2. Randomiseren (heeft invloed interne
validiteit -> selectie effecten)
3. Twee groepen, behandeling van twee
groepen heeft ook invloed op interne
validiteit -> design confound.
