Experimenteel hoorcollege 1
Onderzoekers zijn geïnteresseerd in causale verbanden omdat:
- Ze willen begrijpen hoe de sociale werkelijkheid in elkaar zit (bv: effect van motivatie op
leerprestaties).
- Ze die werkelijkheid willen beïnvloeden (bv: effect van inquiry-based learning op
studiemotivatie van universitaire studenten).
Causaliteit
Voorwaarden causaliteit:
- Covariance er moet een (indirecte) relatie zijn tussen oorzaak en gevolg.
- Temporal precedence de oorzaak moet in de tijd voorafgaan aan het gevolg.
- Internal validity alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten.
De beste manier om te kunnen voldoen aan de drie voorwaarden is via een geiseerd experiment.
Gerandomiseerd experiment onderzoeksopzet waarbij:
- Door randomisatie de groepen hetzelfde worden verondersteld.
o Randomisatie het op willekeurige wijze (bv kop of munt) samenstellen van
onderzoeksgroepen, die vervolgens aan verschillende behandelingen of
proefomstandigheden worden blootgesteld.
- De onderzoeker een variabele manipuleert (varieert).
o Gemanipuleerde variabele variabele die wordt gecontroleerd.
- De onderzoeker het effect daarvan op een andere variabele meet.
Onafhankelijke variabele gemanipuleerde variabele.
Afhankelijke variabele gemeten variabele.
In een experiment kan de onderzoeker ervoor zorgen dat de oorzaak voorafgaat aan het gevolg, door
de manipulatie uit te voeren voorafgaand aan de meting van de afhankelijke variabele.
Bedreigingen van interne validiteit:
- Design confounds was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen? Was het een willekeurig of systematisch verschil tussen
de groepen?
- Selectie effect waren de twee groepen wel vergelijkbaar bij aanvang van het experiment?
Belangrijkste vraag: hoe werden de groepen ingedeeld?
Toewijzing aan groepen
Hoe worden de groepen ingedeeld?
- Natuurlijke indeling/eigen keuze deelnemers?
- Op grond van bepaalde persoonskenmerken?
- Op basis van willekeur toegewezen?
Een toewijzing moet willekeurig (random) zijn. Het doel van willekeurige toewijzing/randomisatie is:
de gemiddelde scores en spreiding in scores op alle variabelen, zowel gemeten als ongemeten, zijn
bij aanvang vergelijkbaar tussen de groepen.
Uitvoeren van willekeurige toewijzing:
- Probleem (met name) bij kleine steekproef:
o Groepen zijn niet altijd even groot.
o Relevante kenmerken van deelnemers niet gelijkmatig verdeeld over de condities.
o Oplossing: complexere randomisatie methoden.
, - Soms is randomisatie deelnemers niet mogelijk:
o Niet ethisch (bv onderzoek naar zwangere vrouwen, je kan niet zeggen: we maken de
ene helft zwanger en de andere niet).
o Praktisch onhaalbaar (bv een klas krijgt een bepaalde lesmethode van een docent,
een andere klas krijgt de andere lesmethode van een andere docent, maar docenten
geven anders les dan hun collega’s).
- Soms wel mogelijk, maar er gaat iets mis (contaminatie).
o Contaminatie vervuiling van de randomisatie.
Deelnemers in experimentele groep vertellen deelnemers in controlegroep
over deelname.
Deelnemers houden zich niet aan behandeling.
Beïnvloeding door onderzoeker.
Onderzoeksvraag
Een onderzoeksvraag van experimenteel onderzoek kun je herkennen aan de volgende elementen:
PICO:
- Population de groep mensen die de onderzoeker wil onderzoeken.
- Intervention Niveaus van de gemanipuleerde/onafhankelijke variabele.
- Comparison Groepen die vergeleken worden.
- Outcome gemeten/afhankelijke variabele
Onderzoeksontwerp
Gerandomiseerd experiment willekeurige toewijzing van deelnemers aan één van de condities:
- Experimentele groep.
- Controlegroep.
Inferentiële statistiek: stappen null hypothesis significance testing (NHST):
1. Formuleren hypothesen naast de onderzoekshypothese stelt de onderzoeker de
nulhypothese op:
o Geen effect
o Geen verschil
o Geen relatie
In de statistiek worden hypothesen vaak in symbolen opgeschreven. Voor populaties en
steekproeven gebruiken onderzoekers verschillende symbolen.
= populatiegemiddelde
Met behulp van symbolen worden de hypothesen omgezet in statistische hypothesen:
o H0: 1 = 2
o HA: 1 2
2. Keuze & berekenen toetsingsgrootheid op basis van de hypothesen kiest een onderzoeker
de juiste toetsprocedure.
o T-toets voor onafhankelijke groepen als de gemiddelde scores van twee
onafhankelijke groepen worden vergeleken.
Met de t-toets bepalen we het relatieve verschil tussen de twee groepen op grond van:
o Verschil in gemiddelden tussen de groepen: M 1 – M2. Ook bij het verschil M1 – M2
wordt er een standaardfout berekend. Dit gebeurt aan de hand van de grootte van
de groepen en de spreiding in de steekproeven.
o De spreiding in scores in de groepen: SD 1 en SD2
o De grootte van de groepen: n1 en n2
Wanneer we het verschil M1 – M2 delen door de standaardfout krijgen we een
M 1−M 2
gestandaardiseerde score. Dit is de toetsingsgrootheid t: t=
SE
Onderzoekers zijn geïnteresseerd in causale verbanden omdat:
- Ze willen begrijpen hoe de sociale werkelijkheid in elkaar zit (bv: effect van motivatie op
leerprestaties).
- Ze die werkelijkheid willen beïnvloeden (bv: effect van inquiry-based learning op
studiemotivatie van universitaire studenten).
Causaliteit
Voorwaarden causaliteit:
- Covariance er moet een (indirecte) relatie zijn tussen oorzaak en gevolg.
- Temporal precedence de oorzaak moet in de tijd voorafgaan aan het gevolg.
- Internal validity alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten.
De beste manier om te kunnen voldoen aan de drie voorwaarden is via een geiseerd experiment.
Gerandomiseerd experiment onderzoeksopzet waarbij:
- Door randomisatie de groepen hetzelfde worden verondersteld.
o Randomisatie het op willekeurige wijze (bv kop of munt) samenstellen van
onderzoeksgroepen, die vervolgens aan verschillende behandelingen of
proefomstandigheden worden blootgesteld.
- De onderzoeker een variabele manipuleert (varieert).
o Gemanipuleerde variabele variabele die wordt gecontroleerd.
- De onderzoeker het effect daarvan op een andere variabele meet.
Onafhankelijke variabele gemanipuleerde variabele.
Afhankelijke variabele gemeten variabele.
In een experiment kan de onderzoeker ervoor zorgen dat de oorzaak voorafgaat aan het gevolg, door
de manipulatie uit te voeren voorafgaand aan de meting van de afhankelijke variabele.
Bedreigingen van interne validiteit:
- Design confounds was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen? Was het een willekeurig of systematisch verschil tussen
de groepen?
- Selectie effect waren de twee groepen wel vergelijkbaar bij aanvang van het experiment?
Belangrijkste vraag: hoe werden de groepen ingedeeld?
Toewijzing aan groepen
Hoe worden de groepen ingedeeld?
- Natuurlijke indeling/eigen keuze deelnemers?
- Op grond van bepaalde persoonskenmerken?
- Op basis van willekeur toegewezen?
Een toewijzing moet willekeurig (random) zijn. Het doel van willekeurige toewijzing/randomisatie is:
de gemiddelde scores en spreiding in scores op alle variabelen, zowel gemeten als ongemeten, zijn
bij aanvang vergelijkbaar tussen de groepen.
Uitvoeren van willekeurige toewijzing:
- Probleem (met name) bij kleine steekproef:
o Groepen zijn niet altijd even groot.
o Relevante kenmerken van deelnemers niet gelijkmatig verdeeld over de condities.
o Oplossing: complexere randomisatie methoden.
, - Soms is randomisatie deelnemers niet mogelijk:
o Niet ethisch (bv onderzoek naar zwangere vrouwen, je kan niet zeggen: we maken de
ene helft zwanger en de andere niet).
o Praktisch onhaalbaar (bv een klas krijgt een bepaalde lesmethode van een docent,
een andere klas krijgt de andere lesmethode van een andere docent, maar docenten
geven anders les dan hun collega’s).
- Soms wel mogelijk, maar er gaat iets mis (contaminatie).
o Contaminatie vervuiling van de randomisatie.
Deelnemers in experimentele groep vertellen deelnemers in controlegroep
over deelname.
Deelnemers houden zich niet aan behandeling.
Beïnvloeding door onderzoeker.
Onderzoeksvraag
Een onderzoeksvraag van experimenteel onderzoek kun je herkennen aan de volgende elementen:
PICO:
- Population de groep mensen die de onderzoeker wil onderzoeken.
- Intervention Niveaus van de gemanipuleerde/onafhankelijke variabele.
- Comparison Groepen die vergeleken worden.
- Outcome gemeten/afhankelijke variabele
Onderzoeksontwerp
Gerandomiseerd experiment willekeurige toewijzing van deelnemers aan één van de condities:
- Experimentele groep.
- Controlegroep.
Inferentiële statistiek: stappen null hypothesis significance testing (NHST):
1. Formuleren hypothesen naast de onderzoekshypothese stelt de onderzoeker de
nulhypothese op:
o Geen effect
o Geen verschil
o Geen relatie
In de statistiek worden hypothesen vaak in symbolen opgeschreven. Voor populaties en
steekproeven gebruiken onderzoekers verschillende symbolen.
= populatiegemiddelde
Met behulp van symbolen worden de hypothesen omgezet in statistische hypothesen:
o H0: 1 = 2
o HA: 1 2
2. Keuze & berekenen toetsingsgrootheid op basis van de hypothesen kiest een onderzoeker
de juiste toetsprocedure.
o T-toets voor onafhankelijke groepen als de gemiddelde scores van twee
onafhankelijke groepen worden vergeleken.
Met de t-toets bepalen we het relatieve verschil tussen de twee groepen op grond van:
o Verschil in gemiddelden tussen de groepen: M 1 – M2. Ook bij het verschil M1 – M2
wordt er een standaardfout berekend. Dit gebeurt aan de hand van de grootte van
de groepen en de spreiding in de steekproeven.
o De spreiding in scores in de groepen: SD 1 en SD2
o De grootte van de groepen: n1 en n2
Wanneer we het verschil M1 – M2 delen door de standaardfout krijgen we een
M 1−M 2
gestandaardiseerde score. Dit is de toetsingsgrootheid t: t=
SE
