THEMA 1 - Experimenten
Studietaak 1.1 – Wat is een experiment?
BS: Waarom zijn experimentele designs geschikt om causale verbanden mee vast te
stellen?
In experimentele designs houdt de onderzoeker strenge controle over de variabelen.
Wanneer alleen de onafhankelijke variabele wordt gemanipuleerd en alle andere
variabelen worden constant gehouden, dan kan een geobserveerde verandering in de
afhankelijke variabele enkel het resultaat zijn van de verandering in de onafhankelijke
variabele.
BS: Wat is Mills method of difference?
Mills method of difference stelt dat, om een causaal effect van X op Y aan te tonen, je
ook moet aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit volgt dat je een
experimentele groep én een controlegroep nodig hebt om causale claims te kunnen
maken.
- Experimentele groep: Als X, dan Y
- Controlegroep: Als niet-X, dan niet-Y
Leerdoel 1: Volledig gerandomiseerd, gedeeltelijk gerandomiseerd en quasi-
experimenteel design
Volledig gerandomiseerd design = elke deelnemer wordt willekeurig toegewezen aan
een experimentele conditie → elke deelnemer even grote kans om in elke conditie
terecht te komen → mogelijk om causale uitspraken te doen, omdat verstorende
variabelen (zoals leeftijd of geslacht) gelijkmatig verdeeld worden over de condities.
Quasi-experiment = geen willekeurige toewijzing plaats. Er worden bestaande groepen
vergeleken, zoals twee scholen waarbij de ene wel en de andere geen
onderwijsvernieuwing krijgt. Leerlingen zitten al op een bepaalde school om structurele
redenen, niet door toeval. Dit maakt causale uitspraken lastiger, maar het onderzoek is
wel realistischer (hogere ecologische validiteit).
Gedeeltelijk gerandomiseerd zit daar tussenin, via clusterrandomisatie. Hierbij
worden bestaande groepen (bijvoorbeeld schoolklassen) als geheel willekeurig verdeeld
over de condities. De toewijzing op groepsniveau is dus wel willekeurig, maar op
individueel niveau niet → Verstorende variabelen kunnen niet volledig worden
uitgesloten.
BS: Wat is het verschil tussen een volledig gerandomiseerd experimenteel ontwerp en
een quasi-experiment?
Het verschil zit in de manier van toewijzing van onderzoekseenheden (meestal
proefpersonen) aan de experimentele condities.
- Volledig gerandomiseerde ontwerpen = willekeurige toewijzing willekeurig: elke
eenheid heeft dezelfde kans om in elk van de condities terecht te komen.
, - Quasi-experimentele designs = volledig buiten de controle van de onderzoeker:
bestaande groepen worden onderzocht die op één aspect (variabele) verschillen
en op de resterende aspecten (variabelen) zo vergelijkbaar mogelijk zijn.
Leerdoel 2: Binnen-proefpersoon-, tussen-proefpersoon- en mixed-design
Tussen-proefpersoon-design (between-subjects)
Elke deelnemer zit in slechts één conditie.
- Verschillende groepen worden met elkaar vergeleken, zoals een groep die een
medicijn krijgt versus een groep die een placebo krijgt.
Binnen-proefpersoon-design (within-subjects)
Elke deelnemer doorloopt alle condities.
- VB: deelnemers eten eerst pizza en daarna hutspot, en bij beide maaltijden wordt
gemeten hoe vaak ze lachen.
- Omdat metingen herhaald worden, heet dit ook wel een repeated measures
design.
- Let op: volgorde van condities kan de resultaten kan beïnvloeden = volgorde-
effecten.
- Dit wordt opgelost door counterbalancing = de volgorde van condities wordt
gevarieerd tussen deelnemers.
Wat is het verschil tussen een between-subject design en een within-subject design?
Bij een between-subject design vindt de manipulatie plaats tussen proefpersonen. Er
worden meerdere groepen van proefpersonen gevormd en elke groep ontvangt een
andere manipulatie (of treatment). Bij een within-subject design vindt de manipulatie
plaats binnen proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle
condities worden blootgesteld. Hierin kan de volgorde gevarieerd worden.
Mixed design
Sommige variabelen worden between-subjects gemeten en andere within-subjects.
- VB: Klinisch onderzoek waarbij twee groepen patiënten op drie verschillende
tijdstippen worden gemeten.
,Leerdoel 3: Manieren van experimentele controle bij gedeeltelijke randomisatie
Experimentele controle = rekening houden met kenmerken van onderzoekseenheden
(meestal proefpersonen) die mogelijk een verstorende rol kunnen spelen in het
experiment.
Wanneer volledige randomisatie niet mogelijk is, zijn er verschillende manieren om
verstorende variabelen onder controle te houden:
- Blokontwerp = proefpersonen worden voorafgaand ingedeeld in homogene
categorieën (bijvoorbeeld mannen en vrouwen) op basis van een veronderstelde
verstorende variabele (gender).
o Binnen elke categorie worden de proefpersonen vervolgens random
toegewezen aan de experimentele condities of controlegroep.
o Bij een experiment met twee condities (bijvoorbeeld medicijn en placebo)
ontstaan zo dus 2 x 2, dus in totaal vier onderzoeksgroepen.
o Dit design is geschikt bij beperkt aantal verstorende variabelen en
vereist een groter aantal proefpersonen.
- Matchen = de experimentele en controlegroep worden gelijkgemaakt op
bekende, relevante kenmerken. Dit kan op twee manieren:
i. Precisiecontrole: voor elke deelnemer in de experimentele groep wordt
een vergelijkbare deelnemer gezocht voor de controlegroep (paargewijs
matchen).
ii. Globale controle: kenmerken zoals geslacht of opleidingsniveau worden
globaal gelijk verdeeld over de condities, zonder exacte paren te vormen.
Dit is minder precies dan precisiecontrole.
- Homogeniseren: deelnemers worden zo geselecteerd dat ze sterk op elkaar
lijken wat betreft een verstorende variabele. Als leeftijd een storende factor is,
kun je bijvoorbeeld alleen jongeren includeren.
i. Voordeel: minder ruis, meer statistische power
ii. Nadeel: de resultaten zijn minder te generaliseren → externe
validiteit
Studietaak 1.2 – Experimentele designs
O = observatie: een waarneming of meting van de afhankelijke variabele.
X = het ondergaan van de experimentele stimulus (treatment).
R = er is sprake van randomisatie.
NR = er is geen sprake van randomisatie.
, - Op tijdstip 1 (t1) wordt de afhankelijke variabele gemeten: voormeting
- Vervolgens wordt de experimentele treatment ondergaan.
- Op tijdstip 2 (t2) de afhankelijke variabele opnieuw meten: nameting
- Hier ontbreekt de letter R (randomisatie) voorafgaand aan T1, in deze context niet
nodig want geen verschillende condities om proefpersonen aan toe te wijzen
o Bij 1+ experimentele groep(en) zou de aan- of afwezigheid van R duidelijk
maken of het een zuiver experiment betreft.
Belangrijk: bij het opzetten of evalueren van een experimenteel ontwerp → wat nu
precies onder controle houden om een hypothese voldoende te kunnen toetsen.
Leerdoel: de bekendste algemene pre-experimentele designs benoemen
Pre-experimenteel Gerandomiseerd Quasi- Longitudinaal
design design experimenteel
design
One-shot case study Posttest-only control Quasi-experimenteel Eenvoudige
pretest-posttest tijdreeks
control
One-group pre-post Pretest-posttest Meervoudige
design control design tijdreeks
Posttest only met Solomon 4 groepen
bestaande groepen
Pre-experimentele designs
Onderzoekontwerpen die zo weinig controle hebben over verstorende factoren dat ze
nauwelijks als een echt experiment kunnen worden beschouwd. Ze voldoen niet aan de
methode van Mill omdat ze:
- Óf geen controlegroep hebben
- Óf geen voormeting
- Óf geen randomisatie
- Of een combinatie daarvan.
Er zijn drie varianten van pre-experimentele designs:
1. One-shot case study: eerst een manipulatie, daarna een meting
a. Geen experiment omdat geen voormeting en geen controlegroep
b.
2. One-group pre-post design: voor- en nameting, maar geen controlegroep
a. Je kunt nu een verandering opmerken, maar niet toewijzen aan de
manipulatie
b.
Studietaak 1.1 – Wat is een experiment?
BS: Waarom zijn experimentele designs geschikt om causale verbanden mee vast te
stellen?
In experimentele designs houdt de onderzoeker strenge controle over de variabelen.
Wanneer alleen de onafhankelijke variabele wordt gemanipuleerd en alle andere
variabelen worden constant gehouden, dan kan een geobserveerde verandering in de
afhankelijke variabele enkel het resultaat zijn van de verandering in de onafhankelijke
variabele.
BS: Wat is Mills method of difference?
Mills method of difference stelt dat, om een causaal effect van X op Y aan te tonen, je
ook moet aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit volgt dat je een
experimentele groep én een controlegroep nodig hebt om causale claims te kunnen
maken.
- Experimentele groep: Als X, dan Y
- Controlegroep: Als niet-X, dan niet-Y
Leerdoel 1: Volledig gerandomiseerd, gedeeltelijk gerandomiseerd en quasi-
experimenteel design
Volledig gerandomiseerd design = elke deelnemer wordt willekeurig toegewezen aan
een experimentele conditie → elke deelnemer even grote kans om in elke conditie
terecht te komen → mogelijk om causale uitspraken te doen, omdat verstorende
variabelen (zoals leeftijd of geslacht) gelijkmatig verdeeld worden over de condities.
Quasi-experiment = geen willekeurige toewijzing plaats. Er worden bestaande groepen
vergeleken, zoals twee scholen waarbij de ene wel en de andere geen
onderwijsvernieuwing krijgt. Leerlingen zitten al op een bepaalde school om structurele
redenen, niet door toeval. Dit maakt causale uitspraken lastiger, maar het onderzoek is
wel realistischer (hogere ecologische validiteit).
Gedeeltelijk gerandomiseerd zit daar tussenin, via clusterrandomisatie. Hierbij
worden bestaande groepen (bijvoorbeeld schoolklassen) als geheel willekeurig verdeeld
over de condities. De toewijzing op groepsniveau is dus wel willekeurig, maar op
individueel niveau niet → Verstorende variabelen kunnen niet volledig worden
uitgesloten.
BS: Wat is het verschil tussen een volledig gerandomiseerd experimenteel ontwerp en
een quasi-experiment?
Het verschil zit in de manier van toewijzing van onderzoekseenheden (meestal
proefpersonen) aan de experimentele condities.
- Volledig gerandomiseerde ontwerpen = willekeurige toewijzing willekeurig: elke
eenheid heeft dezelfde kans om in elk van de condities terecht te komen.
, - Quasi-experimentele designs = volledig buiten de controle van de onderzoeker:
bestaande groepen worden onderzocht die op één aspect (variabele) verschillen
en op de resterende aspecten (variabelen) zo vergelijkbaar mogelijk zijn.
Leerdoel 2: Binnen-proefpersoon-, tussen-proefpersoon- en mixed-design
Tussen-proefpersoon-design (between-subjects)
Elke deelnemer zit in slechts één conditie.
- Verschillende groepen worden met elkaar vergeleken, zoals een groep die een
medicijn krijgt versus een groep die een placebo krijgt.
Binnen-proefpersoon-design (within-subjects)
Elke deelnemer doorloopt alle condities.
- VB: deelnemers eten eerst pizza en daarna hutspot, en bij beide maaltijden wordt
gemeten hoe vaak ze lachen.
- Omdat metingen herhaald worden, heet dit ook wel een repeated measures
design.
- Let op: volgorde van condities kan de resultaten kan beïnvloeden = volgorde-
effecten.
- Dit wordt opgelost door counterbalancing = de volgorde van condities wordt
gevarieerd tussen deelnemers.
Wat is het verschil tussen een between-subject design en een within-subject design?
Bij een between-subject design vindt de manipulatie plaats tussen proefpersonen. Er
worden meerdere groepen van proefpersonen gevormd en elke groep ontvangt een
andere manipulatie (of treatment). Bij een within-subject design vindt de manipulatie
plaats binnen proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle
condities worden blootgesteld. Hierin kan de volgorde gevarieerd worden.
Mixed design
Sommige variabelen worden between-subjects gemeten en andere within-subjects.
- VB: Klinisch onderzoek waarbij twee groepen patiënten op drie verschillende
tijdstippen worden gemeten.
,Leerdoel 3: Manieren van experimentele controle bij gedeeltelijke randomisatie
Experimentele controle = rekening houden met kenmerken van onderzoekseenheden
(meestal proefpersonen) die mogelijk een verstorende rol kunnen spelen in het
experiment.
Wanneer volledige randomisatie niet mogelijk is, zijn er verschillende manieren om
verstorende variabelen onder controle te houden:
- Blokontwerp = proefpersonen worden voorafgaand ingedeeld in homogene
categorieën (bijvoorbeeld mannen en vrouwen) op basis van een veronderstelde
verstorende variabele (gender).
o Binnen elke categorie worden de proefpersonen vervolgens random
toegewezen aan de experimentele condities of controlegroep.
o Bij een experiment met twee condities (bijvoorbeeld medicijn en placebo)
ontstaan zo dus 2 x 2, dus in totaal vier onderzoeksgroepen.
o Dit design is geschikt bij beperkt aantal verstorende variabelen en
vereist een groter aantal proefpersonen.
- Matchen = de experimentele en controlegroep worden gelijkgemaakt op
bekende, relevante kenmerken. Dit kan op twee manieren:
i. Precisiecontrole: voor elke deelnemer in de experimentele groep wordt
een vergelijkbare deelnemer gezocht voor de controlegroep (paargewijs
matchen).
ii. Globale controle: kenmerken zoals geslacht of opleidingsniveau worden
globaal gelijk verdeeld over de condities, zonder exacte paren te vormen.
Dit is minder precies dan precisiecontrole.
- Homogeniseren: deelnemers worden zo geselecteerd dat ze sterk op elkaar
lijken wat betreft een verstorende variabele. Als leeftijd een storende factor is,
kun je bijvoorbeeld alleen jongeren includeren.
i. Voordeel: minder ruis, meer statistische power
ii. Nadeel: de resultaten zijn minder te generaliseren → externe
validiteit
Studietaak 1.2 – Experimentele designs
O = observatie: een waarneming of meting van de afhankelijke variabele.
X = het ondergaan van de experimentele stimulus (treatment).
R = er is sprake van randomisatie.
NR = er is geen sprake van randomisatie.
, - Op tijdstip 1 (t1) wordt de afhankelijke variabele gemeten: voormeting
- Vervolgens wordt de experimentele treatment ondergaan.
- Op tijdstip 2 (t2) de afhankelijke variabele opnieuw meten: nameting
- Hier ontbreekt de letter R (randomisatie) voorafgaand aan T1, in deze context niet
nodig want geen verschillende condities om proefpersonen aan toe te wijzen
o Bij 1+ experimentele groep(en) zou de aan- of afwezigheid van R duidelijk
maken of het een zuiver experiment betreft.
Belangrijk: bij het opzetten of evalueren van een experimenteel ontwerp → wat nu
precies onder controle houden om een hypothese voldoende te kunnen toetsen.
Leerdoel: de bekendste algemene pre-experimentele designs benoemen
Pre-experimenteel Gerandomiseerd Quasi- Longitudinaal
design design experimenteel
design
One-shot case study Posttest-only control Quasi-experimenteel Eenvoudige
pretest-posttest tijdreeks
control
One-group pre-post Pretest-posttest Meervoudige
design control design tijdreeks
Posttest only met Solomon 4 groepen
bestaande groepen
Pre-experimentele designs
Onderzoekontwerpen die zo weinig controle hebben over verstorende factoren dat ze
nauwelijks als een echt experiment kunnen worden beschouwd. Ze voldoen niet aan de
methode van Mill omdat ze:
- Óf geen controlegroep hebben
- Óf geen voormeting
- Óf geen randomisatie
- Of een combinatie daarvan.
Er zijn drie varianten van pre-experimentele designs:
1. One-shot case study: eerst een manipulatie, daarna een meting
a. Geen experiment omdat geen voormeting en geen controlegroep
b.
2. One-group pre-post design: voor- en nameting, maar geen controlegroep
a. Je kunt nu een verandering opmerken, maar niet toewijzen aan de
manipulatie
b.
