Na het afronden van deze cursus kun je
ethische aspecten bij psychologische experimenten beoordelen
experimentele ontwerpen beoordelen op hun interne en externe validiteit
experimentele hypotheses opstellen
diverse vormen van een variantieanalyse (ANOVA, univariaat) toepassen
resultaten van statistische toetsing interpreteren
APA-richtlijnen correct toepassen in een onderzoeksverslag.
Thema 1 – Experimenten
Met een valide experiment ben je in staat om valide conclusies te trekken.
Validiteit wordt dikwijls droog samengevat als 'meten wat je wilt meten'. In het
geval van experimenten kun je dit vertalen naar 'je kunt de conclusies trekken
die je denkt te kunnen trekken'.
Experimenten zijn in de regel gekunstelde situaties: door te manipuleren en te
observeren, beïnvloeden we dat wat we observeren.
Studietaak 1.1 – Wat is een experiment?
Na het bestuderen van deze studietaak kun je
het verschil tussen een volledig gerandomiseerd, gedeeltelijk
gerandomiseerd en quasi-experimenteel design beschrijven
beschrijven wat een een binnenproefpersoon-, tussenproefpersoon- en een
mixed-design inhouden
beschrijven welke manieren van experimentele controle er zijn om
gedeeltelijk te randomiseren.
Samenvatting
1. Volledig gerandomiseerd, gedeeltelijk gerandomiseerd en quasi-
experimenteel design
Een volledig gerandomiseerd experiment houdt in dat deelnemers willekeurig
worden toegewezen aan experimentele condities, waardoor externe variabelen
gelijk worden verdeeld over de groepen. Dit versterkt de interne validiteit en
helpt causaliteit vast te stellen.
Een quasi-experimenteel design daarentegen maakt geen gebruik van
volledige randomisatie. Groepen worden gevormd op basis van bestaande
structuren (bijv. klassen of scholen), wat betekent dat mogelijke storende
variabelen niet volledig worden gecontroleerd. Dit type onderzoek heeft een
hogere ecologische validiteit maar een lagere interne validiteit.
Een gedeeltelijk gerandomiseerd experiment bevindt zich tussen deze twee
uitersten en maakt gebruik van cluster randomisatie. Hierbij worden
bestaande clusters (zoals klassen) willekeurig toegewezen aan condities. Dit
biedt enige controle over storende variabelen, maar niet op individueel niveau.
2. Binnenproefpersoon-, tussenproefpersoon- en mixed-design
Een binnenproefpersoon-design (within-subjects design) betekent dat
dezelfde proefpersonen aan meerdere experimentele condities worden
blootgesteld. Dit vermindert de invloed van individuele verschillen, maar kan
leiden tot volgorde-effecten.
Een tussenproefpersoon-design (between-subjects design) houdt in dat
verschillende groepen proefpersonen aan verschillende condities worden
blootgesteld. Dit elimineert volgorde-effecten, maar vereist een grotere
steekproef om individuele variabiliteit te compenseren.
Een mixed-design combineert beide methoden: sommige variabelen worden
binnen proefpersonen gemeten en andere tussen proefpersonen. Dit biedt een
evenwicht tussen de voordelen van beide designs.
3. Manieren van experimentele controle bij gedeeltelijke randomisatie
1
,Bij gedeeltelijke randomisatie zijn er verschillende methoden om experimentele
controle te behouden:
Blokontwerp: proefpersonen worden vooraf ingedeeld in homogene
groepen (bijv. op leeftijd), waarna randomisatie binnen deze blokken
plaatsvindt. Dit minimaliseert de invloed van storende variabelen.
Matchen: proefpersonen worden geselecteerd op basis van vergelijkbare
kenmerken en vervolgens willekeurig toegewezen aan condities, waardoor
de invloed van externe variabelen wordt verminderd.
Homogeniseren: proefpersonen met specifieke kenmerken worden
uitgesloten of geclusterd, waardoor variabiliteit binnen de groepen
afneemt.
Deze methoden helpen de invloed van verstorende factoren te verminderen en
de betrouwbaarheid van de onderzoeksresultaten te verhogen.
4. Homogeniseren
Designs waarin gematcht wordt, bieden de mogelijkheid om data te verzamelen
van proefpersonen met diverse kenmerken. Een meer diverse steekproef kan
leiden tot een breder en representatiever beeld van de doelpopulatie. Echter,
deze diversiteit kan ook extra ruis met zich meebrengen, waardoor het moeilijker
wordt om subtiele effecten te detecteren. Het is belangrijk op te merken dat de
diverse kenmerken van proefpersonen zelf ook onbedoelde verstorende
variabelen kunnen zijn. Hoewel de steekproef mogelijk beter generaliseerbaar is
naar de algemene bevolking, kan het lastiger zijn om statistische patronen te
identificeren.
Om het effect van een externe variabele op een afhankelijke variabele te
isoleren, kan men ervoor kiezen om proefpersonen te homogeniseren. Dit
betekent dat proefpersonen zo worden geselecteerd dat de groepen zo
homogeen mogelijk zijn wat betreft de externe variabele. Bijvoorbeeld, als er
vermoedens zijn dat leeftijd een verstorende variabele is bij het beoordelen van
de effecten van de manipulatie, kan het experiment beperkt worden tot alleen
jongeren of alleen ouderen. Door proefpersonen te selecteren die op relevante
variabelen op elkaar lijken, wordt de variatie verminderd en neemt de ruis af. Dit
resulteert in een hogere statistische power (de kans om een werkelijk effect in de
populatie te detecteren). Echter, deze winst in power gaat ten koste van de
externe validiteit, omdat de steekproef minder representatief is voor de
algemene populatie.
Bij het homogeniseren en matchen is het belangrijk om te focussen op externe
kenmerken waarvan bekend is, of op zijn minst vermoed wordt, dat ze invloed
hebben op de afhankelijke variabele. Deze procedures kunnen niet op zichzelf
gebruikt worden als vervanging voor randomisatie, maar kunnen wel in
combinatie daarmee worden toegepast, indien mogelijk. In zuiver experimenteel
onderzoek is randomisatie essentieel, terwijl andere procedures als aanvulling
daarop kunnen dienen.
5. Between-subjects versus within-subjects designs
Naast de indeling in gerandomiseerde en quasi-experimenten kunnen
experimentele designs ook worden ingedeeld in between subjects en within
subjects designs.
In een between subjects design worden proefpersonen toegewezen aan
slechts één experimentele conditie, wat resulteert in verschillende groepen
proefpersonen die met elkaar kunnen worden vergeleken. Bijvoorbeeld, in een
medisch onderzoek kunnen proefpersonen worden verdeeld in een
behandelingsgroep waarin een nieuw medicijn wordt toegediend, en een
controlegroep waarin een placebo wordt toegediend (een nep-medicijn zonder
farmacologisch effect).
Bij within subjects designs worden alle proefpersonen blootgesteld aan alle
experimentele en controlecondities. Bijvoorbeeld, in een sociaalpsychologisch
2
,onderzoek wil de onderzoeker weten of mensen meer lachen tijdens het eten van
pizza of hutspot. De proefpersonen krijgen eerst gezamenlijk pizza te eten en het
aantal keer dat ze lachen wordt geteld. Vervolgens krijgen dezelfde
proefpersonen hutspot voorgeschoteld en wordt opnieuw het aantal keer dat ze
lachen geteld. Binnen within subjects designs worden de reacties van
proefpersonen gemeten na elke manipulatie, vandaar dat ze ook wel repeated
measures designs worden genoemd. Een potentieel probleem bij within
subjects designs is het optreden van volgorde-effecten, waarbij bijvoorbeeld de
reacties worden beïnvloed door de volgorde waarin de condities worden
aangeboden. Om dit te voorkomen, kan in sommige gevallen de volgorde van de
condities worden gevarieerd. Deze vorm van controle wordt counterbalancing
genoemd.
Daarnaast is het ook mogelijk om een mix van between en within subjects
designs te gebruiken, zoals bij klinisch onderzoek waarbij de voortgang van twee
groepen patiënten op drie verschillende tijdstippen wordt gemeten. Deze designs
worden mixed designs genoemd.
Werkboek:
Waarom zijn experimentele designs geschikt om causale verbanden mee vast te
stellen?
In experimentele designs houdt de onderzoeker strenge controle over de
variabelen. Wanneer alleen de onafhankelijke variabele wordt gemanipuleerd en
alle andere variabelen worden constant gehouden, dan kan een geobserveerde
verandering in de afhankelijke variabele enkel het resultaat zijn van de
verandering in de onafhankelijke variabele.
Mills method of difference stelt dat, om een causaal effect van X op Y aan te
tonen, je ook moet aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit
volgt dat je een experimentele groep én een controlegroep nodig hebt om
causale claims te kunnen maken.
Experimentele groep: Als X, dan Y.
Controlegroep: Als niet-X, dan niet-Y.
Wat is het verschil tussen een volledig gerandomiseerde experimenteel ontwerp
en een quasi-experiment?
Het verschil zit in de manier van toewijzing van onderzoekseenheden (meestal
proefpersonen) aan de experimentele condities. Bij volledig gerandomiseerde
ontwerpen gebeurt deze toewijzing willekeurig (random): elke eenheid heeft dus
dezelfde kans om in elk van de condities terecht te komen.
In contrast hiermee ligt de toewijzing aan de condities bij quasi-experimentele
designs volledig buiten de controle van de onderzoeker. In een quasi-experiment
worden bestaande groepen onderzocht die op één aspect (variabele) verschillen
en op de resterende aspecten (variabelen) zo vergelijkbaar mogelijk zijn.
Experimentele controle betekent dat er rekening wordt gehouden met (of
‘gecontroleerd wordt voor’) kenmerken van onderzoekseenheden (meestal
proefpersonen) die mogelijk een verstorende rol kunnen spelen in het
experiment.
Welke verschillende manieren van experimentele controle worden in het
OpenMenS-hoofdstuk beschreven?
Blokontwerp – Bij dit ontwerp worden proefpersonen voorafgaand aan het
experiment ingedeeld in homogene categorieën (bijvoorbeeld mannen en
vrouwen) op basis van een veronderstelde verstorende variabele (gender).
Binnen elke categorie worden de proefpersonen vervolgens random toegewezen
3
, aan de experimentele condities of controlegroep. Bij een experiment met twee
condities (bijvoorbeeld medicijn en placebo) ontstaan zo dus 2 x 2, dus in totaal
vier onderzoeksgroepen. Dit design is geschikt wanneer er een beperkt aantal
verstorende variabelen zijn en vereist een groter aantal proefpersonen.
Precisiecontrole – Bij deze manier van experimentele controle worden paren
van proefpersonen die op basis van allerlei achtergrondkenmerken zo veel
mogelijk op elkaar lijken, vooraf aan het experiment geïdentificeerd. Van elk paar
wordt er vervolgens (random) één proefpersoon in de controleconditie ingedeeld
en één proefpersoon in de interventieconditie. Als je op een groot aantal
achtergrondkenmerken wilt matchen, moet je over een grote steekproef
beschikken om tot gelijke paren te kunnen komen.
Globale controle – Hierbij wordt ernaar gestreefd om het gemiddelde en/of de
frequentie van een aantal achtergrondkenmerken in alle condities gelijk te laten
zijn (bijvoorbeeld hetzelfde aantal jongens en meisjes, hetzelfde gemiddelde IQ
enzovoort). Omdat de condities slechts per afzonderlijk kenmerk aan elkaar gelijk
zijn en niet wat betreft de combinaties aan kenmerken, is dit een grovere wijze
van experimentele controle dan precisiecontrole.
Bij een between-subject design vindt de manipulatie plaats tussen
proefpersonen. Er worden meerdere groepen van proefpersonen gevormd en elke
groep ontvangt een andere manipulatie (of treatment).
Bij een within-subject design vindt de manipulatie plaats binnen
proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle condities
worden blootgesteld. Hierin kan de volgorde gevarieerd worden.
Een mixed-design is een combinatie van een between-subject en een within-
subject design. De manipulaties vinden dus zowel tussen als binnen
proefpersonen plaats. Bijvoorbeeld, in een medicijn-placebo-onderzoek met een
voormeting en een nameting wordt er zowel tussen proefpersonen (medicijn-
placebo) als binnen proefpersonen (voormeting: geen pilletje genomen -
nameting wel pilletje genomen) gemanipuleerd.
Studietaak 1.2 – Experimentele designs
Na het bestuderen van deze studietaak kun je
de bekendste algemene pre-experimentele designs benoemen
de bekendste algemene gerandomiseerde experimentele designs
benoemen
de bekendste algemene quasi-experimentele designs benoemen
de bekendste algemene longitudinale designs benoemen.
Samenvatting experimentele designs
Pre-experimentele designs
Pre-experimentele designs hebben een beperkte controle over
validiteitsbedreigingen en worden daarom als minder betrouwbaar beschouwd.
One-shot case study: een groep ondergaat een manipulatie en er wordt
daarna een meting verricht. Er ontbreekt een controlegroep en
voormeting, waardoor causaliteit niet kan worden vastgesteld.
One-group pre-post design: dezelfde groep wordt zowel voor als na de
manipulatie gemeten. Zonder controlegroep kunnen alternatieve
verklaringen niet worden uitgesloten.
Posttest-only design met bestaande groepen: bestaande groepen
worden onderzocht zonder voormeting of randomisatie, wat vergelijkingen
moeilijk maakt.
Gerandomiseerde experimentele designs
Deze designs maken gebruik van willekeurige toewijzing (randomisatie), wat
helpt bij het controleren van storende variabelen en het vaststellen van
causaliteit.
4