lOMoARcPSD|10935195
Thema 1 Experimentele designs en validiteit
De belangrijkste overkoepelende ethische richtlijn is het principe van minimized harm:
Onderzoek moet zo zijn opgesteld, dat het de proefpersoon zo min mogelijk belast.
3 Belangrijkste ethische richtlijnen:
1. Informed consent: informatie verstrekken en toestemming vragen.
2. Debriefing: achteraf bespreken of vragen stellen.
3. Bedrog: voorliegen.
Active informed consent:
Handeling nodig om toestemming te geven, bijvoorbeeld een handtekening zetten.
Passive informed consent:
Handeling nodig om niet deel te nemen aan een onderzoek, bijvoorbeeld het invullen van
een vragenlijst (als de deelnemer niet mee wil doen, vult hij de lijst gewoon niet in).
8 Vereisten voor informeren bij informed consent:
1. Recht op deelname beëindigen.
2. Doel van onderzoek.
3. Onderzoeksprocedure.
4. Risico’s.
5. Maatschappelijk nut.
6. Duur van het onderzoek.
7. Contactinformatie.
8. Anonimiteit/vertrouwelijkheid.
Doel van debriefing:
Misverstanden of onzekerheden wegnemen.
Regel over bedrog:
Niet voorliegen, indien niet strikt noodzakelijk. In de regel is het niet toegestaan om
deelnemers te bedriegen, tenzij de onderzoeker aannemelijk kan maken dat dit noodzakelijk
is.
3 Bekendste vormen van bedrog:
1. Het gebruik maken van handlangers.
Voorbeeld: onderzoek van Asch naar Asch-effect. Asch liet proefpersonen lijnstukken van
verschillende lengte beoordelen. De handlangers waren geïnstrueerd om expres
overduidelijk foute antwoorden te geven, zodat de onderzoeker kon zien of de proefpersoon
zich liet verleiden om met de meerderheid mee te gaan.
2.Staged manipulations in field settings.
Omstandigheden waarin proefpersonen zich bevinden manipuleren.
1
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
, lOMoARcPSD|10935195
3. Misleidende instructies.
Voorbeeld: Milgram-experiment. Milgram vertelde de deelnemers dat ze meededen aan een
experiment naar een nieuwe leermethode middels het toedienen van elektrische schokken
bij foute antwoorden. In werkelijkheid werden er geen schokken toegediend en ging het
onderzoek over de bereidheid van de deelnemers om gehoor te geven aan opgedragen
taken van een gezaghebbende, ook als die strijdig waren met hun eigen geweten.
Doel proceduresectie:
Dat de lezer kan volgen hoe het experiment is gegaan.
De volgende informatie dient in een geode proceduresectie te staan:
- Indien niet eerder genoemd dan een aparte subkop: design, waarin het experimentele
design wordt besproken.
1. Een samenvatting van de instructies die proefpersonen ontvangen hebben. Niet het
volledige transcript. Als dit van belang is, kan naar de appendix worden verwezen. In de
appendix komt ook de informatie over informed consent.
2. Een beschrijving van de specifieke experimentele manipulaties en de ethische aspecten
daarvan. Hoe zijn de onafhankelijke variabelen in experimentele scenario’s
geoperationaliseerd en hoe zijn de proefpersonen hieraan blootgesteld?
3. Eventuele counterbalancing of andere methoden van experimentele controle.
4. Duur van het experiment.
5. Eventuele beloningen voor participatie aan het onderzoek.
Betrouwbaarheid versus validiteit:
- Betrouwbaarheid: na herhaling van de meting, steeds hetzelfde resultaat krijgen. Punten
liggen dicht bij elkaar. Betrouwbaarheid is synoniem aan ruis of error. Het gaat om fouten in
de meting. Metingen vrij van error hoort bij betrouwbaarheid.
Betrouwbaarheid is een statistisch probleem. Betrouwbaarheid: proberen te kwantifceren in
welke mate de meetinstrumenten tot consistente resultaten leiden.
- Validiteit: dat het meetinstrument meet wat het moet meten. Meten wat we willen meten.
Punten steeds op dezelfde plaats (in de middelste cirkel bijv.). Metingen vrij van bias hoort bij
validiteit.
Validiteit is een filosofisch probleem. Het is mogelijk om met statistische informatie bewijs te
krijgen die helpt bepalen of onderzoek valide is, maar uiteindelijk blijft het gis- en denkwerk.
Bias:
Als er systematische redenen zijn, waarom metingen van elkaar afwijken. Dit is een kwestie
van validiteit: we meten dan niet wat we willen meten.
Er zijn 2 categorieën validtiteit:
- Interne validiteit: geen andere verklaringen (of variabelen)
Is er voldoende bewijs dat X veranderingen op Y veroorzaakt.
2
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
, lOMoARcPSD|10935195
Is de causale relatie tussen twee variabelen voldoende aangetoond.
- Externe validiteit: generaliseerbaar naar real-life situatie (ecologische validiteit) of de
doelpopulatie
Er is sprake van een causal verband, als aan 3 voorwaarden is voldaan:
1. De oorzaak doet zich voor, voorafgaand aan het effect (temporeel precedent).
2. De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
3. Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen
schijnverband).
2 Soorten generaliseerbaarheid:
1. Generaliseerbaarheid naar real-life situaties: generaliseerbaarheid tussen situaties.
Ecologische validiteit.
2. Generaliseerbaarheid naar de doelpopulatie. Generaliseerbaarheid tussen mensen. In
ieder onderzoek moeten onderzoekers duidelijk maken welke doelpopulatie zij voor ogen
hebben en de steekproef moet daar een realistische weergave van zijn.
Spanningsveld tussen interne en externe validiteit:
Des te meer onderzoekers een experiment dichttimmeren door externe factoren buiten te
sluiten en proefpersoonskenmerken onder controle te houden (interne validiteit), des te
minder realistisch wordt het experiment met minder externe validiteit tot gevolg.
10 Bedreigers van interne validiteit (geen andere verklaringen):
1. Tussentijds extern voorval (history).
Specifieke gebeurtenissen die plaatsvinden tussen de eerste en tweede meting. Bijv. incident
met Roma, waardoor er positievere of negatievere attitudes zijn over Roma dan normaal.
2. Rijping of groei (maturation).
Veranderingen die binnen proefpersonen optreden door het verloop van tijd. Bijv.
concentratieverlies.
3. Testeffect.
De effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen.
Geoefend en daardoor betere resultaten. Oplossing: geen voormeting of vergelijken met een
groep die geen voormeting heeft gekregen.
4. Instrumentatie.
Veranderingen in meetinstrumenten of beoordelaars die veranderingen in
onderzoeksresultaten in gang zetten. Oplossing: retrospectieve voormeting. In plaats van
een echte voormeting, worden proefpersonen gevraagd naar hun begrip of vaardigheid
voorafgaand aan de treatment, na afloop van het onderzoek.
5. Statistische regressie (regression to the mean).
Extreme proefpersoonkenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een
minder extreem niveau. Neiging van variabele eigenschappen in een populatie om van
extreme waarden naar meer gemiddelde waarden te verplaatsen. Extreme gebeurtenis =
een regressie. Bijv. majeure depressie. Mensen komen vaak pas hulp zoeken voor hun
klachten wanneer zij op hun ergst er aan toe zijn.
Wanneer zij dan een behandeling ondergaan en minder klachten ervaren, omdat statistische
regressie optreedt (omdat zij op hun ergste punt waren maar nu weer langzaam “normaal”
3
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
, lOMoARcPSD|10935195
depressief zijn geworden) kan onterecht de waargenomen verbetering worden
toegeschreven aan de behandeling.
6. Selectie.
De vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op
voor het onderzoek relevante eigenschappen. Bijv. als een experimentele groep zich snel
vult met proefpersonen die erg slecht zijn in time-management en veel baat denken te
hebben bij de innovatieve cursus. Oplossing: goede randomisatie kan in veel gevallen
selection bias al voorkomen.
7. Uitval (experimental mortality).
Proefpersonen die niet meer meewerken aan latere metingen in het experiment om redenen
die relevant kunnen zijn voor de steekproefkenmerken van het experiment. Wanneer
conclusies worden getrokken op basis van overlevers in een dataset. Bijv. in een onderzoek
naar majeure depressie kan het zijn dat de proefpersonen met de zwaarste depressie hun
medewerking aan het onderzoek staken, omdat ze de energie er niet meer voor kunnen
opbrengen. Resultaten uit het onderzoek worden vervolgens gebaseerd op proefpersonen
met relatief minder ernstige depressie. Uitval wordt een bedreiger van validiteit, zodra de
uitval toe te schrijven is aan een systematisch kenmerk van het onderzoek zelf, het
toedienen van de treatment of de aard van de meetinstrumenten.
8. Interactie tussen bedreigers.
Een combinatie van bedreigers die elkaar versterken.
9. Verspreiding van de ingreep.
Informatie/uitleg in de ene conditie wordt ook bekend onder deelnemers in de andere
conditie.
10. Compenserende rivaliteit.
De deelnemers in verschillende onderzoekscondities gaan in competitie met deelnemers uit
de andere condities. Ook bekend als het John Henry-effect. John Henry was een arbeider
die beter dan een machine ging presteren in een experiment, omdat hij zich ervan bewust
was dat zijn prestaties met die van de machine vergeleken gingen worden.
3 Bedreigers van externe validiteit (generaliseerbaarheid naar real-life situatie of
doelpopulatie):
1. Interactie voormeting en experimentele stimulus.
De voormeting creëert een situatie die zich buiten het experiment niet voor zou doen; bijv. de
voormeting maakt mensen meer bewust van waarnaar ze worden gevraagd.
Bij interne validiteit was het probleem dat proefpersonen kunnen leren van de voormeting. Bij
externe validiteit is het probleem dat in de echte wereld niet gemeten worden, voordat ze
natuurlijk gedrag gaan vertonen. Oplossing van reactiviteit, is het weglaten van de
voormeting, kiezen voor een retrospectieve voormeting of kiezen voor misleiding: als
proefpersonen niet weten dat e worden onderzocht, dan kunnen zij zich ook niet bewust zijn
van het bestaan van een controlegroep.
2. Niet-representatieve steekproeven.
Selectie van proefpersonen wijkt af van de populatie waar het effect in plaats zou moeten
vinden. Representativiteit houdt in dat de steekproef wat betreft belangrijke kenmerken (bijv.
leeftijd, geslacht, opleidingsniveau), een goede afspiegeling vormt van de populatie.
3. Reactieve experimentele locatie. De proefleider beïnvloedt door aanwezigheid bewust of
onbewust de uitkomsten van de studie. Oplossing: voorkomen dat proefpersonen weten in
welke experimentele conditie zij zitten (blind experiment) of door te voorkomen dat de
proefleider weet in welke condities proefpersonen zijn ingedeeld (dubbelblind experiment).
Expermimenter bias:
4
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
Thema 1 Experimentele designs en validiteit
De belangrijkste overkoepelende ethische richtlijn is het principe van minimized harm:
Onderzoek moet zo zijn opgesteld, dat het de proefpersoon zo min mogelijk belast.
3 Belangrijkste ethische richtlijnen:
1. Informed consent: informatie verstrekken en toestemming vragen.
2. Debriefing: achteraf bespreken of vragen stellen.
3. Bedrog: voorliegen.
Active informed consent:
Handeling nodig om toestemming te geven, bijvoorbeeld een handtekening zetten.
Passive informed consent:
Handeling nodig om niet deel te nemen aan een onderzoek, bijvoorbeeld het invullen van
een vragenlijst (als de deelnemer niet mee wil doen, vult hij de lijst gewoon niet in).
8 Vereisten voor informeren bij informed consent:
1. Recht op deelname beëindigen.
2. Doel van onderzoek.
3. Onderzoeksprocedure.
4. Risico’s.
5. Maatschappelijk nut.
6. Duur van het onderzoek.
7. Contactinformatie.
8. Anonimiteit/vertrouwelijkheid.
Doel van debriefing:
Misverstanden of onzekerheden wegnemen.
Regel over bedrog:
Niet voorliegen, indien niet strikt noodzakelijk. In de regel is het niet toegestaan om
deelnemers te bedriegen, tenzij de onderzoeker aannemelijk kan maken dat dit noodzakelijk
is.
3 Bekendste vormen van bedrog:
1. Het gebruik maken van handlangers.
Voorbeeld: onderzoek van Asch naar Asch-effect. Asch liet proefpersonen lijnstukken van
verschillende lengte beoordelen. De handlangers waren geïnstrueerd om expres
overduidelijk foute antwoorden te geven, zodat de onderzoeker kon zien of de proefpersoon
zich liet verleiden om met de meerderheid mee te gaan.
2.Staged manipulations in field settings.
Omstandigheden waarin proefpersonen zich bevinden manipuleren.
1
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
, lOMoARcPSD|10935195
3. Misleidende instructies.
Voorbeeld: Milgram-experiment. Milgram vertelde de deelnemers dat ze meededen aan een
experiment naar een nieuwe leermethode middels het toedienen van elektrische schokken
bij foute antwoorden. In werkelijkheid werden er geen schokken toegediend en ging het
onderzoek over de bereidheid van de deelnemers om gehoor te geven aan opgedragen
taken van een gezaghebbende, ook als die strijdig waren met hun eigen geweten.
Doel proceduresectie:
Dat de lezer kan volgen hoe het experiment is gegaan.
De volgende informatie dient in een geode proceduresectie te staan:
- Indien niet eerder genoemd dan een aparte subkop: design, waarin het experimentele
design wordt besproken.
1. Een samenvatting van de instructies die proefpersonen ontvangen hebben. Niet het
volledige transcript. Als dit van belang is, kan naar de appendix worden verwezen. In de
appendix komt ook de informatie over informed consent.
2. Een beschrijving van de specifieke experimentele manipulaties en de ethische aspecten
daarvan. Hoe zijn de onafhankelijke variabelen in experimentele scenario’s
geoperationaliseerd en hoe zijn de proefpersonen hieraan blootgesteld?
3. Eventuele counterbalancing of andere methoden van experimentele controle.
4. Duur van het experiment.
5. Eventuele beloningen voor participatie aan het onderzoek.
Betrouwbaarheid versus validiteit:
- Betrouwbaarheid: na herhaling van de meting, steeds hetzelfde resultaat krijgen. Punten
liggen dicht bij elkaar. Betrouwbaarheid is synoniem aan ruis of error. Het gaat om fouten in
de meting. Metingen vrij van error hoort bij betrouwbaarheid.
Betrouwbaarheid is een statistisch probleem. Betrouwbaarheid: proberen te kwantifceren in
welke mate de meetinstrumenten tot consistente resultaten leiden.
- Validiteit: dat het meetinstrument meet wat het moet meten. Meten wat we willen meten.
Punten steeds op dezelfde plaats (in de middelste cirkel bijv.). Metingen vrij van bias hoort bij
validiteit.
Validiteit is een filosofisch probleem. Het is mogelijk om met statistische informatie bewijs te
krijgen die helpt bepalen of onderzoek valide is, maar uiteindelijk blijft het gis- en denkwerk.
Bias:
Als er systematische redenen zijn, waarom metingen van elkaar afwijken. Dit is een kwestie
van validiteit: we meten dan niet wat we willen meten.
Er zijn 2 categorieën validtiteit:
- Interne validiteit: geen andere verklaringen (of variabelen)
Is er voldoende bewijs dat X veranderingen op Y veroorzaakt.
2
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
, lOMoARcPSD|10935195
Is de causale relatie tussen twee variabelen voldoende aangetoond.
- Externe validiteit: generaliseerbaar naar real-life situatie (ecologische validiteit) of de
doelpopulatie
Er is sprake van een causal verband, als aan 3 voorwaarden is voldaan:
1. De oorzaak doet zich voor, voorafgaand aan het effect (temporeel precedent).
2. De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
3. Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen
schijnverband).
2 Soorten generaliseerbaarheid:
1. Generaliseerbaarheid naar real-life situaties: generaliseerbaarheid tussen situaties.
Ecologische validiteit.
2. Generaliseerbaarheid naar de doelpopulatie. Generaliseerbaarheid tussen mensen. In
ieder onderzoek moeten onderzoekers duidelijk maken welke doelpopulatie zij voor ogen
hebben en de steekproef moet daar een realistische weergave van zijn.
Spanningsveld tussen interne en externe validiteit:
Des te meer onderzoekers een experiment dichttimmeren door externe factoren buiten te
sluiten en proefpersoonskenmerken onder controle te houden (interne validiteit), des te
minder realistisch wordt het experiment met minder externe validiteit tot gevolg.
10 Bedreigers van interne validiteit (geen andere verklaringen):
1. Tussentijds extern voorval (history).
Specifieke gebeurtenissen die plaatsvinden tussen de eerste en tweede meting. Bijv. incident
met Roma, waardoor er positievere of negatievere attitudes zijn over Roma dan normaal.
2. Rijping of groei (maturation).
Veranderingen die binnen proefpersonen optreden door het verloop van tijd. Bijv.
concentratieverlies.
3. Testeffect.
De effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen.
Geoefend en daardoor betere resultaten. Oplossing: geen voormeting of vergelijken met een
groep die geen voormeting heeft gekregen.
4. Instrumentatie.
Veranderingen in meetinstrumenten of beoordelaars die veranderingen in
onderzoeksresultaten in gang zetten. Oplossing: retrospectieve voormeting. In plaats van
een echte voormeting, worden proefpersonen gevraagd naar hun begrip of vaardigheid
voorafgaand aan de treatment, na afloop van het onderzoek.
5. Statistische regressie (regression to the mean).
Extreme proefpersoonkenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een
minder extreem niveau. Neiging van variabele eigenschappen in een populatie om van
extreme waarden naar meer gemiddelde waarden te verplaatsen. Extreme gebeurtenis =
een regressie. Bijv. majeure depressie. Mensen komen vaak pas hulp zoeken voor hun
klachten wanneer zij op hun ergst er aan toe zijn.
Wanneer zij dan een behandeling ondergaan en minder klachten ervaren, omdat statistische
regressie optreedt (omdat zij op hun ergste punt waren maar nu weer langzaam “normaal”
3
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
, lOMoARcPSD|10935195
depressief zijn geworden) kan onterecht de waargenomen verbetering worden
toegeschreven aan de behandeling.
6. Selectie.
De vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op
voor het onderzoek relevante eigenschappen. Bijv. als een experimentele groep zich snel
vult met proefpersonen die erg slecht zijn in time-management en veel baat denken te
hebben bij de innovatieve cursus. Oplossing: goede randomisatie kan in veel gevallen
selection bias al voorkomen.
7. Uitval (experimental mortality).
Proefpersonen die niet meer meewerken aan latere metingen in het experiment om redenen
die relevant kunnen zijn voor de steekproefkenmerken van het experiment. Wanneer
conclusies worden getrokken op basis van overlevers in een dataset. Bijv. in een onderzoek
naar majeure depressie kan het zijn dat de proefpersonen met de zwaarste depressie hun
medewerking aan het onderzoek staken, omdat ze de energie er niet meer voor kunnen
opbrengen. Resultaten uit het onderzoek worden vervolgens gebaseerd op proefpersonen
met relatief minder ernstige depressie. Uitval wordt een bedreiger van validiteit, zodra de
uitval toe te schrijven is aan een systematisch kenmerk van het onderzoek zelf, het
toedienen van de treatment of de aard van de meetinstrumenten.
8. Interactie tussen bedreigers.
Een combinatie van bedreigers die elkaar versterken.
9. Verspreiding van de ingreep.
Informatie/uitleg in de ene conditie wordt ook bekend onder deelnemers in de andere
conditie.
10. Compenserende rivaliteit.
De deelnemers in verschillende onderzoekscondities gaan in competitie met deelnemers uit
de andere condities. Ook bekend als het John Henry-effect. John Henry was een arbeider
die beter dan een machine ging presteren in een experiment, omdat hij zich ervan bewust
was dat zijn prestaties met die van de machine vergeleken gingen worden.
3 Bedreigers van externe validiteit (generaliseerbaarheid naar real-life situatie of
doelpopulatie):
1. Interactie voormeting en experimentele stimulus.
De voormeting creëert een situatie die zich buiten het experiment niet voor zou doen; bijv. de
voormeting maakt mensen meer bewust van waarnaar ze worden gevraagd.
Bij interne validiteit was het probleem dat proefpersonen kunnen leren van de voormeting. Bij
externe validiteit is het probleem dat in de echte wereld niet gemeten worden, voordat ze
natuurlijk gedrag gaan vertonen. Oplossing van reactiviteit, is het weglaten van de
voormeting, kiezen voor een retrospectieve voormeting of kiezen voor misleiding: als
proefpersonen niet weten dat e worden onderzocht, dan kunnen zij zich ook niet bewust zijn
van het bestaan van een controlegroep.
2. Niet-representatieve steekproeven.
Selectie van proefpersonen wijkt af van de populatie waar het effect in plaats zou moeten
vinden. Representativiteit houdt in dat de steekproef wat betreft belangrijke kenmerken (bijv.
leeftijd, geslacht, opleidingsniveau), een goede afspiegeling vormt van de populatie.
3. Reactieve experimentele locatie. De proefleider beïnvloedt door aanwezigheid bewust of
onbewust de uitkomsten van de studie. Oplossing: voorkomen dat proefpersonen weten in
welke experimentele conditie zij zitten (blind experiment) of door te voorkomen dat de
proefleider weet in welke condities proefpersonen zijn ingedeeld (dubbelblind experiment).
Expermimenter bias:
4
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
Downloaded by Abdra Sree ()
