HHJ Hoofdstuk 11 Randomized experiments
Het onderzoeksontwerp is van invloed op de interne validiteit, d.w.z. de mogelijkheid om
causale conclusies te trekken over de invloed van de onafhankelijke variabele op de
afhankelijke variabele. Het onderscheid tussen twee onderzoeks-ontwerpen is vooral
gebaseerd op de mate waarin zij bedreigingen voor de interne validiteit tegen gaan. Vanuit dit
gezichtspunt zijn gerandomiseerde experimenten de beste designs omdat het de onderzoeker
is die kan beslissen welke subjecten aan welke niveaus van de onafhankelijke variabele
worden toegewezen.
Controleren en manipuleren van variabelen
Onderzoek vereist vaak manipulatie en meting van variabelen. In een onderzoek naar de
invloed van religie op stemgedrag, is religie de onafhankelijke variabele en is stemgedrag de
afhankelijke variabele. Wanneer men van een variabele wil nagaan het effect op een andere
variabele, wil men alle overige variabelen 'in bedwang houden' ("controll").
Onafhankelijke variabele = heeft een causale invloed op de uitkomst
Afhankelijke variabele = de uitkomst variabele, zijn waarde hangt af van de onafhankelijk
variabelen.
Er is een onderscheid tussen experimentele onafhankelijke variabelen (variabelen die door
de onderzoeker gemanipuleerd kunnen worden) en onafhankelijke subject-variabelen
('individual-difference variables': variabelen die niet door een onderzoeker in bedwang
gehouden ("controlled") kunnen worden: bijv. de opleiding van een persoon of het geslacht).
Eén manier om variabelen in bedwang te houden ("to controll") is om ze constant te houden.
In de sociale wetenschappen kan men de interne validiteit moeilijk maximaliseren door er
bijv. voor te zorgen dat de subjecten op een aantal variabelen niet van elkaar verschillen; er
zijn gewoon te veel andere variabelen die ook verstorend kunnen werken. De oplossing
hiervoor is het uitvoeren van een gerandomiseerd experiment waarin de personen aselect
worden toegewezen aan de verschillende niveaus van de onafhankelijke variabele.
Random toewijzing
Dit is de enige manier om twee of meer groepen gelijk te maken op alle mogelijke variabelen
want de onderzoeker moet er zeker van kunnen zijn dat de verschillen aan het eind van het
experiment het resultaat zijn van de treatment en niet van reeds bestaande verschillen.
Een aselecte steekproef ('random sample') dient om de bestudeerde groep representatief te
laten zijn voor de populatie; elke persoon heeft een gelijke kans om in de steekproef te
worden opgenomen; de externe validiteit wordt ook gemaximaliseerd.
Het is mogelijk dat de randomisering niet volledig is geslaagd, d.w.z. er zijn toch verschillen
op bepaalde variabelen tussen bepaalde groepen. De kans dat dit voorkomt, is aanzienlijk
groter wanneer de groepsgrootte klein is.
Onafhankelijke variabelen die binnen en tussen subjecten kunnen variëren
Met een onafhankelijke variabele die varieert tussen personen, wijzen we aselect elke persoon
toe aan de ene of de andere conditie; met een onafhankelijke variabele die binnen een persoon
varieert, wordt elke persoon in elke conditie gemeten en wijzen we de personen aselect toe
aan de verschillende condities in verschillende volgorden.
, Counterbalancing
Bedreigingen voor de interne validiteit
Rivaliserende verklaringen zijn een bedreiging voor de interne validiteit. Er worden 6? van
zulke bedreigingen onderscheiden:
Selectie
= systematisch verschil tussen groepen
Aanvangsverschillen tussen de groepen die invloed hebben op de afhankelijke variabele.
Wanneer mensen hun eigen treatment groep zouden mogen kiezen, is het niet waarschijnlijk
dat de groepen gelijk worden, daarom selectie tegen gaan door random toewijzing.
Rijping
= natuurlijke verandering op de afhankelijke variabele (i.p.v. door manipulatie)
Elk natuurlijk verlopend proces bij de bestudeerde personen dat een verandering in hun
prestatie kan veroorzaken (bv. vermoeidheid, groei, etc.). Mensen veranderen als zij ouder
worden.
Dit kan je voorkomen door een controle groep.
Selectie door rijping
= systematisch verschil tussen groepen door natuurlijke verandering.
Verschillen in spontane veranderingen in verschillende groepen kunnen verward worden met
de effecten van de treatment. 'Selectie door rijping' vindt plaats wanneer er tussen individuen
in de treatment-groepen veranderingen ontstaan in een verschillend tempo.
Voorkomen: randomisatie en controle groep
Geschiedenis
= gebeurtenis tijdens experiment die afhankelijke variabele kan beïnvloeden.
Elke gebeurtenis die samenvalt met de treatment en een soortgelijk effect kan veroorzaken.
Voorkomen door: controle groep en individueel testen.
Instrumentatie
= gebruik van een ander meetinstrument of procedure tijdens experiment.
Een verandering in de meetprocedures (bv. observatoren die meer ervaring krijgen en
daardoor anders gaan observeren).
Artefacten
= gevoeligheid van proefpersoon of proefleider voor bedoeling van het experiment.
Voorkomen: cover story, double-blind, minimaal contact.
Uitval
= Verschillende uitval tussen groepen.
Selectieve uitval van personen, wanneer personen bijv. niet meer terugkomen voor de natest.
Uitval is altijd een bedreiging voor de externe validiteit. Wanneer de uitval voor de
verschillende groepen verschillend is, is uitval óók bedreigend voor de interne validiteit.
Voorkomen: tegengaan en registreren
Testing
= effect van (voor)meting
Oplossing: solomon 4 groep design
Het onderzoeksontwerp is van invloed op de interne validiteit, d.w.z. de mogelijkheid om
causale conclusies te trekken over de invloed van de onafhankelijke variabele op de
afhankelijke variabele. Het onderscheid tussen twee onderzoeks-ontwerpen is vooral
gebaseerd op de mate waarin zij bedreigingen voor de interne validiteit tegen gaan. Vanuit dit
gezichtspunt zijn gerandomiseerde experimenten de beste designs omdat het de onderzoeker
is die kan beslissen welke subjecten aan welke niveaus van de onafhankelijke variabele
worden toegewezen.
Controleren en manipuleren van variabelen
Onderzoek vereist vaak manipulatie en meting van variabelen. In een onderzoek naar de
invloed van religie op stemgedrag, is religie de onafhankelijke variabele en is stemgedrag de
afhankelijke variabele. Wanneer men van een variabele wil nagaan het effect op een andere
variabele, wil men alle overige variabelen 'in bedwang houden' ("controll").
Onafhankelijke variabele = heeft een causale invloed op de uitkomst
Afhankelijke variabele = de uitkomst variabele, zijn waarde hangt af van de onafhankelijk
variabelen.
Er is een onderscheid tussen experimentele onafhankelijke variabelen (variabelen die door
de onderzoeker gemanipuleerd kunnen worden) en onafhankelijke subject-variabelen
('individual-difference variables': variabelen die niet door een onderzoeker in bedwang
gehouden ("controlled") kunnen worden: bijv. de opleiding van een persoon of het geslacht).
Eén manier om variabelen in bedwang te houden ("to controll") is om ze constant te houden.
In de sociale wetenschappen kan men de interne validiteit moeilijk maximaliseren door er
bijv. voor te zorgen dat de subjecten op een aantal variabelen niet van elkaar verschillen; er
zijn gewoon te veel andere variabelen die ook verstorend kunnen werken. De oplossing
hiervoor is het uitvoeren van een gerandomiseerd experiment waarin de personen aselect
worden toegewezen aan de verschillende niveaus van de onafhankelijke variabele.
Random toewijzing
Dit is de enige manier om twee of meer groepen gelijk te maken op alle mogelijke variabelen
want de onderzoeker moet er zeker van kunnen zijn dat de verschillen aan het eind van het
experiment het resultaat zijn van de treatment en niet van reeds bestaande verschillen.
Een aselecte steekproef ('random sample') dient om de bestudeerde groep representatief te
laten zijn voor de populatie; elke persoon heeft een gelijke kans om in de steekproef te
worden opgenomen; de externe validiteit wordt ook gemaximaliseerd.
Het is mogelijk dat de randomisering niet volledig is geslaagd, d.w.z. er zijn toch verschillen
op bepaalde variabelen tussen bepaalde groepen. De kans dat dit voorkomt, is aanzienlijk
groter wanneer de groepsgrootte klein is.
Onafhankelijke variabelen die binnen en tussen subjecten kunnen variëren
Met een onafhankelijke variabele die varieert tussen personen, wijzen we aselect elke persoon
toe aan de ene of de andere conditie; met een onafhankelijke variabele die binnen een persoon
varieert, wordt elke persoon in elke conditie gemeten en wijzen we de personen aselect toe
aan de verschillende condities in verschillende volgorden.
, Counterbalancing
Bedreigingen voor de interne validiteit
Rivaliserende verklaringen zijn een bedreiging voor de interne validiteit. Er worden 6? van
zulke bedreigingen onderscheiden:
Selectie
= systematisch verschil tussen groepen
Aanvangsverschillen tussen de groepen die invloed hebben op de afhankelijke variabele.
Wanneer mensen hun eigen treatment groep zouden mogen kiezen, is het niet waarschijnlijk
dat de groepen gelijk worden, daarom selectie tegen gaan door random toewijzing.
Rijping
= natuurlijke verandering op de afhankelijke variabele (i.p.v. door manipulatie)
Elk natuurlijk verlopend proces bij de bestudeerde personen dat een verandering in hun
prestatie kan veroorzaken (bv. vermoeidheid, groei, etc.). Mensen veranderen als zij ouder
worden.
Dit kan je voorkomen door een controle groep.
Selectie door rijping
= systematisch verschil tussen groepen door natuurlijke verandering.
Verschillen in spontane veranderingen in verschillende groepen kunnen verward worden met
de effecten van de treatment. 'Selectie door rijping' vindt plaats wanneer er tussen individuen
in de treatment-groepen veranderingen ontstaan in een verschillend tempo.
Voorkomen: randomisatie en controle groep
Geschiedenis
= gebeurtenis tijdens experiment die afhankelijke variabele kan beïnvloeden.
Elke gebeurtenis die samenvalt met de treatment en een soortgelijk effect kan veroorzaken.
Voorkomen door: controle groep en individueel testen.
Instrumentatie
= gebruik van een ander meetinstrument of procedure tijdens experiment.
Een verandering in de meetprocedures (bv. observatoren die meer ervaring krijgen en
daardoor anders gaan observeren).
Artefacten
= gevoeligheid van proefpersoon of proefleider voor bedoeling van het experiment.
Voorkomen: cover story, double-blind, minimaal contact.
Uitval
= Verschillende uitval tussen groepen.
Selectieve uitval van personen, wanneer personen bijv. niet meer terugkomen voor de natest.
Uitval is altijd een bedreiging voor de externe validiteit. Wanneer de uitval voor de
verschillende groepen verschillend is, is uitval óók bedreigend voor de interne validiteit.
Voorkomen: tegengaan en registreren
Testing
= effect van (voor)meting
Oplossing: solomon 4 groep design
