SAMENVATTING EXPERIMENTEEL
ONDERZOEKONTWERP (2C)
Leerdoelen:
1. Studenten kunnen onderscheid maken tussen experimentele
onderzoeks-designs, een vignette-experiment of een
veldexperiment. Daarnaast begrijpen zij causale inferentie en
randomisatie, en kunnen zij uitkomsten interpreteren met
behulp van ANOVA en regressieanalyse.
2. Studenten kunnen risico’s op het gebied van onderzoeksethiek
(zoals privacybescherming en integriteit) identificeren en
passende maatregelen voorstellen om deze risico’s te beperken.
3. Studenten kunnen de inhoud beschrijven van een informatief
(goed) onderzoeksvoorstel.
Inhoudsopgave
Samenvatting experimenteel onderzoekontwerp (2C).................................1
Boek Bryman's Social Research Methods.....................................................2
Hoofdstuk 3...............................................................................................2
Oefenvragen........................................................................................18
Hoofdstuk 25...........................................................................................21
Extra info....................................................................................................25
Experimental public administration from 1992 to 2014 (Bouwman &
Grimmelinkhuijsen, 2016).......................................................................25
Lab experiments are a major source of knowledge (Falk, 2009).............29
Replication, experiments and knowledge in public management research
(Walker, James, Brewer, 2017)................................................................32
Hoorcollege 1..........................................................................................34
Hoorcollege 2..........................................................................................38
Hoorcollege 3..........................................................................................39
Antwoorden oefenvragen...........................................................................45
,Boek Bryman's Social Research Methods
Hoofdstuk 3
Kernpunten
Er bestaat een belangrijk verschil tussen een onderzoeksmethode en
een onderzoeksdesign.
Je moet goed vertrouwd raken met de betekenis van de technische
begrippen die worden gebruikt om onderzoek te beoordelen, zoals
betrouwbaarheid, validiteit en repliceerbaarheid, evenals met de
verschillende vormen van validiteit: meetvaliditeit, interne validiteit,
externe validiteit, ecologische validiteit en inferentiële validiteit.
Je moet ook bekend raken met de verschillen tussen de vijf
belangrijkste onderzoeksdesigns die worden behandeld:
experimenteel, cross-sectioneel, longitudinaal, casestudy en
comparatief.
In niet-experimenteel onderzoek bestaan verschillende mogelijke
bedreigingen voor de interne validiteit.
Hoewel de casestudy vaak wordt gezien als één type
onderzoeksdesign, kent deze in werkelijkheid verschillende vormen.
Het is ook belangrijk om bewust te zijn van de vragen rond de aard
van casestudy-bewijs in relatie tot kwaliteitscriteria zoals externe
validiteit (generaliseerbaarheid).
3.1Introductie
Een onderzoeksdesign biedt een kader voor het verzamelen en analyseren
van data.
De keuze voor een bepaald onderzoeksdesign weerspiegelt welke prioriteit
we geven aan een of meer aspecten van het onderzoeksproces:
Het vaststellen van causale relaties tussen variabelen;
Het generaliseren van bevindingen naar grotere groepen dan alleen
de onderzochte personen;
Het begrijpen van gedrag en de betekenis daarvan binnen een
specifieke sociale context;
Het bestuderen van sociale fenomenen over tijd en de relaties
daartussen.
Een onderzoeksmethode is simpelweg een techniek om data te
verzamelen.
Dit kan bijvoorbeeld zijn:
Een vragenlijst die respondenten zelf invullen;
, Een gestructureerd interview met vooraf opgestelde vragen;
Participerende observatie, waarbij de onderzoeker mensen
observeert en luistert naar hun gedrag;
Analyse van documenten of bestaande datasets.
Wat is een variabele?
Een variabele is een kenmerk waarop gevallen (cases) kunnen verschillen.
In een dataset van universiteitsstudenten kunnen bijvoorbeeld de
volgende variabelen voorkomen: geslacht, leeftijd, etniciteit,
opleidingsniveau en nationaliteit.
Cases zijn vaak personen, maar kunnen ook andere eenheden zijn, zoals:
huishoudens, steden, organisaties, scholen en landen.
Wanneer een kenmerk niet varieert binnen je dataset, spreken we van een
constante.
Bijvoorbeeld: als alle respondenten in je onderzoek in het Verenigd
Koninkrijk wonen, dan is “land van verblijf” een constante.
Constanten kunnen belangrijke achtergrondinformatie geven, maar omdat
ze niet verschillen tussen respondenten, worden ze meestal niet gebruikt
in analyses.
Soorten variabelen; een belangrijke basisindeling is die tussen:
Onafhankelijke variabelen
Deze hebben invloed op andere variabelen.
Afhankelijke variabelen
Deze worden beïnvloed door andere variabelen.
Onderzoeksdesign versus methode
Onderzoeksmethoden kunnen worden gebruikt binnen verschillende
onderzoeksdesigns (Toch worden deze twee termen vaak door elkaar
gehaald).
Een onderzoeksdesign vormt de structuur die bepaalt hoe een methode
wordt toegepast en hoe de data worden geanalyseerd.
Een goed voorbeeld van het door elkaar halen van de termen is de
casestudy. Een casestudy is een onderzoeksdesign waarbij een specifiek
geval intensief wordt bestudeerd, bijvoorbeeld: een gemeenschap, een
organisatie of een persoon.
, Maar alleen besluiten om een organisatie intensief te bestuderen levert
nog geen data op. Je moet nog steeds bepalen welke methode je gebruikt,
bijvoorbeeld: observaties, interviews, documentanalyse en/of
vragenlijsten.
Het kiezen van een casestudy design betekent dus niet automatisch dat je
data hebt.
In dit hoofdstuk worden vijf verschillende onderzoeksdesigns besproken:
Experimenteel design en varianten daarvan (zoals quasi-
experimenten)
cross-sectioneel of survey desigs
longitudinaal design
case study design
comparatief design
3.2 Kwaliteitscriteria in sociaal onderzoek
Drie van de belangrijkste criteria om sociaal onderzoek te beoordelen zijn
betrouwbaarheid, replicatie en validiteit.
Betrouwbaarheid gaat over de vraag of we dezelfde resultaten
zouden krijgen als een onderzoek onder dezelfde omstandigheden
opnieuw wordt uitgevoerd. Bij kwantitatief onderzoek is
betrouwbaarheid belangrijk omdat onderzoekers willen weten of een
meting stabiel en consistent is.
Repliceerbaarheid gaat over het opnieuw uitvoeren van hetzelfde
onderzoek.
Validiteit gaat over de betrouwbaarheid van de conclusies die uit
onderzoek worden getrokken. Er zijn verschillende soorten validiteit.
Soms kiezen onderzoekers ervoor een eerder onderzoek opnieuw uit te
voeren (replicatie). Dit kan verschillende redenen hebben:
De oorspronkelijke resultaten lijken niet overeen te komen met
andere studies.
Men wil zien of resultaten over tijd of tussen groepen hetzelfde
blijven.
Om een studie te kunnen repliceren, moet deze repliceerbaar zijn. Dat
betekent dat het artikel duidelijk moet beschrijven:
Hoe het onderzoek is ontworpen
Wie deelnam
Welke data zijn verzameld
Hoe de data zijn geanalyseerd
ONDERZOEKONTWERP (2C)
Leerdoelen:
1. Studenten kunnen onderscheid maken tussen experimentele
onderzoeks-designs, een vignette-experiment of een
veldexperiment. Daarnaast begrijpen zij causale inferentie en
randomisatie, en kunnen zij uitkomsten interpreteren met
behulp van ANOVA en regressieanalyse.
2. Studenten kunnen risico’s op het gebied van onderzoeksethiek
(zoals privacybescherming en integriteit) identificeren en
passende maatregelen voorstellen om deze risico’s te beperken.
3. Studenten kunnen de inhoud beschrijven van een informatief
(goed) onderzoeksvoorstel.
Inhoudsopgave
Samenvatting experimenteel onderzoekontwerp (2C).................................1
Boek Bryman's Social Research Methods.....................................................2
Hoofdstuk 3...............................................................................................2
Oefenvragen........................................................................................18
Hoofdstuk 25...........................................................................................21
Extra info....................................................................................................25
Experimental public administration from 1992 to 2014 (Bouwman &
Grimmelinkhuijsen, 2016).......................................................................25
Lab experiments are a major source of knowledge (Falk, 2009).............29
Replication, experiments and knowledge in public management research
(Walker, James, Brewer, 2017)................................................................32
Hoorcollege 1..........................................................................................34
Hoorcollege 2..........................................................................................38
Hoorcollege 3..........................................................................................39
Antwoorden oefenvragen...........................................................................45
,Boek Bryman's Social Research Methods
Hoofdstuk 3
Kernpunten
Er bestaat een belangrijk verschil tussen een onderzoeksmethode en
een onderzoeksdesign.
Je moet goed vertrouwd raken met de betekenis van de technische
begrippen die worden gebruikt om onderzoek te beoordelen, zoals
betrouwbaarheid, validiteit en repliceerbaarheid, evenals met de
verschillende vormen van validiteit: meetvaliditeit, interne validiteit,
externe validiteit, ecologische validiteit en inferentiële validiteit.
Je moet ook bekend raken met de verschillen tussen de vijf
belangrijkste onderzoeksdesigns die worden behandeld:
experimenteel, cross-sectioneel, longitudinaal, casestudy en
comparatief.
In niet-experimenteel onderzoek bestaan verschillende mogelijke
bedreigingen voor de interne validiteit.
Hoewel de casestudy vaak wordt gezien als één type
onderzoeksdesign, kent deze in werkelijkheid verschillende vormen.
Het is ook belangrijk om bewust te zijn van de vragen rond de aard
van casestudy-bewijs in relatie tot kwaliteitscriteria zoals externe
validiteit (generaliseerbaarheid).
3.1Introductie
Een onderzoeksdesign biedt een kader voor het verzamelen en analyseren
van data.
De keuze voor een bepaald onderzoeksdesign weerspiegelt welke prioriteit
we geven aan een of meer aspecten van het onderzoeksproces:
Het vaststellen van causale relaties tussen variabelen;
Het generaliseren van bevindingen naar grotere groepen dan alleen
de onderzochte personen;
Het begrijpen van gedrag en de betekenis daarvan binnen een
specifieke sociale context;
Het bestuderen van sociale fenomenen over tijd en de relaties
daartussen.
Een onderzoeksmethode is simpelweg een techniek om data te
verzamelen.
Dit kan bijvoorbeeld zijn:
Een vragenlijst die respondenten zelf invullen;
, Een gestructureerd interview met vooraf opgestelde vragen;
Participerende observatie, waarbij de onderzoeker mensen
observeert en luistert naar hun gedrag;
Analyse van documenten of bestaande datasets.
Wat is een variabele?
Een variabele is een kenmerk waarop gevallen (cases) kunnen verschillen.
In een dataset van universiteitsstudenten kunnen bijvoorbeeld de
volgende variabelen voorkomen: geslacht, leeftijd, etniciteit,
opleidingsniveau en nationaliteit.
Cases zijn vaak personen, maar kunnen ook andere eenheden zijn, zoals:
huishoudens, steden, organisaties, scholen en landen.
Wanneer een kenmerk niet varieert binnen je dataset, spreken we van een
constante.
Bijvoorbeeld: als alle respondenten in je onderzoek in het Verenigd
Koninkrijk wonen, dan is “land van verblijf” een constante.
Constanten kunnen belangrijke achtergrondinformatie geven, maar omdat
ze niet verschillen tussen respondenten, worden ze meestal niet gebruikt
in analyses.
Soorten variabelen; een belangrijke basisindeling is die tussen:
Onafhankelijke variabelen
Deze hebben invloed op andere variabelen.
Afhankelijke variabelen
Deze worden beïnvloed door andere variabelen.
Onderzoeksdesign versus methode
Onderzoeksmethoden kunnen worden gebruikt binnen verschillende
onderzoeksdesigns (Toch worden deze twee termen vaak door elkaar
gehaald).
Een onderzoeksdesign vormt de structuur die bepaalt hoe een methode
wordt toegepast en hoe de data worden geanalyseerd.
Een goed voorbeeld van het door elkaar halen van de termen is de
casestudy. Een casestudy is een onderzoeksdesign waarbij een specifiek
geval intensief wordt bestudeerd, bijvoorbeeld: een gemeenschap, een
organisatie of een persoon.
, Maar alleen besluiten om een organisatie intensief te bestuderen levert
nog geen data op. Je moet nog steeds bepalen welke methode je gebruikt,
bijvoorbeeld: observaties, interviews, documentanalyse en/of
vragenlijsten.
Het kiezen van een casestudy design betekent dus niet automatisch dat je
data hebt.
In dit hoofdstuk worden vijf verschillende onderzoeksdesigns besproken:
Experimenteel design en varianten daarvan (zoals quasi-
experimenten)
cross-sectioneel of survey desigs
longitudinaal design
case study design
comparatief design
3.2 Kwaliteitscriteria in sociaal onderzoek
Drie van de belangrijkste criteria om sociaal onderzoek te beoordelen zijn
betrouwbaarheid, replicatie en validiteit.
Betrouwbaarheid gaat over de vraag of we dezelfde resultaten
zouden krijgen als een onderzoek onder dezelfde omstandigheden
opnieuw wordt uitgevoerd. Bij kwantitatief onderzoek is
betrouwbaarheid belangrijk omdat onderzoekers willen weten of een
meting stabiel en consistent is.
Repliceerbaarheid gaat over het opnieuw uitvoeren van hetzelfde
onderzoek.
Validiteit gaat over de betrouwbaarheid van de conclusies die uit
onderzoek worden getrokken. Er zijn verschillende soorten validiteit.
Soms kiezen onderzoekers ervoor een eerder onderzoek opnieuw uit te
voeren (replicatie). Dit kan verschillende redenen hebben:
De oorspronkelijke resultaten lijken niet overeen te komen met
andere studies.
Men wil zien of resultaten over tijd of tussen groepen hetzelfde
blijven.
Om een studie te kunnen repliceren, moet deze repliceerbaar zijn. Dat
betekent dat het artikel duidelijk moet beschrijven:
Hoe het onderzoek is ontworpen
Wie deelnam
Welke data zijn verzameld
Hoe de data zijn geanalyseerd
