Week 8: Hoorcollege
Evaluatieonderzoek
Er zijn drie typen evaluatieonderzoek: vooraf (ex ante vrij theoretische vorm van onderzoek, de
vraag of een interventie in potentie effectief zou zijn), proces (tijdens de interventie wordt er
gekeken of de interventie wel correct wordt uitgevoerd), effect (ex post/impact heeft de
interventie de gevolgen gehad die we voor ogen hadden?). Evalueren is belangrijk verbeteringen aan
te brengen, verantwoording af te leggen, nieuwe kennis te verwerven, en de potentiële effectiviteit
van een interventie te bespreken. Een evaluatieonderzoek bestaat uit zeven stappen: (1) Wat is het
probleem? (2) Wat is de interventie? (3) Wat is het beoogde effect? (4) Wordt dit effect bereikt?
(kwantitatief) (5) Hoe komt dit? (kwalitatief) (6) Zijn er rivaliserende verklaringen? (7) Zijn er
neveneffecten? In de praktijk is de hamvraag of een geobserveerde verandering in gedrag toe te
schrijven is aan de interventie. Men gebruikt kwantitatief (experimenteel onderzoek) en kwalitatief
onderzoek (realist evaluation) om antwoord te geven op deze vraag.
Experimenten
Binnen de criminologie zijn experimenten vaak niet ethisch verantwoord. Er zijn drie soorten
experimenten: zuivere experimenten (veel controle) , quasi-experimenten, en pre-experimenten
(weinig controle). Hierbij omvat controle de vraag in hoeverre de onderzoeker controle heeft op de
onderzoeksopzet. Hierbij wordt onderscheid gemaakt tussen experimenteel onderzoek (met random
toewijzing van interventies) en observationeel onderzoek (deze onderzoeken zijn niet volledig
waterdicht, zo kan er sprake zijn van selectieve samenstelling van groepen, geen controlegroep, geen
voormeting). Belangrijke begrippen hierbij zijn voormeting, nameting, experimentele groep,
controlegroep, experimentele stimulus, randomisatie.
Maryland Scientific Methods Scale (MSMS)
De mensen van Campbell Collaberation vonden dat alle interventies dienen te voldoen aan evidence-
based policy. De betrouwbaarheid is hier dus erg belangrijk. Interne validiteit staat centraal (What
works?). zij stelden de MSMS op:
Niveau 1: Experimentele en controlegroep, alleen nameting (pre-experimenteel design)
Niveau 2: Alleen experimentele groep, alleen nameting, zonder controlegroep (pre-experimenteel
design)
Niveau 3: Experimentele en controlegroep, voor- en nameting (quasi-experimenteel design)
Niveau 4: Experimentele en controlegroep, voor- en nameting, gecontroleerd voor andere variabelen
(quasi-experimenteel design)
Niveau 5: Experimentele en controlegroep, voor- en nameting, waarbij groepen at random in één
van de twee groepen worden ingedeeld (experimenteel design)
Op het tentamen kunnen ze een onderzoeksvoorstel opstellen en dan moet je deze kunnen indelen
in de niveaus en hoe het voorsteel naar een hoger niveau getild zou kunnen worden.
Voordelen van MSMS:
- Alleen genoegen nemen met hard evidence. Ze willen alleen aan de gang met bewijs waar ze
heel zeker van zijn dat het gaat werken.
- Overzicht creëren: wat weten we nu concreet over effectiviteit?
Nadelen MSMS:
, - Externe validiteit? Niet te generaliseren naar andere situaties/personen
- Interventie als black box weinig duidelijkheid
- We weten dát het werkt, maar niet waarom
Realist evaluation (kwalitatief onderzoek)
We gaan hierbij terug naar de beleidstheorie: het gaat er niet om of het werkt, maar onder welke
condities het werkt. Hierbij is er dus meer aandacht voor mechanismen (CMO-model). Het CMO-
model bestaat uit Context, Mechanism, Outcome. Hierbij wordt gekeken naar hoe en waarom een
interventie uitwerkt in een specifieke context. Het doel hiervan is om de black box van de interventie
te ontrafelen. Het doel van kwalitatief onderzoek is inzicht krijgen over de betekenis die mensen
geven aan hun sociale omgeving. Theorievorming staat centraal.
Voordelen realist evaluation:
- Helpt om te begrijpen waarom effecten zich voordoen, het gaat echt in op die black box
- Kan omgaan met veranderingen in de interventies, je kunt dingen aanpassen tijdens het
onderzoek en nog steeds het onderzoek doen
Nadelen realist evaluation
- Uitvoerige dataverzameling vereist, onderzoek duurt erg lang
- Resultaten minder gewaardeerd in termen van wetenschappelijkheid, want het kan niet met
harde conclusies komen
Black box
Vaak is er onvoldoende inzicht in de precieze mechanismen die interventie in werking zetten.
Mechanismen zijn niet universeel, maar contextgebonden (volgens het CMO-model). Mechanismen
kunnen elkaar ook tegenwerken; het kan zowel positieve als negatieve effecten hebben. Om een
duidelijk beeld van een interventie te krijgen (en dus een zo klein mogelijke black box) is een
combinatie van kwalitatief en kwantitatief onderzoek nodig.
Grounded theory (Glaser & Strauss)
Glaser en Strauss bedachten een nieuwe theorie als kritiek op de eeuwige verificatie van voorgaande
theorieën. Men was altijd op zoek naar het bevestigen van theorieën, maar zij zeiden dat het ook
belangrijk was om data te vinden die theorieën tegenspreken. Het uitgangspunt van de theorie is dat
theorieën op inductieve wijze uit de data ontstaan. Kritiek op de grounded theory heeft geleid tot
verschillende vormen van de grounded theory. Een belangrijk element hierbij is constante
vergelijking (terwijl je nog bezig bent met het verzamelen van data, vergelijk je al wat je al weet met
wat je aan het zoeken bent). Maar tegenwoordig speelt theorie ook voor het onderzoek een rol in
het relevant maken van de vraagstelling/empirisch onderwerp, waar Glaser en Strauss dus in eerste
instantie kritiek op hadden. Hun zuivere inductieve benadering is dus in de realiteit vaak niet
mogelijk en wenselijk. Tegenwoordig is er dus vaak een combinatie te vinden van deductie en
inductie van data. Glaser en Strauss vonden het noodzakelijk om bij formuleren van probleemstelling
de theoretische relevantie (onderwerp (interessant), kenniscumulatie, maatschappelijke relevantie),
selectie, en afbakenen aan te tonen. Er zijn vier manieren om een theoretisch relevante
onderzoeksvraag op te stellen:
1. Theoretische vernieuwing, nodig door een veranderende samenleving, bij nieuwe sociale
verschijnselen
Evaluatieonderzoek
Er zijn drie typen evaluatieonderzoek: vooraf (ex ante vrij theoretische vorm van onderzoek, de
vraag of een interventie in potentie effectief zou zijn), proces (tijdens de interventie wordt er
gekeken of de interventie wel correct wordt uitgevoerd), effect (ex post/impact heeft de
interventie de gevolgen gehad die we voor ogen hadden?). Evalueren is belangrijk verbeteringen aan
te brengen, verantwoording af te leggen, nieuwe kennis te verwerven, en de potentiële effectiviteit
van een interventie te bespreken. Een evaluatieonderzoek bestaat uit zeven stappen: (1) Wat is het
probleem? (2) Wat is de interventie? (3) Wat is het beoogde effect? (4) Wordt dit effect bereikt?
(kwantitatief) (5) Hoe komt dit? (kwalitatief) (6) Zijn er rivaliserende verklaringen? (7) Zijn er
neveneffecten? In de praktijk is de hamvraag of een geobserveerde verandering in gedrag toe te
schrijven is aan de interventie. Men gebruikt kwantitatief (experimenteel onderzoek) en kwalitatief
onderzoek (realist evaluation) om antwoord te geven op deze vraag.
Experimenten
Binnen de criminologie zijn experimenten vaak niet ethisch verantwoord. Er zijn drie soorten
experimenten: zuivere experimenten (veel controle) , quasi-experimenten, en pre-experimenten
(weinig controle). Hierbij omvat controle de vraag in hoeverre de onderzoeker controle heeft op de
onderzoeksopzet. Hierbij wordt onderscheid gemaakt tussen experimenteel onderzoek (met random
toewijzing van interventies) en observationeel onderzoek (deze onderzoeken zijn niet volledig
waterdicht, zo kan er sprake zijn van selectieve samenstelling van groepen, geen controlegroep, geen
voormeting). Belangrijke begrippen hierbij zijn voormeting, nameting, experimentele groep,
controlegroep, experimentele stimulus, randomisatie.
Maryland Scientific Methods Scale (MSMS)
De mensen van Campbell Collaberation vonden dat alle interventies dienen te voldoen aan evidence-
based policy. De betrouwbaarheid is hier dus erg belangrijk. Interne validiteit staat centraal (What
works?). zij stelden de MSMS op:
Niveau 1: Experimentele en controlegroep, alleen nameting (pre-experimenteel design)
Niveau 2: Alleen experimentele groep, alleen nameting, zonder controlegroep (pre-experimenteel
design)
Niveau 3: Experimentele en controlegroep, voor- en nameting (quasi-experimenteel design)
Niveau 4: Experimentele en controlegroep, voor- en nameting, gecontroleerd voor andere variabelen
(quasi-experimenteel design)
Niveau 5: Experimentele en controlegroep, voor- en nameting, waarbij groepen at random in één
van de twee groepen worden ingedeeld (experimenteel design)
Op het tentamen kunnen ze een onderzoeksvoorstel opstellen en dan moet je deze kunnen indelen
in de niveaus en hoe het voorsteel naar een hoger niveau getild zou kunnen worden.
Voordelen van MSMS:
- Alleen genoegen nemen met hard evidence. Ze willen alleen aan de gang met bewijs waar ze
heel zeker van zijn dat het gaat werken.
- Overzicht creëren: wat weten we nu concreet over effectiviteit?
Nadelen MSMS:
, - Externe validiteit? Niet te generaliseren naar andere situaties/personen
- Interventie als black box weinig duidelijkheid
- We weten dát het werkt, maar niet waarom
Realist evaluation (kwalitatief onderzoek)
We gaan hierbij terug naar de beleidstheorie: het gaat er niet om of het werkt, maar onder welke
condities het werkt. Hierbij is er dus meer aandacht voor mechanismen (CMO-model). Het CMO-
model bestaat uit Context, Mechanism, Outcome. Hierbij wordt gekeken naar hoe en waarom een
interventie uitwerkt in een specifieke context. Het doel hiervan is om de black box van de interventie
te ontrafelen. Het doel van kwalitatief onderzoek is inzicht krijgen over de betekenis die mensen
geven aan hun sociale omgeving. Theorievorming staat centraal.
Voordelen realist evaluation:
- Helpt om te begrijpen waarom effecten zich voordoen, het gaat echt in op die black box
- Kan omgaan met veranderingen in de interventies, je kunt dingen aanpassen tijdens het
onderzoek en nog steeds het onderzoek doen
Nadelen realist evaluation
- Uitvoerige dataverzameling vereist, onderzoek duurt erg lang
- Resultaten minder gewaardeerd in termen van wetenschappelijkheid, want het kan niet met
harde conclusies komen
Black box
Vaak is er onvoldoende inzicht in de precieze mechanismen die interventie in werking zetten.
Mechanismen zijn niet universeel, maar contextgebonden (volgens het CMO-model). Mechanismen
kunnen elkaar ook tegenwerken; het kan zowel positieve als negatieve effecten hebben. Om een
duidelijk beeld van een interventie te krijgen (en dus een zo klein mogelijke black box) is een
combinatie van kwalitatief en kwantitatief onderzoek nodig.
Grounded theory (Glaser & Strauss)
Glaser en Strauss bedachten een nieuwe theorie als kritiek op de eeuwige verificatie van voorgaande
theorieën. Men was altijd op zoek naar het bevestigen van theorieën, maar zij zeiden dat het ook
belangrijk was om data te vinden die theorieën tegenspreken. Het uitgangspunt van de theorie is dat
theorieën op inductieve wijze uit de data ontstaan. Kritiek op de grounded theory heeft geleid tot
verschillende vormen van de grounded theory. Een belangrijk element hierbij is constante
vergelijking (terwijl je nog bezig bent met het verzamelen van data, vergelijk je al wat je al weet met
wat je aan het zoeken bent). Maar tegenwoordig speelt theorie ook voor het onderzoek een rol in
het relevant maken van de vraagstelling/empirisch onderwerp, waar Glaser en Strauss dus in eerste
instantie kritiek op hadden. Hun zuivere inductieve benadering is dus in de realiteit vaak niet
mogelijk en wenselijk. Tegenwoordig is er dus vaak een combinatie te vinden van deductie en
inductie van data. Glaser en Strauss vonden het noodzakelijk om bij formuleren van probleemstelling
de theoretische relevantie (onderwerp (interessant), kenniscumulatie, maatschappelijke relevantie),
selectie, en afbakenen aan te tonen. Er zijn vier manieren om een theoretisch relevante
onderzoeksvraag op te stellen:
1. Theoretische vernieuwing, nodig door een veranderende samenleving, bij nieuwe sociale
verschijnselen
