Inhoudsopgave
INTERVENTIES IN UITVOERING: WAT ER MIS KAN GAAN BIJ DE UITVOERING VAN JUSTITIËLE
(GEDRAGS)INTERVENTIES EN HOE DAT KOMT ................................................................................... 3
SCARED STRAIGHT AND OTHER JUVENILE AWARENESS PROGRAMS FOR PREVENTING JUVENILE
DELINQUENCY: A SYSTEMATIC REVIEW OF THE RANDOMIZED EXPERIMENTAL EVIDENCE ................ 9
A RANDOMIZED CONTROLLED TRIAL OF THE EFFECTIVENESS OF MULTISYSTEMIC THERAPY IN THE
NETHERLANDS: POST-TREATMENT CHANGES AND MODERATOR EFFECTS ...................................... 11
EEN PIONIERSSTUDIE IN JUSTITIELAND: DE EVALUATIE VAN HALT IN EEN EXPERIMENTELE SETTING
......................................................................................................................................................... 15
RECIDIVE NA WERKSTRAFFEN EN NA GEVANGENISSTRAFFEN: EEN GEMATCHTE VERGELIJKING ..... 20
A QUASI-EXPERIMENTAL STUDY ON THE EFFECTIVENESS OF DUTCH CELL DOGS IN INCARCERATED
YOUTH ............................................................................................................................................. 22
KOSTEN VAN CRIMINALITEIT EN BATEN VAN CRIMINALITEITSBESTRIJDING .................................... 25
ARE WE BARKING UP THE RIGHT TREE? A META-ANALYSIS ON THE EFFECTIVENESS OF PRISON-
BASED DOG PROGRAMS .................................................................................................................. 28
A SYSTEMATIC REVIEW AND META-ANALYSIS ON THE EFFECTS OF YOUNG OFFENDER TREATMENT
PROGRAMS IN EUROPE.................................................................................................................... 32
TE ZIEK VOOR REGULIERE DETENTIE, TE GEWELDDADIG VOOR DE GGZ. ZORG VOOR
GEDETINEERDEN MET PSYCHIATRISCHE PROBLEMATIEK IN DE PENITENTIAIRE PSYCHIATRISCHE
CENTRA ............................................................................................................................................ 36
PRISONS DO NOT REDUCE RECIDIVISM: THE HIGH COST OF IGNORING SCIENCE............................. 40
HOORCOLLEGE 7 .............................................................................................................................. 44
EFFECTONDERZOEK IN DE TBS-SECTOR: THEORETISCHE OVERWEGINGEN EN PRAKTISCHE
UITVOERING BIJ TRAJECTUM HOEVE BOSCHOORD .......................................................................... 44
HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/237087480_EFFECTONDERZOEK_IN_DE_TBS-
SECTOR_THEORETISCHE_OVERWEGINGEN_EN_PRAKTISCHE_UITVOERING_BIJ_TRAJECTUM_HOEVE
_BOSCHOORD .................................................................................................................................. 44
DIT ARTIKEL GAAT OVER EEN EFFECTSTUDIE NAAR DE TBS-BEHANDELING. ER WORDT NIET
DAADWERKELIJK INGEGAAN OP HET EFFECT VAN TBS, MAAR ER WORDT INGEGAAN OP HOE JE
1
,ZO’N EFFECTSTUDIE KAN DOEN BINNEN DE TBS/HOE ZE DIT BIJ TRAJECTUM HOEVE BOSCHOORD
DOEN. HET ONDERZOEK IS NOG BEZIG DUS DE RESULTATEN ZIJN ER NOG NIET. ER IS ONDERZOEK
GEKOMEN AANGEZIEN ER VANUIT DE POLITIEK DRUK IS UITGEOEFEND, OMDAT ER NOOIT EERDER
ONDERZOEK IS GEDAAN................................................................................................................... 44
IN DIT ARTIKEL WORDT BESCHREVEN HOE JE HET EFFECT VAN DE TBS-BEHANDELING ALS GEHEEL
KAN BEKIJKEN. ER WORDT BESCHREVEN WAAROM HET LASTIG IS OM MET EEN CONTROLEGROEP
TE WERKEN, DUS DAT ER GEWERKT MOET WORDEN MET EEN SINGLE-GROUP DESIGN (ROM) EN
WELKE ASPECTEN ER DAN MEEGENOMEN MOETEN WORDEN OM ALTERNATIEVE VERKLARINGEN
UIT TE SLUITEN. VERVOLGENS WORDT BESCHREVEN DAT JE ALS UITKOMSTVARIABEL NIET ALLEEN
NAAR HET VERMINDEREN VAN RECIDIVE MOET KIJKEN, MAAR OOK NAAR DE DYNAMISCHE
RISICOFACTOREN. ER WORDEN VERSCHILLENDE MEETINSTRUMENTEN BESPROKEN DIE DE
UITKOMST OP DE DYNAMISCHE RISICOFACTOREN KUNNEN METEN. VERDER WORDT ER NOG OP
PRAKTISCHE ASPECTEN INGEGAAN DIE EEN UITDAGING KUNNEN VORMEN. .................................. 44
ABSTRACT ........................................................................................................................................ 44
PERSPECTIEFVERLIES BIJ LEVENSLANGE GEVANGENISSTRAF EN LONGSTAY-TBSKADER:
OVEREENKOMSTEN EN VERSCHILLEN .............................................................................................. 49
RECIDIVE INSCHATTEN MET BEHULP VAN EEN EMPIRISCH MODEL. KANSEN VOOR DE
STRAFRECHTSPRAKTIJK? .................................................................................................................. 52
RISICOTAXATIE IN DE STRAFRECHTSTOEPASSING PRAKTISCHE, ETHISCHE EN RECHTSPOSITIONELE
ASPECTEN BELICHT........................................................................................................................... 56
KRIJGT MIJN KIND EEN STRAFBLAD? DE VERKLARING OMTRENT HET GEDRAG IN DE PRAKTIJK...... 62
CIRCLES OF SUPPORT AND ACCOUNTABILITY. EEN SOCIAL NETWORK VOOR ZEDENDELINQUENTEN.
......................................................................................................................................................... 66
STRAFFEN EN BELONEN IN DETENTIE: EEN PLANEVALUATIE VAN HET NEDERLANDSE SYSTEEM VAN
PROMOVEREN EN DEGRADEREN ..................................................................................................... 69
EEN META-ANALYSE VAN NEDERLANDS RECIDIVEONDERZOEK NAAR DE EFFECTEN VAN
STRAFRECHTELIJKE INTERVENTIES ................................................................................................... 75
2
,Week 1
Hoorcollege 2
Interventies in uitvoering: Wat er mis kan gaan bij de uitvoering van justitiële
(gedrags)interventies en hoe dat komt
chrome-
extension://efaidnbmnnnibpcajpcglclefindmkaj/https://repository.wodc.nl/bitstream/handl
e/20.500.12832/891/memorandum-2011-2-volledige-tekst_tcm28-
78183.pdf?sequence=1&isAllowed=y
Gaat over wat er allemaal mis kan gaan bij een justitiële (gedrags)interventie en hoe dat
komt. Er worden door het WODC 20 uitgevoerde of aanbestede procesevaluaties onderzocht.
Hiermee wordt geprobeerd inzicht te krijgen in de uitvoering van interventies. Het gaat
vooral om de problemen die kunnen optreden bij de uitvoering en de mogelijke oorzaken van
deze problemen. Hierbij zullen ook de belemmeringen meegenomen worden waar
onderzoekers zelf mee te maken hebben gekregen in hun onderzoek (procesevaluatie).
Hoofdstuk 1 Aanleiding, doel en probleemstelling
Gedragsinterventies zijn ontwikkeld als onderdeel van het programma ‘Terugdringen
Recidive’. Deze interventies zijn steeds meer gebaseerd op wetenschappelijk onderzoek
(evidence based) en voldoen aan de ‘What Works’ principes. Dit houdt in dat:
- Aan de interventieprogramma’s een theoretisch model ten grondslag moet liggen
waarvan de recidive reducerende werking wetenschappelijk is aangetoond
- De doelgroep helder is gedefinieerd
- De programma’s gericht moeten zijn op het veranderen van risicofactoren die
samenhangen met het criminele gedrag
- Er methoden worden gebruikt die aantoonbaar effectief of veelbelovend zijn.
Ook moet het programma aansluiten bij de problematiek van de deelnemers. Deze principes
zijn vertaald in 10 criteria (bijlage 1). De Erkenningscommissie gedragsinterventies justitie
toetst de interventie aan deze criteria en pas dan volgt financiering.
Evaluatieonderzoek heeft als doel om meer inzicht te krijgen in de effectiviteit van een
(beleids)programma en om te bestuderen of een programma wordt uitgevoerd zoals de
oorspronkelijke programmabeschrijving dat voorschrijft. Het is namelijk heel belangrijk dat
een interventie wordt uitgevoerd zoals bedoeld. Er kunnen anders verkeerde conclusies
getrokken worden over de effectiviteit. Echter wordt een interventie niet altijd uitgevoerd
zoals bedoeld. Hierdoor meer aandacht voor deze vraag (programma-integriteit).
De probleemstelling is: Welke problemen doen zich voor bij de uitvoering van
(gedrags)interventies en wat zijn mogelijke oorzaken daarvan?
Hierbij drie onderzoeksvragen:
1. Welke problemen doen zich voor bij de uitvoering van interventies?
2. Waardoor worden de problemen veroorzaakt?
3
, 3. Welke belemmeringen komen onderzoekers tegen bij de procesevaluaties?
Hoofdstuk 2: gaat over de plaats van procesevaluaties in de evaluatieketen.
Hoofdstuk 3: methode van onderzoek wordt beschreven.
Hoofdstuk 4: resultaten over de uitvoering van de interventies worden gerapporteerd.
Hoofdstuk 5: gaat over de problemen waarmee de onderzoekers te maken kregen in het
doen van procesevaluaties.
Hoofdstuk 6: conclusies en discussie.
Hoofdstuk 2 Procesevaluaties: de uitvoering van interventies
2.1 Procesevaluaties in de evaluatieketen
Planevaluatie: hierin worden de veronderstellingen achter een interventie – de
programmatheorie – expliciet gemaakt en wordt aan de hand van bestaand onderzoek
getoetst of de interventie kansrijk is en de beoogde effecten waar zal kunnen maken. De
planevaluatie wordt bij voorkeur voorafgaand aan de invoering van een interventie verricht.
Procesevaluatie: De procesevaluatie vindt plaats tijdens de implementatiefase van de
interventie of na deze fase. Hierbij wordt nagegaan of de interventie wordt uitgevoerd zoals
beschreven in de plannen: ‘De bevindingen van de procesevaluatie vormen een toets voor
de veronderstellingen die in de fase van de planevaluatie zijn geëxpliciteerd’.
Indien de procesevaluatie een positief resultaat oplevert, kan worden overgegaan tot de
productevaluatie, waarin de resultaten en effecten van de interventie nader worden
bekeken, zowel in termen van de programmadoelen als in termen van recidive.
Met behulp van een procesevaluatie kan worden voorkomen dat foute conclusies worden
getrokken uit de resultaten van een product-of effectevaluatie. Een procesevaluatie kan er
ook toe leiden dat beter wordt begrepen hoe en waarom een interventie ‘werkt’ en hoe de
uitvoering kan worden verbeterd. Een procesevaluatie kan ook nuttig zijn na een
effectevaluatie. Als blijkt dat het programma niet tot de beoogde effecten leidt, kan met
behulp van de procesevaluatie worden nagegaan of dat ligt aan de uitvoering of dat het
wellicht ligt aan het falen van de programmatheorie. Ook kan procesevaluatie relevant zijn
voor de sustainability (duurzaamheid) van interventies.
Met behulp van een procesevaluatie kan zowel het implementatie-als het uitvoeringproces
(of beide) onder de loep worden genomen. Bij het bestuderen van het implementatieproces
richt men zich voornamelijk op de fase van invoering. Dit is de fase waarin de condities voor
de interventie moeten worden geschapen en waarin de eerste ervaringen met de interventie
worden opgedaan. Dit type van procesevaluatie wordt ook wel ‘formatieve procesevaluatie’
genoemd. De uitvoering behelst de fase ná de implementatie. Als de procesevaluatie zich
richt op deze fase, dan wordt bestudeerd of het programma wordt uitgevoerd op een
manier die verenigbaar is met de opzet. Er wordt dan wel gesproken van een ‘summatieve
procesevaluatie’. Blijkt uit de procesevaluatie dat de interventie wordt uitgevoerd zoals
beoogd, dan is er sprake van programma-integriteit. Naast de ‘gewone’ eenmalige
procesevaluatie kan ook sprake zijn van een herhaling van de procesevaluatie – of van
onderdelen daarvan – in de vorm van een continue evaluatie van het programma. Dit wordt
ook wel programme monitoring of performance monitoring genoemd.
4
, 2.2 Onderwerpen van procesevaluaties
De hoofdvraag van een procesevaluatie is: Wordt het programma/de interventie geleverd
zoals bedoeld?
Daarnaast belangrijk om te onderzoeken of de interventie volgens de voorgeschreven
frequentie en duur wordt toegepast en of de juiste doelgroep(en) word(en)t bereikt. Verder
zouden ook de volgende onderwerpen moeten worden meegenomen in procesevaluaties
omdat ze de programma-integriteit mede bepalen: quality of delivery, participant
responsiveness, intervention complexity, facilitation strategies en de relatie tussen deze
aspecten.
Er worden meerdere oorzaken genoemd in deze paragraaf waarom een interventie niet
wordt geïmplementeerd en uitgevoerd zoals beoogd.
Hoofdstuk 3 Methode
In dit hoofdstuk staat beschreven welke procesevaluaties zijn bestudeerd, hoe deze
gevonden zijn, op wat voor interventies deze betrekking hebben, welke aspecten er van de
procesevaluatie is bestudeerd, hoe de procesevaluaties gescoord zijn etc.
Hoofdstuk 4 Wat er misgaat in de uitvoering van interventies
In dit hoofdstuk wordt ingegaan op problemen in de praktische uitvoering van interventies
(in paragraaf 4.1) en op de oorzaken van deze problemen (in paragraaf 4.2).
4.1 Problemen in de uitvoering van interventies
Alle procesevaluaties rapporteren een of meer problemen in de uitvoering, die ertoe leiden
dat interventies niet geheel worden uitgevoerd zoals dat vooraf werd beoogd. De problemen
hebben betrekking op:
• Handleiding/methodiekbeschrijving
- Handleiding wordt niet gevolgd
- Handleiding is niet toereikend
- Uitvoerders brengen eigen ideeën in
• Draagvlak
- Onvoldoende draagvlak, regie en steun in instelling
• Personeel
- Te weinig medewerkers/uitvoerders/trainers, personeelswisselingen
- (Kwaliteit)verschil in locaties/trainers
- Gebrek aan ervaring trainers/medewerkers
• Deelnemers
- Te weinig instroom/instroom lager dan verwacht
- Selectiecriteria worden niet nageleefd
• Ketensamenwerking
- Ketenpartners werken niet goed samen
→ Deze problemen worden allemaal dieper uitgelegd in de paragraaf.
5
INTERVENTIES IN UITVOERING: WAT ER MIS KAN GAAN BIJ DE UITVOERING VAN JUSTITIËLE
(GEDRAGS)INTERVENTIES EN HOE DAT KOMT ................................................................................... 3
SCARED STRAIGHT AND OTHER JUVENILE AWARENESS PROGRAMS FOR PREVENTING JUVENILE
DELINQUENCY: A SYSTEMATIC REVIEW OF THE RANDOMIZED EXPERIMENTAL EVIDENCE ................ 9
A RANDOMIZED CONTROLLED TRIAL OF THE EFFECTIVENESS OF MULTISYSTEMIC THERAPY IN THE
NETHERLANDS: POST-TREATMENT CHANGES AND MODERATOR EFFECTS ...................................... 11
EEN PIONIERSSTUDIE IN JUSTITIELAND: DE EVALUATIE VAN HALT IN EEN EXPERIMENTELE SETTING
......................................................................................................................................................... 15
RECIDIVE NA WERKSTRAFFEN EN NA GEVANGENISSTRAFFEN: EEN GEMATCHTE VERGELIJKING ..... 20
A QUASI-EXPERIMENTAL STUDY ON THE EFFECTIVENESS OF DUTCH CELL DOGS IN INCARCERATED
YOUTH ............................................................................................................................................. 22
KOSTEN VAN CRIMINALITEIT EN BATEN VAN CRIMINALITEITSBESTRIJDING .................................... 25
ARE WE BARKING UP THE RIGHT TREE? A META-ANALYSIS ON THE EFFECTIVENESS OF PRISON-
BASED DOG PROGRAMS .................................................................................................................. 28
A SYSTEMATIC REVIEW AND META-ANALYSIS ON THE EFFECTS OF YOUNG OFFENDER TREATMENT
PROGRAMS IN EUROPE.................................................................................................................... 32
TE ZIEK VOOR REGULIERE DETENTIE, TE GEWELDDADIG VOOR DE GGZ. ZORG VOOR
GEDETINEERDEN MET PSYCHIATRISCHE PROBLEMATIEK IN DE PENITENTIAIRE PSYCHIATRISCHE
CENTRA ............................................................................................................................................ 36
PRISONS DO NOT REDUCE RECIDIVISM: THE HIGH COST OF IGNORING SCIENCE............................. 40
HOORCOLLEGE 7 .............................................................................................................................. 44
EFFECTONDERZOEK IN DE TBS-SECTOR: THEORETISCHE OVERWEGINGEN EN PRAKTISCHE
UITVOERING BIJ TRAJECTUM HOEVE BOSCHOORD .......................................................................... 44
HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/237087480_EFFECTONDERZOEK_IN_DE_TBS-
SECTOR_THEORETISCHE_OVERWEGINGEN_EN_PRAKTISCHE_UITVOERING_BIJ_TRAJECTUM_HOEVE
_BOSCHOORD .................................................................................................................................. 44
DIT ARTIKEL GAAT OVER EEN EFFECTSTUDIE NAAR DE TBS-BEHANDELING. ER WORDT NIET
DAADWERKELIJK INGEGAAN OP HET EFFECT VAN TBS, MAAR ER WORDT INGEGAAN OP HOE JE
1
,ZO’N EFFECTSTUDIE KAN DOEN BINNEN DE TBS/HOE ZE DIT BIJ TRAJECTUM HOEVE BOSCHOORD
DOEN. HET ONDERZOEK IS NOG BEZIG DUS DE RESULTATEN ZIJN ER NOG NIET. ER IS ONDERZOEK
GEKOMEN AANGEZIEN ER VANUIT DE POLITIEK DRUK IS UITGEOEFEND, OMDAT ER NOOIT EERDER
ONDERZOEK IS GEDAAN................................................................................................................... 44
IN DIT ARTIKEL WORDT BESCHREVEN HOE JE HET EFFECT VAN DE TBS-BEHANDELING ALS GEHEEL
KAN BEKIJKEN. ER WORDT BESCHREVEN WAAROM HET LASTIG IS OM MET EEN CONTROLEGROEP
TE WERKEN, DUS DAT ER GEWERKT MOET WORDEN MET EEN SINGLE-GROUP DESIGN (ROM) EN
WELKE ASPECTEN ER DAN MEEGENOMEN MOETEN WORDEN OM ALTERNATIEVE VERKLARINGEN
UIT TE SLUITEN. VERVOLGENS WORDT BESCHREVEN DAT JE ALS UITKOMSTVARIABEL NIET ALLEEN
NAAR HET VERMINDEREN VAN RECIDIVE MOET KIJKEN, MAAR OOK NAAR DE DYNAMISCHE
RISICOFACTOREN. ER WORDEN VERSCHILLENDE MEETINSTRUMENTEN BESPROKEN DIE DE
UITKOMST OP DE DYNAMISCHE RISICOFACTOREN KUNNEN METEN. VERDER WORDT ER NOG OP
PRAKTISCHE ASPECTEN INGEGAAN DIE EEN UITDAGING KUNNEN VORMEN. .................................. 44
ABSTRACT ........................................................................................................................................ 44
PERSPECTIEFVERLIES BIJ LEVENSLANGE GEVANGENISSTRAF EN LONGSTAY-TBSKADER:
OVEREENKOMSTEN EN VERSCHILLEN .............................................................................................. 49
RECIDIVE INSCHATTEN MET BEHULP VAN EEN EMPIRISCH MODEL. KANSEN VOOR DE
STRAFRECHTSPRAKTIJK? .................................................................................................................. 52
RISICOTAXATIE IN DE STRAFRECHTSTOEPASSING PRAKTISCHE, ETHISCHE EN RECHTSPOSITIONELE
ASPECTEN BELICHT........................................................................................................................... 56
KRIJGT MIJN KIND EEN STRAFBLAD? DE VERKLARING OMTRENT HET GEDRAG IN DE PRAKTIJK...... 62
CIRCLES OF SUPPORT AND ACCOUNTABILITY. EEN SOCIAL NETWORK VOOR ZEDENDELINQUENTEN.
......................................................................................................................................................... 66
STRAFFEN EN BELONEN IN DETENTIE: EEN PLANEVALUATIE VAN HET NEDERLANDSE SYSTEEM VAN
PROMOVEREN EN DEGRADEREN ..................................................................................................... 69
EEN META-ANALYSE VAN NEDERLANDS RECIDIVEONDERZOEK NAAR DE EFFECTEN VAN
STRAFRECHTELIJKE INTERVENTIES ................................................................................................... 75
2
,Week 1
Hoorcollege 2
Interventies in uitvoering: Wat er mis kan gaan bij de uitvoering van justitiële
(gedrags)interventies en hoe dat komt
chrome-
extension://efaidnbmnnnibpcajpcglclefindmkaj/https://repository.wodc.nl/bitstream/handl
e/20.500.12832/891/memorandum-2011-2-volledige-tekst_tcm28-
78183.pdf?sequence=1&isAllowed=y
Gaat over wat er allemaal mis kan gaan bij een justitiële (gedrags)interventie en hoe dat
komt. Er worden door het WODC 20 uitgevoerde of aanbestede procesevaluaties onderzocht.
Hiermee wordt geprobeerd inzicht te krijgen in de uitvoering van interventies. Het gaat
vooral om de problemen die kunnen optreden bij de uitvoering en de mogelijke oorzaken van
deze problemen. Hierbij zullen ook de belemmeringen meegenomen worden waar
onderzoekers zelf mee te maken hebben gekregen in hun onderzoek (procesevaluatie).
Hoofdstuk 1 Aanleiding, doel en probleemstelling
Gedragsinterventies zijn ontwikkeld als onderdeel van het programma ‘Terugdringen
Recidive’. Deze interventies zijn steeds meer gebaseerd op wetenschappelijk onderzoek
(evidence based) en voldoen aan de ‘What Works’ principes. Dit houdt in dat:
- Aan de interventieprogramma’s een theoretisch model ten grondslag moet liggen
waarvan de recidive reducerende werking wetenschappelijk is aangetoond
- De doelgroep helder is gedefinieerd
- De programma’s gericht moeten zijn op het veranderen van risicofactoren die
samenhangen met het criminele gedrag
- Er methoden worden gebruikt die aantoonbaar effectief of veelbelovend zijn.
Ook moet het programma aansluiten bij de problematiek van de deelnemers. Deze principes
zijn vertaald in 10 criteria (bijlage 1). De Erkenningscommissie gedragsinterventies justitie
toetst de interventie aan deze criteria en pas dan volgt financiering.
Evaluatieonderzoek heeft als doel om meer inzicht te krijgen in de effectiviteit van een
(beleids)programma en om te bestuderen of een programma wordt uitgevoerd zoals de
oorspronkelijke programmabeschrijving dat voorschrijft. Het is namelijk heel belangrijk dat
een interventie wordt uitgevoerd zoals bedoeld. Er kunnen anders verkeerde conclusies
getrokken worden over de effectiviteit. Echter wordt een interventie niet altijd uitgevoerd
zoals bedoeld. Hierdoor meer aandacht voor deze vraag (programma-integriteit).
De probleemstelling is: Welke problemen doen zich voor bij de uitvoering van
(gedrags)interventies en wat zijn mogelijke oorzaken daarvan?
Hierbij drie onderzoeksvragen:
1. Welke problemen doen zich voor bij de uitvoering van interventies?
2. Waardoor worden de problemen veroorzaakt?
3
, 3. Welke belemmeringen komen onderzoekers tegen bij de procesevaluaties?
Hoofdstuk 2: gaat over de plaats van procesevaluaties in de evaluatieketen.
Hoofdstuk 3: methode van onderzoek wordt beschreven.
Hoofdstuk 4: resultaten over de uitvoering van de interventies worden gerapporteerd.
Hoofdstuk 5: gaat over de problemen waarmee de onderzoekers te maken kregen in het
doen van procesevaluaties.
Hoofdstuk 6: conclusies en discussie.
Hoofdstuk 2 Procesevaluaties: de uitvoering van interventies
2.1 Procesevaluaties in de evaluatieketen
Planevaluatie: hierin worden de veronderstellingen achter een interventie – de
programmatheorie – expliciet gemaakt en wordt aan de hand van bestaand onderzoek
getoetst of de interventie kansrijk is en de beoogde effecten waar zal kunnen maken. De
planevaluatie wordt bij voorkeur voorafgaand aan de invoering van een interventie verricht.
Procesevaluatie: De procesevaluatie vindt plaats tijdens de implementatiefase van de
interventie of na deze fase. Hierbij wordt nagegaan of de interventie wordt uitgevoerd zoals
beschreven in de plannen: ‘De bevindingen van de procesevaluatie vormen een toets voor
de veronderstellingen die in de fase van de planevaluatie zijn geëxpliciteerd’.
Indien de procesevaluatie een positief resultaat oplevert, kan worden overgegaan tot de
productevaluatie, waarin de resultaten en effecten van de interventie nader worden
bekeken, zowel in termen van de programmadoelen als in termen van recidive.
Met behulp van een procesevaluatie kan worden voorkomen dat foute conclusies worden
getrokken uit de resultaten van een product-of effectevaluatie. Een procesevaluatie kan er
ook toe leiden dat beter wordt begrepen hoe en waarom een interventie ‘werkt’ en hoe de
uitvoering kan worden verbeterd. Een procesevaluatie kan ook nuttig zijn na een
effectevaluatie. Als blijkt dat het programma niet tot de beoogde effecten leidt, kan met
behulp van de procesevaluatie worden nagegaan of dat ligt aan de uitvoering of dat het
wellicht ligt aan het falen van de programmatheorie. Ook kan procesevaluatie relevant zijn
voor de sustainability (duurzaamheid) van interventies.
Met behulp van een procesevaluatie kan zowel het implementatie-als het uitvoeringproces
(of beide) onder de loep worden genomen. Bij het bestuderen van het implementatieproces
richt men zich voornamelijk op de fase van invoering. Dit is de fase waarin de condities voor
de interventie moeten worden geschapen en waarin de eerste ervaringen met de interventie
worden opgedaan. Dit type van procesevaluatie wordt ook wel ‘formatieve procesevaluatie’
genoemd. De uitvoering behelst de fase ná de implementatie. Als de procesevaluatie zich
richt op deze fase, dan wordt bestudeerd of het programma wordt uitgevoerd op een
manier die verenigbaar is met de opzet. Er wordt dan wel gesproken van een ‘summatieve
procesevaluatie’. Blijkt uit de procesevaluatie dat de interventie wordt uitgevoerd zoals
beoogd, dan is er sprake van programma-integriteit. Naast de ‘gewone’ eenmalige
procesevaluatie kan ook sprake zijn van een herhaling van de procesevaluatie – of van
onderdelen daarvan – in de vorm van een continue evaluatie van het programma. Dit wordt
ook wel programme monitoring of performance monitoring genoemd.
4
, 2.2 Onderwerpen van procesevaluaties
De hoofdvraag van een procesevaluatie is: Wordt het programma/de interventie geleverd
zoals bedoeld?
Daarnaast belangrijk om te onderzoeken of de interventie volgens de voorgeschreven
frequentie en duur wordt toegepast en of de juiste doelgroep(en) word(en)t bereikt. Verder
zouden ook de volgende onderwerpen moeten worden meegenomen in procesevaluaties
omdat ze de programma-integriteit mede bepalen: quality of delivery, participant
responsiveness, intervention complexity, facilitation strategies en de relatie tussen deze
aspecten.
Er worden meerdere oorzaken genoemd in deze paragraaf waarom een interventie niet
wordt geïmplementeerd en uitgevoerd zoals beoogd.
Hoofdstuk 3 Methode
In dit hoofdstuk staat beschreven welke procesevaluaties zijn bestudeerd, hoe deze
gevonden zijn, op wat voor interventies deze betrekking hebben, welke aspecten er van de
procesevaluatie is bestudeerd, hoe de procesevaluaties gescoord zijn etc.
Hoofdstuk 4 Wat er misgaat in de uitvoering van interventies
In dit hoofdstuk wordt ingegaan op problemen in de praktische uitvoering van interventies
(in paragraaf 4.1) en op de oorzaken van deze problemen (in paragraaf 4.2).
4.1 Problemen in de uitvoering van interventies
Alle procesevaluaties rapporteren een of meer problemen in de uitvoering, die ertoe leiden
dat interventies niet geheel worden uitgevoerd zoals dat vooraf werd beoogd. De problemen
hebben betrekking op:
• Handleiding/methodiekbeschrijving
- Handleiding wordt niet gevolgd
- Handleiding is niet toereikend
- Uitvoerders brengen eigen ideeën in
• Draagvlak
- Onvoldoende draagvlak, regie en steun in instelling
• Personeel
- Te weinig medewerkers/uitvoerders/trainers, personeelswisselingen
- (Kwaliteit)verschil in locaties/trainers
- Gebrek aan ervaring trainers/medewerkers
• Deelnemers
- Te weinig instroom/instroom lager dan verwacht
- Selectiecriteria worden niet nageleefd
• Ketensamenwerking
- Ketenpartners werken niet goed samen
→ Deze problemen worden allemaal dieper uitgelegd in de paragraaf.
5
