Beleidsimplementatie & -evaluatie
Hoorcollege 1: Het belang van beleidsimplementatie & -evaluatie + opzet van het vak
Beleidscyclus (Lasswell, 1957)
1. Agenda setter
2. Beleid formulering
3. Besluitmaking
4. Beleid implementatie
5. Beleid evaluatie
Uitvoering van het beleid begint tussen 4 en 5.
Beleid = keuzes maken
Artikel voorbeeld:
Vier op de tien jonge arbeidsongeschikten zit thuis met psychische problemen: “Ze zijn uitgeput
door enorme keuzevrijheid.”
Hoe burn-out en mentale problemen van jongeren op werkvloer voorkomen? Wat als
beleidsmaker doen?
- Regelgeving: Vb. Grenzen aan overuren; verplichte vertrouwenspersonen op werk
- Financiële instrumenten: Vb. subsidies aan bedrijven die investeren in mentale
gezondheidstrainingsprogramma’s
- Communicatie: Vb. sensibiliseringscampagnes om hulp te zoeken bij stress
Maar bij elke keuze die wordt gemaakt:
Doet de overheid de goede dingen, doet ze dingen goed?
Beleidsevaluatie als belangrijke vorm van input, voor, tijdens en na uitvoering van beleid
Uitgangspunt: beleidsevaluatie doorheen cyclus!
Ex ante evaluatie, voor uitvoering van beleid
Beleidsvoorbereiding. Ontwikkelen en beoordelen van beleidsopties
- Vb. kosten baten-analyse (zijn de baten groter dan de kosten) -> WK voetbal organiseren
ja of nee?
,Ex durante evaluatie, tijdens uitvoering
Tijdens uitvoering van beleid: loopt de uitvoering wel goed? Zijn we op weg om bepaalde effecten
te bereiken?
- Zitten we tijdens de uitvoering op koers, bereiken we de doelen die we willen bereiken?
- Levert het wat op, of moeten we iets gaan bijsturen?
Ex post evaluatie, na uitvoering
Achteraf meten en verklaren van Vb. doeltreffendheid, doelmatigheid van beleid
- Klassieke vorm van beleidsevaluatie, maar dus niet de enige
- Kunnen een belangrijke tool te ontwikkelen maar ook om beleid te herzien.
Beleidsevaluatie: wat is dat nu precies?
“beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van waarden, normen
en criteria systematisch beoordelen van beleid, beleidsuitvoering en beleidsresultaten.”
1. Beleidsevaluatie is normatief: Wat vinden we goed? Wat kan beter? Doet de overheid de
goede dingen, en doet ze dat goed? Vb. Kinderombuds
a. Normatief want: Een rapport met een conclusie en met aanbevelingen. Welke
richtingen moeten we opgaan om het beter te gaan doen dan het verleden.
b. Politiek van aard (door welke lens gaan we kijken, via welke criteria gaan we kijken)
2. Beleidsevaluatie is systematisch: aan de hand van een methodiek
a. Het is een vorm van onderzoek (Vb. kosten en baten-analyse)
b. Je kan een bepaald protocol volgen zodat je betrouwbare en valide antwoorden komt.
3. Beleidsevaluatie maakt gebruik van gegevens, informatie en kennis (Vb. CBS; of zelf
verzamelen)
4. Beleidsevaluatie hanteert waarden, normen en criteria (e-VALU-eren) (Vb. Effectiviteit en
doelmatigheid)
a. Door welke bril je kijkt, bepaalt ook of je vindt of beleid het goed doet ja of nee. Bril
van effectiviteit en doelmatigheid en doeltreffendheid zijn het meest gebruikt in
Nederland. Legitimiteit is een andere soort criteria of bril. Dat is een politieke keuze
door welke bril er wordt gekeken.
- Evaluatieonderzoek: onderzoek dat inzicht geeft in (voorwaarden voor) doeltreffendheid
en doelmatigheid van beleid.
- Doeltreffendheid van beleid: de mate waarin de beleidsdoelstellingen gerealiseerd
worden dankzij het ingezette beleid en met zo min mogelijk ongewenste neveneffecten.
- Doelmatigheid van beleid: de mate waarin de prestaties en effecten van beleid tegen de
laagst mogelijke inzet van (financiële) middelen en ongewenste neveneffecten worden
bewerkstelligd.
Evaluandum (het aspect van beleid dat je evalueert) = beleid
Maatregel of instrument
Maar veel beleid is meervoudig:
- Project: Vb. project preventie fietsdiefstal
- Programma: Vb. mobiliteitsplan 2030
Beleidsevaluatie als ‘stiel’
Iedereen kan zomaar evalueren
1. Evaluatie-industrie boomt.
o Voorbeeld: Evaluatie van corona-beleid
2. Actoren: consultants, beleidsmedewerkers, academici, rekenkamers, planbureaus,
inspecties
,Het belang van beleidsevaluaties
Lidstaten van de OECD worden aangemoedigd om te investeren in beleidsevaluatie. OECD vindt
dat beleidsevaluatie van kritiek belang is voor goede overheid. Het zorgt namelijk voor
verantwoordelijkheid en vertrouwen.
- Beleidsevaluaties ligt gevoelig. Het komt met onzekerheid. Je weet niet wat er uit die
evaluatie leidt. (vandaar dat niet elk land hieraan mee wilt doen).
- Stockmann et al. 2021: hebben een atlas gemaakt om in kaart te brengen hoe landen
omgaan met evaluaties. (onderwijs veel geëvalueerd, maar veel minder in defensie)
- “Enkel in Nederland wordt er geëvalueerd over elk domein”
Mogelijke functies van evaluatie van proefproject?
Preventie van burn-out bij OISZ (openbare instellingen van sociale zekerheid)
Dit wordt nu geëvalueerd! Maar waarom:
- Leren en bijsturen.
- Meer draagvlak voor beleid als mensen hoe iets werkt
Functies van beleidsevaluatie
Beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van waarden, normen
en criteria systematisch beoordelen van beleid, beleidsuitvoering en beleidsresultaten. (Lijkt op
een zakmes: kan behoorlijk pijn doen, maar heeft ook veel functies)
1. Informeren: kennisfunctie van beleidsevaluatie
2. Beoordelen: waarderingsfunctie van beleidsevaluatie
3. Leren, aanpassen en innoveren: verbeterfunctie van beleidsevaluatie
4. Verantwoorden: democratische functie van beleidsevaluatie
5. Rationaliseren en theorieën ontwikkelen en testen: rationeel-analytisch functie van
beleidsevaluatie
6. Discussiëren: dialoogfunctie van beleidsevaluatie
7. Politiseren: politieke of machiavellistische functie van beleidsevaluatie
Doelgroepen: (1) beleidsmakers en bestuurders; (2) belanghebbenden (doelgroep en
uitvoerders); (3) volksvertegenwoordigers (coalitie en oppositie); (4) media en publiek.
Informeren: kennisfunctie
- Nieuwe informatie genereren over beleid
- Vertrekken vanuit kennisbehoeften
- Kennisbehoefte expliciet gemaakt in strategische evaluatie agenda’s van ministeries
1. Ingevoerd in 2021
2. Overzicht belangrijkste beleidsthema’s van ministeries en toelichting op inzichtbehoefte
per thema
3. Passende agendering van evaluatieonderzoek
4. Moet ervoor zorgen dat relevante en bruikbare inzichten in de doeltreffendheid en
doelmatigheid van beleid tijdig ter beschikking komen
Beoordelen: waarderingsfunctie
- Doet de overheid de goede dingen, en doet ze de dingen goed?
- Normatieve karakter onderscheidt beleidsevaluatie van (fundamenteel) onderzoek
- Evaluator heeft faciliterende rol: niet zijn/haar mening over beleid, maar op basis van
evaluatiecriteria
- Centrale rol voor comptabiliteitswet artikel 3.1 (beleidskeuzes uitgelegd)
, Leren, aanpassen en innoveren: verbeterfunctie
4 Vormen van beleidsleren waaraan evaluaties kunnen bijdragen:
1. Systeemleren: onderscheid tussen eerste orde en tweede orde leren.
- Eerste orde: het makkelijkste, het rommelen in de marge, je beleidsinstrumenten
aanpassen.
o Vb. subsidies voor work-life balance. Eerst alleen bij 100 medewerkers minimum
-> vanaf nu ook vanaf 50 medewerkers (het subsidie blijft bestaan, maar je past
hem aan) -> dit is eerste orde (finetunen)
- Tweede orde: moeilijke leren, jouw doelstellingen zelf van het instrument in vraag gaat
stellen.
o Kiezen voor subsidies is geen doeltreffend instrument om een doel te gaan
bereiken. Beter kiezen voor regelgeving bijvoorbeeld. -> dit is tweede orde leren.
Daarnaast ook:
2. Cognitief leren: evaluatie leidt tot beter begrip van het beleidsprobleem. Enlightenment
(verlicht door het doen van evaluaties)
3. Sociaal leren op basis van communicatie en sociale constructie (in dialoog gaan met
andere mensen en door interactie te leren)
4. Leren om complexe beleidsproblemen te ‘temmen’ (meer consensus krijgen dan
problemen)
Verantwoorden: democratische functie
Het recht om belasting te innen brengt de plicht met zich mee om achteraf te verantwoorden wat
je ermee hebt gedaan. Daar is de democratie voor uitgevonden. Dat moet dus zo goed mogelijk
gebeuren. (Arno Visser, VNG Magazine)
- Gehaktdag, derde woensdag in mei
- Kabinet legt verantwoording af over de plannen die op Prinsjesdag zijn ingediend
- Voorzitter van Tweede Kamer ontvangt Minister van Financiën Financieel jaarverslag van
het Rijk en jaarverslagen per ministerie
- Algemene Rekenkamer controleert jaarverslagen en biedt verslag aan, met aandacht
voor rechtmatigheid van de uitgaven, doelmatigheid van de uitvoering, en de behaalde
resultaten
Rationaliseren en theorieën ontwikkelen en testen: rationeel-analytische functie
- Beleid is doordrenkt van rationele en causale veronderstellingen (beleidstheorieën) over
inzet van instrumenten en doelstellingen:
o Als we Dijken hoger maken, dan overstroomt het land minder
o Als we meer toezicht houden, dan neemt de kans op ongewenst gedrag af
- Reconstructie en toetsen van beleidstheorieën:
o Ex ante. “beleidskeuzes uitgelegd”: bij het onderbouwen van beleid moet worden
ingegaan op de wijze waarop en de mate waarin het gekozen instrumentarium zal
bijdragen aan het realiseren van doelstellingen
o Ex post: zijn de vooraf bestaande verwachtingen over de effecten van maatregel
uitgekomen?
Discussiëren: dialoogfunctie
- Nadruk op waarde van ‘evaluatieproces’: evaluatie draagt bij aan uitwisselen van
gezichtspunten en informatie
- Empowerment van zwakkere groepen (achterhalen wat zij van beleid vinden)
- Vb. Evaluatie AWIR
Hoorcollege 1: Het belang van beleidsimplementatie & -evaluatie + opzet van het vak
Beleidscyclus (Lasswell, 1957)
1. Agenda setter
2. Beleid formulering
3. Besluitmaking
4. Beleid implementatie
5. Beleid evaluatie
Uitvoering van het beleid begint tussen 4 en 5.
Beleid = keuzes maken
Artikel voorbeeld:
Vier op de tien jonge arbeidsongeschikten zit thuis met psychische problemen: “Ze zijn uitgeput
door enorme keuzevrijheid.”
Hoe burn-out en mentale problemen van jongeren op werkvloer voorkomen? Wat als
beleidsmaker doen?
- Regelgeving: Vb. Grenzen aan overuren; verplichte vertrouwenspersonen op werk
- Financiële instrumenten: Vb. subsidies aan bedrijven die investeren in mentale
gezondheidstrainingsprogramma’s
- Communicatie: Vb. sensibiliseringscampagnes om hulp te zoeken bij stress
Maar bij elke keuze die wordt gemaakt:
Doet de overheid de goede dingen, doet ze dingen goed?
Beleidsevaluatie als belangrijke vorm van input, voor, tijdens en na uitvoering van beleid
Uitgangspunt: beleidsevaluatie doorheen cyclus!
Ex ante evaluatie, voor uitvoering van beleid
Beleidsvoorbereiding. Ontwikkelen en beoordelen van beleidsopties
- Vb. kosten baten-analyse (zijn de baten groter dan de kosten) -> WK voetbal organiseren
ja of nee?
,Ex durante evaluatie, tijdens uitvoering
Tijdens uitvoering van beleid: loopt de uitvoering wel goed? Zijn we op weg om bepaalde effecten
te bereiken?
- Zitten we tijdens de uitvoering op koers, bereiken we de doelen die we willen bereiken?
- Levert het wat op, of moeten we iets gaan bijsturen?
Ex post evaluatie, na uitvoering
Achteraf meten en verklaren van Vb. doeltreffendheid, doelmatigheid van beleid
- Klassieke vorm van beleidsevaluatie, maar dus niet de enige
- Kunnen een belangrijke tool te ontwikkelen maar ook om beleid te herzien.
Beleidsevaluatie: wat is dat nu precies?
“beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van waarden, normen
en criteria systematisch beoordelen van beleid, beleidsuitvoering en beleidsresultaten.”
1. Beleidsevaluatie is normatief: Wat vinden we goed? Wat kan beter? Doet de overheid de
goede dingen, en doet ze dat goed? Vb. Kinderombuds
a. Normatief want: Een rapport met een conclusie en met aanbevelingen. Welke
richtingen moeten we opgaan om het beter te gaan doen dan het verleden.
b. Politiek van aard (door welke lens gaan we kijken, via welke criteria gaan we kijken)
2. Beleidsevaluatie is systematisch: aan de hand van een methodiek
a. Het is een vorm van onderzoek (Vb. kosten en baten-analyse)
b. Je kan een bepaald protocol volgen zodat je betrouwbare en valide antwoorden komt.
3. Beleidsevaluatie maakt gebruik van gegevens, informatie en kennis (Vb. CBS; of zelf
verzamelen)
4. Beleidsevaluatie hanteert waarden, normen en criteria (e-VALU-eren) (Vb. Effectiviteit en
doelmatigheid)
a. Door welke bril je kijkt, bepaalt ook of je vindt of beleid het goed doet ja of nee. Bril
van effectiviteit en doelmatigheid en doeltreffendheid zijn het meest gebruikt in
Nederland. Legitimiteit is een andere soort criteria of bril. Dat is een politieke keuze
door welke bril er wordt gekeken.
- Evaluatieonderzoek: onderzoek dat inzicht geeft in (voorwaarden voor) doeltreffendheid
en doelmatigheid van beleid.
- Doeltreffendheid van beleid: de mate waarin de beleidsdoelstellingen gerealiseerd
worden dankzij het ingezette beleid en met zo min mogelijk ongewenste neveneffecten.
- Doelmatigheid van beleid: de mate waarin de prestaties en effecten van beleid tegen de
laagst mogelijke inzet van (financiële) middelen en ongewenste neveneffecten worden
bewerkstelligd.
Evaluandum (het aspect van beleid dat je evalueert) = beleid
Maatregel of instrument
Maar veel beleid is meervoudig:
- Project: Vb. project preventie fietsdiefstal
- Programma: Vb. mobiliteitsplan 2030
Beleidsevaluatie als ‘stiel’
Iedereen kan zomaar evalueren
1. Evaluatie-industrie boomt.
o Voorbeeld: Evaluatie van corona-beleid
2. Actoren: consultants, beleidsmedewerkers, academici, rekenkamers, planbureaus,
inspecties
,Het belang van beleidsevaluaties
Lidstaten van de OECD worden aangemoedigd om te investeren in beleidsevaluatie. OECD vindt
dat beleidsevaluatie van kritiek belang is voor goede overheid. Het zorgt namelijk voor
verantwoordelijkheid en vertrouwen.
- Beleidsevaluaties ligt gevoelig. Het komt met onzekerheid. Je weet niet wat er uit die
evaluatie leidt. (vandaar dat niet elk land hieraan mee wilt doen).
- Stockmann et al. 2021: hebben een atlas gemaakt om in kaart te brengen hoe landen
omgaan met evaluaties. (onderwijs veel geëvalueerd, maar veel minder in defensie)
- “Enkel in Nederland wordt er geëvalueerd over elk domein”
Mogelijke functies van evaluatie van proefproject?
Preventie van burn-out bij OISZ (openbare instellingen van sociale zekerheid)
Dit wordt nu geëvalueerd! Maar waarom:
- Leren en bijsturen.
- Meer draagvlak voor beleid als mensen hoe iets werkt
Functies van beleidsevaluatie
Beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van waarden, normen
en criteria systematisch beoordelen van beleid, beleidsuitvoering en beleidsresultaten. (Lijkt op
een zakmes: kan behoorlijk pijn doen, maar heeft ook veel functies)
1. Informeren: kennisfunctie van beleidsevaluatie
2. Beoordelen: waarderingsfunctie van beleidsevaluatie
3. Leren, aanpassen en innoveren: verbeterfunctie van beleidsevaluatie
4. Verantwoorden: democratische functie van beleidsevaluatie
5. Rationaliseren en theorieën ontwikkelen en testen: rationeel-analytisch functie van
beleidsevaluatie
6. Discussiëren: dialoogfunctie van beleidsevaluatie
7. Politiseren: politieke of machiavellistische functie van beleidsevaluatie
Doelgroepen: (1) beleidsmakers en bestuurders; (2) belanghebbenden (doelgroep en
uitvoerders); (3) volksvertegenwoordigers (coalitie en oppositie); (4) media en publiek.
Informeren: kennisfunctie
- Nieuwe informatie genereren over beleid
- Vertrekken vanuit kennisbehoeften
- Kennisbehoefte expliciet gemaakt in strategische evaluatie agenda’s van ministeries
1. Ingevoerd in 2021
2. Overzicht belangrijkste beleidsthema’s van ministeries en toelichting op inzichtbehoefte
per thema
3. Passende agendering van evaluatieonderzoek
4. Moet ervoor zorgen dat relevante en bruikbare inzichten in de doeltreffendheid en
doelmatigheid van beleid tijdig ter beschikking komen
Beoordelen: waarderingsfunctie
- Doet de overheid de goede dingen, en doet ze de dingen goed?
- Normatieve karakter onderscheidt beleidsevaluatie van (fundamenteel) onderzoek
- Evaluator heeft faciliterende rol: niet zijn/haar mening over beleid, maar op basis van
evaluatiecriteria
- Centrale rol voor comptabiliteitswet artikel 3.1 (beleidskeuzes uitgelegd)
, Leren, aanpassen en innoveren: verbeterfunctie
4 Vormen van beleidsleren waaraan evaluaties kunnen bijdragen:
1. Systeemleren: onderscheid tussen eerste orde en tweede orde leren.
- Eerste orde: het makkelijkste, het rommelen in de marge, je beleidsinstrumenten
aanpassen.
o Vb. subsidies voor work-life balance. Eerst alleen bij 100 medewerkers minimum
-> vanaf nu ook vanaf 50 medewerkers (het subsidie blijft bestaan, maar je past
hem aan) -> dit is eerste orde (finetunen)
- Tweede orde: moeilijke leren, jouw doelstellingen zelf van het instrument in vraag gaat
stellen.
o Kiezen voor subsidies is geen doeltreffend instrument om een doel te gaan
bereiken. Beter kiezen voor regelgeving bijvoorbeeld. -> dit is tweede orde leren.
Daarnaast ook:
2. Cognitief leren: evaluatie leidt tot beter begrip van het beleidsprobleem. Enlightenment
(verlicht door het doen van evaluaties)
3. Sociaal leren op basis van communicatie en sociale constructie (in dialoog gaan met
andere mensen en door interactie te leren)
4. Leren om complexe beleidsproblemen te ‘temmen’ (meer consensus krijgen dan
problemen)
Verantwoorden: democratische functie
Het recht om belasting te innen brengt de plicht met zich mee om achteraf te verantwoorden wat
je ermee hebt gedaan. Daar is de democratie voor uitgevonden. Dat moet dus zo goed mogelijk
gebeuren. (Arno Visser, VNG Magazine)
- Gehaktdag, derde woensdag in mei
- Kabinet legt verantwoording af over de plannen die op Prinsjesdag zijn ingediend
- Voorzitter van Tweede Kamer ontvangt Minister van Financiën Financieel jaarverslag van
het Rijk en jaarverslagen per ministerie
- Algemene Rekenkamer controleert jaarverslagen en biedt verslag aan, met aandacht
voor rechtmatigheid van de uitgaven, doelmatigheid van de uitvoering, en de behaalde
resultaten
Rationaliseren en theorieën ontwikkelen en testen: rationeel-analytische functie
- Beleid is doordrenkt van rationele en causale veronderstellingen (beleidstheorieën) over
inzet van instrumenten en doelstellingen:
o Als we Dijken hoger maken, dan overstroomt het land minder
o Als we meer toezicht houden, dan neemt de kans op ongewenst gedrag af
- Reconstructie en toetsen van beleidstheorieën:
o Ex ante. “beleidskeuzes uitgelegd”: bij het onderbouwen van beleid moet worden
ingegaan op de wijze waarop en de mate waarin het gekozen instrumentarium zal
bijdragen aan het realiseren van doelstellingen
o Ex post: zijn de vooraf bestaande verwachtingen over de effecten van maatregel
uitgekomen?
Discussiëren: dialoogfunctie
- Nadruk op waarde van ‘evaluatieproces’: evaluatie draagt bij aan uitwisselen van
gezichtspunten en informatie
- Empowerment van zwakkere groepen (achterhalen wat zij van beleid vinden)
- Vb. Evaluatie AWIR
