Beleidsimplementatie & -evaluatie
Hoorcollege 1: Het belang van beleidsimplementatie & -evaluatie +
opzet van het vak
Beleidscyclus (Lasswell, 1957)
1. Agenda setter
2. Beleid formulering
3. Besluitmaking
4. Beleid implementatie
5. Beleid evaluatie
Uitvoering van het beleid begint tussen
4 en 5.
Beleid = keuzes maken
Artikel voorbeeld:
Vier op de tien jonge arbeidsongeschikten zit thuis met psychische problemen:
“Ze zijn uitgeput door enorme keuzevrijheid.”
Hoe burn-out en mentale problemen van jongeren op werkvloer voorkomen? Wat
als beleidsmaker doen?
- Regelgeving: Vb. Grenzen aan overuren; verplichte vertrouwenspersonen
op werk
- Financiële instrumenten: Vb. subsidies aan bedrijven die investeren in
mentale gezondheidstrainingsprogramma’s
- Communicatie: Vb. sensibiliseringscampagnes om hulp te zoeken bij stress
Maar bij elke keuze die wordt gemaakt:
Doet de overheid de goede dingen, doet ze dingen goed?
Beleidsevaluatie als belangrijke vorm van input, voor, tijdens en na uitvoering
van beleid
Uitgangspunt: beleidsevaluatie doorheen cyclus!
Ex ante evaluatie, voor uitvoering van beleid
,Beleidsvoorbereiding. Ontwikkelen en beoordelen van beleidsopties
- Vb. kosten baten-analyse (zijn de baten groter dan de kosten) -> WK
voetbal organiseren ja of nee?
Ex durante evaluatie, tijdens uitvoering
Tijdens uitvoering van beleid: loopt de uitvoering wel goed? Zijn we op weg om
bepaalde effecten te bereiken?
- Zitten we tijdens de uitvoering op koers, bereiken we de doelen die we
willen bereiken?
- Levert het wat op, of moeten we iets gaan bijsturen?
Ex post evaluatie, na uitvoering
Achteraf meten en verklaren van Vb. doeltreffendheid, doelmatigheid van beleid
- Klassieke vorm van beleidsevaluatie, maar dus niet de enige
- Kunnen een belangrijke tool te ontwikkelen maar ook om beleid te herzien.
Beleidsevaluatie: wat is dat nu precies?
“beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van
waarden, normen en criteria systematisch beoordelen van beleid,
beleidsuitvoering en beleidsresultaten.”
1. Beleidsevaluatie is normatief: Wat vinden we goed? Wat kan beter? Doet
de overheid de goede dingen, en doet ze dat goed? Vb. Kinderombuds
a. Normatief want: Een rapport met een conclusie en met aanbevelingen.
Welke richtingen moeten we opgaan om het beter te gaan doen dan het
verleden.
b. Politiek van aard (door welke lens gaan we kijken, via welke criteria
gaan we kijken)
2. Beleidsevaluatie is systematisch: aan de hand van een methodiek
a. Het is een vorm van onderzoek (Vb. kosten en baten-analyse)
b. Je kan een bepaald protocol volgen zodat je betrouwbare en valide
antwoorden komt.
3. Beleidsevaluatie maakt gebruik van gegevens, informatie en kennis (Vb.
CBS; of zelf verzamelen)
4. Beleidsevaluatie hanteert waarden, normen en criteria (e-VALU-eren) (Vb.
Effectiviteit en doelmatigheid)
a. Door welke bril je kijkt, bepaalt ook of je vindt of beleid het goed doet ja
of nee. Bril van effectiviteit en doelmatigheid en doeltreffendheid zijn
het meest gebruikt in Nederland. Legitimiteit is een andere soort
criteria of bril. Dat is een politieke keuze door welke bril er wordt
gekeken.
- Evaluatieonderzoek: onderzoek dat inzicht geeft in (voorwaarden voor)
doeltreffendheid en doelmatigheid van beleid.
- Doeltreffendheid van beleid: de mate waarin de beleidsdoelstellingen
gerealiseerd worden dankzij het ingezette beleid en met zo min mogelijk
ongewenste neveneffecten.
- Doelmatigheid van beleid: de mate waarin de prestaties en effecten van
beleid tegen de laagst mogelijke inzet van (financiële) middelen en
ongewenste neveneffecten worden bewerkstelligd.
Evaluandum (het aspect van beleid dat je evalueert) = beleid
Maatregel of instrument
Maar veel beleid is meervoudig:
- Project: Vb. project preventie fietsdiefstal
- Programma: Vb. mobiliteitsplan 2030
,Beleidsevaluatie als ‘stiel’
Iedereen kan zomaar evalueren
1. Evaluatie-industrie boomt.
o Voorbeeld: Evaluatie van corona-beleid
2. Actoren: consultants, beleidsmedewerkers, academici, rekenkamers,
planbureaus, inspecties
Het belang van beleidsevaluaties
Lidstaten van de OECD worden aangemoedigd om te investeren in
beleidsevaluatie. OECD vindt dat beleidsevaluatie van kritiek belang is voor
goede overheid. Het zorgt namelijk voor verantwoordelijkheid en vertrouwen.
- Beleidsevaluaties ligt gevoelig. Het komt met onzekerheid. Je weet niet wat
er uit die evaluatie leidt. (vandaar dat niet elk land hieraan mee wilt doen).
- Stockmann et al. 2021: hebben een atlas gemaakt om in kaart te brengen
hoe landen omgaan met evaluaties. (onderwijs veel geëvalueerd, maar
veel minder in defensie)
- “Enkel in Nederland wordt er geëvalueerd over elk domein”
Mogelijke functies van evaluatie van proefproject?
Preventie van burn-out bij OISZ (openbare instellingen van sociale zekerheid)
Dit wordt nu geëvalueerd! Maar waarom:
- Leren en bijsturen.
- Meer draagvlak voor beleid als mensen hoe iets werkt
Functies van beleidsevaluatie
Beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van
waarden, normen en criteria systematisch beoordelen van beleid,
beleidsuitvoering en beleidsresultaten. (Lijkt op een zakmes: kan behoorlijk pijn
doen, maar heeft ook veel functies)
1. Informeren: kennisfunctie van beleidsevaluatie
2. Beoordelen: waarderingsfunctie van beleidsevaluatie
3. Leren, aanpassen en innoveren: verbeterfunctie van beleidsevaluatie
4. Verantwoorden: democratische functie van beleidsevaluatie
5. Rationaliseren en theorieën ontwikkelen en testen: rationeel-analytisch
functie van beleidsevaluatie
6. Discussiëren: dialoogfunctie van beleidsevaluatie
7. Politiseren: politieke of machiavellistische functie van beleidsevaluatie
Doelgroepen: (1) beleidsmakers en bestuurders; (2) belanghebbenden (doelgroep
en uitvoerders); (3) volksvertegenwoordigers (coalitie en oppositie); (4) media en
publiek.
Informeren: kennisfunctie
- Nieuwe informatie genereren over beleid
- Vertrekken vanuit kennisbehoeften
- Kennisbehoefte expliciet gemaakt in strategische evaluatie agenda’s van
ministeries
1. Ingevoerd in 2021
2. Overzicht belangrijkste beleidsthema’s van ministeries en toelichting op
inzichtbehoefte per thema
3. Passende agendering van evaluatieonderzoek
4. Moet ervoor zorgen dat relevante en bruikbare inzichten in de
doeltreffendheid en doelmatigheid van beleid tijdig ter beschikking komen
, Beoordelen: waarderingsfunctie
- Doet de overheid de goede dingen, en doet ze de dingen goed?
- Normatieve karakter onderscheidt beleidsevaluatie van (fundamenteel)
onderzoek
- Evaluator heeft faciliterende rol: niet zijn/haar mening over beleid, maar op
basis van evaluatiecriteria
- Centrale rol voor comptabiliteitswet artikel 3.1 (beleidskeuzes uitgelegd)
Leren, aanpassen en innoveren: verbeterfunctie
4 Vormen van beleidsleren waaraan evaluaties kunnen bijdragen:
1. Systeemleren: onderscheid tussen eerste orde en tweede orde leren.
- Eerste orde: het makkelijkste, het rommelen in de marge, je
beleidsinstrumenten aanpassen.
o Vb. subsidies voor work-life balance. Eerst alleen bij 100
medewerkers minimum -> vanaf nu ook vanaf 50 medewerkers (het
subsidie blijft bestaan, maar je past hem aan) -> dit is eerste orde
(finetunen)
- Tweede orde: moeilijke leren, jouw doelstellingen zelf van het instrument in
vraag gaat stellen.
o Kiezen voor subsidies is geen doeltreffend instrument om een doel
te gaan bereiken. Beter kiezen voor regelgeving bijvoorbeeld. -> dit
is tweede orde leren.
Daarnaast ook:
2. Cognitief leren: evaluatie leidt tot beter begrip van het beleidsprobleem.
Enlightenment (verlicht door het doen van evaluaties)
3. Sociaal leren op basis van communicatie en sociale constructie (in dialoog
gaan met andere mensen en door interactie te leren)
4. Leren om complexe beleidsproblemen te ‘temmen’ (meer consensus
krijgen dan problemen)
Verantwoorden: democratische functie
Het recht om belasting te innen brengt de plicht met zich mee om achteraf te
verantwoorden wat je ermee hebt gedaan. Daar is de democratie voor
uitgevonden. Dat moet dus zo goed mogelijk gebeuren. (Arno Visser, VNG
Magazine)
- Gehaktdag, derde woensdag in mei
- Kabinet legt verantwoording af over de plannen die op Prinsjesdag zijn
ingediend
- Voorzitter van Tweede Kamer ontvangt Minister van Financiën Financieel
jaarverslag van het Rijk en jaarverslagen per ministerie
- Algemene Rekenkamer controleert jaarverslagen en biedt verslag aan, met
aandacht voor rechtmatigheid van de uitgaven, doelmatigheid van de
uitvoering, en de behaalde resultaten
Rationaliseren en theorieën ontwikkelen en testen: rationeel-
analytische functie
- Beleid is doordrenkt van rationele en causale veronderstellingen
(beleidstheorieën) over inzet van instrumenten en doelstellingen:
o Als we Dijken hoger maken, dan overstroomt het land minder
o Als we meer toezicht houden, dan neemt de kans op ongewenst
gedrag ad
Hoorcollege 1: Het belang van beleidsimplementatie & -evaluatie +
opzet van het vak
Beleidscyclus (Lasswell, 1957)
1. Agenda setter
2. Beleid formulering
3. Besluitmaking
4. Beleid implementatie
5. Beleid evaluatie
Uitvoering van het beleid begint tussen
4 en 5.
Beleid = keuzes maken
Artikel voorbeeld:
Vier op de tien jonge arbeidsongeschikten zit thuis met psychische problemen:
“Ze zijn uitgeput door enorme keuzevrijheid.”
Hoe burn-out en mentale problemen van jongeren op werkvloer voorkomen? Wat
als beleidsmaker doen?
- Regelgeving: Vb. Grenzen aan overuren; verplichte vertrouwenspersonen
op werk
- Financiële instrumenten: Vb. subsidies aan bedrijven die investeren in
mentale gezondheidstrainingsprogramma’s
- Communicatie: Vb. sensibiliseringscampagnes om hulp te zoeken bij stress
Maar bij elke keuze die wordt gemaakt:
Doet de overheid de goede dingen, doet ze dingen goed?
Beleidsevaluatie als belangrijke vorm van input, voor, tijdens en na uitvoering
van beleid
Uitgangspunt: beleidsevaluatie doorheen cyclus!
Ex ante evaluatie, voor uitvoering van beleid
,Beleidsvoorbereiding. Ontwikkelen en beoordelen van beleidsopties
- Vb. kosten baten-analyse (zijn de baten groter dan de kosten) -> WK
voetbal organiseren ja of nee?
Ex durante evaluatie, tijdens uitvoering
Tijdens uitvoering van beleid: loopt de uitvoering wel goed? Zijn we op weg om
bepaalde effecten te bereiken?
- Zitten we tijdens de uitvoering op koers, bereiken we de doelen die we
willen bereiken?
- Levert het wat op, of moeten we iets gaan bijsturen?
Ex post evaluatie, na uitvoering
Achteraf meten en verklaren van Vb. doeltreffendheid, doelmatigheid van beleid
- Klassieke vorm van beleidsevaluatie, maar dus niet de enige
- Kunnen een belangrijke tool te ontwikkelen maar ook om beleid te herzien.
Beleidsevaluatie: wat is dat nu precies?
“beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van
waarden, normen en criteria systematisch beoordelen van beleid,
beleidsuitvoering en beleidsresultaten.”
1. Beleidsevaluatie is normatief: Wat vinden we goed? Wat kan beter? Doet
de overheid de goede dingen, en doet ze dat goed? Vb. Kinderombuds
a. Normatief want: Een rapport met een conclusie en met aanbevelingen.
Welke richtingen moeten we opgaan om het beter te gaan doen dan het
verleden.
b. Politiek van aard (door welke lens gaan we kijken, via welke criteria
gaan we kijken)
2. Beleidsevaluatie is systematisch: aan de hand van een methodiek
a. Het is een vorm van onderzoek (Vb. kosten en baten-analyse)
b. Je kan een bepaald protocol volgen zodat je betrouwbare en valide
antwoorden komt.
3. Beleidsevaluatie maakt gebruik van gegevens, informatie en kennis (Vb.
CBS; of zelf verzamelen)
4. Beleidsevaluatie hanteert waarden, normen en criteria (e-VALU-eren) (Vb.
Effectiviteit en doelmatigheid)
a. Door welke bril je kijkt, bepaalt ook of je vindt of beleid het goed doet ja
of nee. Bril van effectiviteit en doelmatigheid en doeltreffendheid zijn
het meest gebruikt in Nederland. Legitimiteit is een andere soort
criteria of bril. Dat is een politieke keuze door welke bril er wordt
gekeken.
- Evaluatieonderzoek: onderzoek dat inzicht geeft in (voorwaarden voor)
doeltreffendheid en doelmatigheid van beleid.
- Doeltreffendheid van beleid: de mate waarin de beleidsdoelstellingen
gerealiseerd worden dankzij het ingezette beleid en met zo min mogelijk
ongewenste neveneffecten.
- Doelmatigheid van beleid: de mate waarin de prestaties en effecten van
beleid tegen de laagst mogelijke inzet van (financiële) middelen en
ongewenste neveneffecten worden bewerkstelligd.
Evaluandum (het aspect van beleid dat je evalueert) = beleid
Maatregel of instrument
Maar veel beleid is meervoudig:
- Project: Vb. project preventie fietsdiefstal
- Programma: Vb. mobiliteitsplan 2030
,Beleidsevaluatie als ‘stiel’
Iedereen kan zomaar evalueren
1. Evaluatie-industrie boomt.
o Voorbeeld: Evaluatie van corona-beleid
2. Actoren: consultants, beleidsmedewerkers, academici, rekenkamers,
planbureaus, inspecties
Het belang van beleidsevaluaties
Lidstaten van de OECD worden aangemoedigd om te investeren in
beleidsevaluatie. OECD vindt dat beleidsevaluatie van kritiek belang is voor
goede overheid. Het zorgt namelijk voor verantwoordelijkheid en vertrouwen.
- Beleidsevaluaties ligt gevoelig. Het komt met onzekerheid. Je weet niet wat
er uit die evaluatie leidt. (vandaar dat niet elk land hieraan mee wilt doen).
- Stockmann et al. 2021: hebben een atlas gemaakt om in kaart te brengen
hoe landen omgaan met evaluaties. (onderwijs veel geëvalueerd, maar
veel minder in defensie)
- “Enkel in Nederland wordt er geëvalueerd over elk domein”
Mogelijke functies van evaluatie van proefproject?
Preventie van burn-out bij OISZ (openbare instellingen van sociale zekerheid)
Dit wordt nu geëvalueerd! Maar waarom:
- Leren en bijsturen.
- Meer draagvlak voor beleid als mensen hoe iets werkt
Functies van beleidsevaluatie
Beleidsevaluatie is het met behulp van gegevens en onderzoek op basis van
waarden, normen en criteria systematisch beoordelen van beleid,
beleidsuitvoering en beleidsresultaten. (Lijkt op een zakmes: kan behoorlijk pijn
doen, maar heeft ook veel functies)
1. Informeren: kennisfunctie van beleidsevaluatie
2. Beoordelen: waarderingsfunctie van beleidsevaluatie
3. Leren, aanpassen en innoveren: verbeterfunctie van beleidsevaluatie
4. Verantwoorden: democratische functie van beleidsevaluatie
5. Rationaliseren en theorieën ontwikkelen en testen: rationeel-analytisch
functie van beleidsevaluatie
6. Discussiëren: dialoogfunctie van beleidsevaluatie
7. Politiseren: politieke of machiavellistische functie van beleidsevaluatie
Doelgroepen: (1) beleidsmakers en bestuurders; (2) belanghebbenden (doelgroep
en uitvoerders); (3) volksvertegenwoordigers (coalitie en oppositie); (4) media en
publiek.
Informeren: kennisfunctie
- Nieuwe informatie genereren over beleid
- Vertrekken vanuit kennisbehoeften
- Kennisbehoefte expliciet gemaakt in strategische evaluatie agenda’s van
ministeries
1. Ingevoerd in 2021
2. Overzicht belangrijkste beleidsthema’s van ministeries en toelichting op
inzichtbehoefte per thema
3. Passende agendering van evaluatieonderzoek
4. Moet ervoor zorgen dat relevante en bruikbare inzichten in de
doeltreffendheid en doelmatigheid van beleid tijdig ter beschikking komen
, Beoordelen: waarderingsfunctie
- Doet de overheid de goede dingen, en doet ze de dingen goed?
- Normatieve karakter onderscheidt beleidsevaluatie van (fundamenteel)
onderzoek
- Evaluator heeft faciliterende rol: niet zijn/haar mening over beleid, maar op
basis van evaluatiecriteria
- Centrale rol voor comptabiliteitswet artikel 3.1 (beleidskeuzes uitgelegd)
Leren, aanpassen en innoveren: verbeterfunctie
4 Vormen van beleidsleren waaraan evaluaties kunnen bijdragen:
1. Systeemleren: onderscheid tussen eerste orde en tweede orde leren.
- Eerste orde: het makkelijkste, het rommelen in de marge, je
beleidsinstrumenten aanpassen.
o Vb. subsidies voor work-life balance. Eerst alleen bij 100
medewerkers minimum -> vanaf nu ook vanaf 50 medewerkers (het
subsidie blijft bestaan, maar je past hem aan) -> dit is eerste orde
(finetunen)
- Tweede orde: moeilijke leren, jouw doelstellingen zelf van het instrument in
vraag gaat stellen.
o Kiezen voor subsidies is geen doeltreffend instrument om een doel
te gaan bereiken. Beter kiezen voor regelgeving bijvoorbeeld. -> dit
is tweede orde leren.
Daarnaast ook:
2. Cognitief leren: evaluatie leidt tot beter begrip van het beleidsprobleem.
Enlightenment (verlicht door het doen van evaluaties)
3. Sociaal leren op basis van communicatie en sociale constructie (in dialoog
gaan met andere mensen en door interactie te leren)
4. Leren om complexe beleidsproblemen te ‘temmen’ (meer consensus
krijgen dan problemen)
Verantwoorden: democratische functie
Het recht om belasting te innen brengt de plicht met zich mee om achteraf te
verantwoorden wat je ermee hebt gedaan. Daar is de democratie voor
uitgevonden. Dat moet dus zo goed mogelijk gebeuren. (Arno Visser, VNG
Magazine)
- Gehaktdag, derde woensdag in mei
- Kabinet legt verantwoording af over de plannen die op Prinsjesdag zijn
ingediend
- Voorzitter van Tweede Kamer ontvangt Minister van Financiën Financieel
jaarverslag van het Rijk en jaarverslagen per ministerie
- Algemene Rekenkamer controleert jaarverslagen en biedt verslag aan, met
aandacht voor rechtmatigheid van de uitgaven, doelmatigheid van de
uitvoering, en de behaalde resultaten
Rationaliseren en theorieën ontwikkelen en testen: rationeel-
analytische functie
- Beleid is doordrenkt van rationele en causale veronderstellingen
(beleidstheorieën) over inzet van instrumenten en doelstellingen:
o Als we Dijken hoger maken, dan overstroomt het land minder
o Als we meer toezicht houden, dan neemt de kans op ongewenst
gedrag ad
