Samenvatting Evaluation: a systematic approach SV

H1: An overview of program evaluation
 What is program evaluation?
o A social science activity directed at collecting, analyzing, interpreting and
communicating information about the workings and effectiveness of social
programs
o Waarom wordt het gedaan? Besluitvorming over het programma, nut van
programma’s beoordelen, effectiever werken, tegemoetkomen aan sponsoren
o Programmaevaluatoren geven antwoord op het volgende type vragen:




o Wet van Rossi: if there is any empirical law that is emerging from the past decade
of widespread evaluation activity, it is that the expected value for any measured
effect of a social program is zero. Volgens mij komt het er op neer dat evaluatie
vaak wel nuttig wordt gevonden, maar dat er meestal onvoldoende bewijs is voor
een interventie.
o Overeenkomst tussen alle sociale programma’s die geëvalueerd worden is dat de
outcomes worden beoordeeld.
 A brief history of evaluation
o Werd al sinds de moderne tijden gedaan. Vaak om het welzijn van mensen te
verbeteren of fysieke en sociale omgevingen te verbeteren.
o Ook sociale experimenten zag je al in 1700 door een kapitein van een boot
waarop bemanningsleden ziek werden
o Dit zijn alleen vooral de roots. Het echte evaluatieonderzoek is vrij modern (20e
eeuw). En gaat samen met betere onderzoeksmethoden en ideologische, politieke
en demografische veranderingen.
 Voor eerste wereldoorlog: gericht op publieke gezondheid(szorg)
 1930: rigide onderzoeksmethoden (ook ontdekking Hawthorne effect)
 WWII gaf een boost omdat men de moraal van soldaten bijhield
 Na de tweede wereldoorlog grote vanuit de OH gefinancierde
programma’s. Vanwege de grote kosten wilde men ‘knowlegde of results’.
 1950: evaluatieonderzoek was normaal geworden. Door groei van kennis
over sociale onderzoeksmethoden (bijv. statistiek) konden grote
evaluatieonderzoeken uitgevoerd worden.
 1960: grote toename van boeken over evaluatieonderzoek
 1970: evaluatieonderzoek werd een specialiteit in de sociale
wetenschappen
o Gedurende de ontwikkeling van het evaluatieonderzoek zag je een verandering:
eerst was het vooral vanuit onderzoekers, later kregen de afnemers van het
programma meer invloed (beleidsmakers, sponsoren). Hierdoor is het
evaluatieonderzoek meer buiten academia komen te staan.
o Vroeger was in de VS veel zorg vrijwillig. De overheid was niet echt
geïnteresseerd in sociale en economische informatie. Als gevolg van de grote
depressie in 1930 begon dit te veranderen. Ook kwam er steeds meer aandacht

, voor hoe beleids- en besluitvorming nu eigenlijk verliep. Uiteindelijk kon de OH
niet meer om het belang van evaluatie heen, omdat government steeds lastiger
werd. Evaluatieonderzoek is dus verweven met sociaal beleid, maar gebeurt ook
in dezelfde politieke en organisationele arena.
 1970: veel programma’s van de OH werken niet en er ontstond
weerstand tegen het opleggen van allerlei programma’s. Daarom kwam
er aandacht voor de balans met de kosten.
 Sociale programma’s en de evaluatie daarvan worden dus gevormd door
de tijd. Er is vaak discussie over en daarom is men altijd bezig met het
bewijzen van het nut van een programma.
 Tegenwoordig gelden twee dingen:
 Vanwege geldgebrek moeten fondsen goed kijken naar waar ze
hun geld op inzetten
 Intensief onderzoek naar programma’s zal blijven bestaan omdat
er druk blijft om slechte programma’s te
ontmantelen/verbeteren.
 The defining characteristics of program evaluation: program evaluation is the use of
social research methods to systematically investigate the effectiveness of social intervention
programs in ways that are adapted to their political and organizational environments and
are designed to inform social action to improve social conditions. Dit vraagt om een
omschrijving van de prestaties en criteria om die te beoordelen.
o Application of social research methods: maar dit is niet te rigide. Vaak moeten
evaluatoren improviseren hoe ze betrouwbare informatie moeten krijgen. Leidt
tot methodologische vooruitgang. Methodologische kwaliteit is ook niet per se
het allerbelangrijkste bij evaluatieonderzoek. Het is een uitdaging om de
procedures zo goed mogelijk toe te passen in de situatie.
o Vijf dingen waar vaak naar gekeken wordt:
 Need for the program
 Design
 Implementation/servicy delivery
 Its impact/outcomes
 Efficiency
o Politiek en organisatie hebben invloed op programmaevaluatie. Sponsoren en
stakeholders hebben bepaalde vragen, die vaak in onderhandeling met de
onderzoeker verfijnd moeten worden. Het is belangrijk om te weten waarom een
vraag wordt gesteld en wat er met de informatie wordt gedaan. Het antwoord
moet ingaan op de kwestie en nuttig zijn voor beleidsmakers, maar ook rekening
houden met de politieke context. Evalueren is niet echt nuttig als niemand in de
informatie geïnteresseerd is, echter toch vragen sponsoren soms om onderzoek.
o Evaluatie moet ook verankerd zijn in de organisatie van het programma.
Bijvoorbeeld: hoe veel ondersteuning is er, hoeveel info beschikbaar. Dit kan
invloed hebben op de dataverzameling (die mogelijk is).
o Het doel van evaluatieonderzoek is dus zodat men weet wat te doen. Dit kan
betrekking hebben op het programma zelf, maar ook daarbuiten. Kennis kan
helpen bij sociale programma’s van gelijke soort. Kortom: de informatie uit
evaluatieonderzoek wordt of direct gebruikt, of indirect in de vorm van
kennisopbouw.
 Evaluation research in practice: is een balans vinden
o Bijvoorbeeld balans tussen goed methodologisch onderzoek en de gang van
zaken binnen een programma. Interviews bijvoorbeeld kunnen de gang van
zaken verstoren. Je moet dus het onderzoek optimaliseren terwijl je de hinder
minimaliseert. Dit kan het beste in overleg met de mensen van een bepaald
programma gebeuren.
o Andere wrikpunten zijn bijvoorbeeld:

,  Fixed evaluation plan vs. volatility (=vluchtigheid) of social programs
 Kloof wetenschap en nut voor de praktijk
 Weinig consensus over de benadering van evaluatie, veel opties mogelijk
o Sociale programma’s zijn erg vluchtig, er verandert veel. Zie je bijvoorbeeld in…
 Bronnen, prioriteiten en relatieve invloeden van sponsoren en
stakeholders is dynamisch
 Organisaties die het programma aanbieden hebben wisselingen in
prioriteiten en verantwoordelijkheden
 Een evaluator moet dus anticiperen op veranderingen in een programma.
Eerste bevindingen kunnen de rest van een onderzoek soms al overbodig
maken.
 Evaluatieonderzoek kan je dus niet doen alsof het een lab-setting is. Dit
brengt ook de volgende spanning met zich mee:
praktisch/wetenschappelijk
o Wetenschappelijke versus pragmatische houding
 Campbell (1969) was van de experimenting society
 Cronbach was hier tegen. Volgens hem differentieert het doel van
evaluatieonderzoek zich van wetenschappelijk onderzoek, dus evaluatie
is een kunst in het maximaliseren van o.a. politieke omstandigheden en
resources.
 Men is geneigd beide heren gelijk te geven, alleen vaak werkt dit in de
praktijk niet. Voor goed wetenschappelijk onderzoek bestaan vaak te
weinig middelen (tijd, complexiteit van een programma vs. meetbaarheid
van een variabele, experimenten om iets over causaliteit te zeggen).
 Wetenschap kan echter niet compleet los worden gelaten, omdat het
anders niet geloofwaardig en valide is.
 Er moet dus een balans gevonden tussen de validiteit en nut en
betekenisvolheid van resultaten voor consumers. Deze balans is bijv.
afhankelijk van het doel van het programma, politieke en beleidsmatige
context.
 Verder is het vaak lastig voor wie de evaluatie het meest belangrijk is.
Een evaluatie heeft vaak verschillende soorten publiek. Sommigen zijn
geïnteresseerd in dit specifieke programma, anderen in dit type
interventie in het algemeen.
 Waar de een vindt dat het nut van resultaten doorslaggevend moet zijn,
vinden mensen die bijvoorbeeld meta-analyses maken vaak dat de
methodologie te wensen overlaat. Zij vinden dat een evaluatieonderzoek
ook altijd moet bijdragen aan de wetenschap.
o Verschillende visies op evalueren. Heeft meerdere oorzaken, bijvoorbeeld…
 Evaluatoren komen uit allerlei wetenschapsdisciplines
 Persoonlijke opvattingen
 Men is het op gaan delen in kampen en gaan zoeken naar
overeenkomsten om zo tot een evaluation theory te komen
 Volgens de schrijvers van het boek zal evalueren een kunst en
wetenschap blijven. Aangezien kunst niet per se met een boek goed kan
worden geleerd, zal dit maar een deel zijn van wat je nodig hebt om een
goede evaluator te worden.
 Who can do evaluations?
o Iemand die enige social research training heeft gedaan en kennis heeft van
sociale onderzoeksmethoden (afhankelijk van de complexiteit van de evaluatie
kan de kennis die nodig is verschillen)
o Kennis hebben van het probleem en de doelgroep
o Kennis van bevindingen van eerdere interventies

,  Deze kennis is nodig zodat de onderzoeker kennis heeft van de context en een goed
evaluatieplan kan opzetten.

H2: Tailoring evaluations
Voor het opstellen van een evaluatieplan moet iemand eerst kijken naar het doel van de
evaluatie, de conceptuele en organisationele structuur van het programma en de beschikbare
bronnen.
Doel is bijvoorbeeld verbeteren (beleidsmakers) of beoordelen of investeren nog nuttig
is. Dit vraagt om verschillende manieren van aanpak. Je moet rekening houden met tijd,
personeel en financiële middelen. Eigenlijk zijn er grosso modo slechts een aantal verschillende
situaties mogelijk waarin de hulp van iemand die evalueert wordt ingeschakeld. Alleen details
verschillen. One size fits all bestaat echter niet. Daarom moet er worden gezocht naar een balans
tussen de situatie en de vaardigheden van de evaluator.

 What aspects of the evaluation plan must be tailored?
Ook al is de ene evaluatie complexer dan de andere, er zijn drie issues die in elke evaluatie
voorkomen:
1. De vraag van de evaluatie is beantwoordbaar. Rond een evaluatie kunnen heel
veel vragen spelen die lang niet allemaal tegelijkertijd te beantwoorden zijn. Je
kunt bijvoorbeeld willen weten of je de doelgroep goed bedient, of een vraag
hebben naar efficiency.
2. De methoden en procedures die gebruikt worden maken antwoord geven
mogelijk
3. Natuur van de verhouding tussen evaluator en stakeholders. Er is eigenlijk een
soort vraag naar verantwoordelijkheid. Aangezien het niet zo is dat resultaten
altijd gebruikt worden, moet je afspraken maken over wat wanneer en hoe naar
buiten wordt gebracht.
 What features of the situation should the evaluation plan take into account?
o Purpose of the evaluation: de evaluator moet erachter zien te komen wie de
evaluatie wil, wat ze willen en waarom. Achter vragen zit soms iets anders en
soms is het hele idee van evaluatie bedacht omdat evalueren ‘misschien wel goed
zou zijn’. Doelen zijn meestal: verbetering van het programma, accountability,
kennisopbouw
 Programma verbetering: in dit geval is de evaluatie formatief. Zijn vaak
beleidsmakers die dit willen of funding agencies die het programma
effectiever willen maken. Vaak wordt er in dit soort situaties
samengewerkt met het management van het programma en andere
stakeholders. Resultaten zijn meestal tijdsgebonden, concreet en direct
bruikbaar. Communicatie tijdens het proces kan veelal informeel zijn.
 Accountability: in dit geval is de evaluatie summatief. Het hogere
management, beleids- en wetmakers en regering kunnen hierin
geïnteresseerd zijn omdat ze geïnvesteerd geld willen terugverdienen.
Dit type evaluatie kan van invloed zijn op het geld dat verder nog
gestoken wordt in het programma en vraagt daarom om geloofwaardige
(wetenschappelijke?) informatie. De evaluator zal veelal individueel
werken en moet vroegtijdige conclusies vermijden. De bevindingen
zullen veelal formeel van aard zijn.
 Knowledge generation: vanwege het doel kennis op te bouwen worden
hier vaak de meest rigide onderzoeksmethoden toegepast. Het publiek
bestaat uit sponsoren, beleidsmakers en academici. Resultaten worden
meestal bekend gemaakt via journals of papers.
Maar er zijn ook hidden agenda’s mogelijk, zoals het maken van indruk op
sponsoren, het geven van een rationale nadat een beslissing al is genomen of het
uitstellen van een probleem. Als dit het geval is, is dat een dilemma voor de

, evaluator. Hij zou het eigenlijk moeten vermijden. Of hij moet advies geven op
het meer een andere richting op te sturen.
o The program structure and circumstances. Hierbinnen zijn drie zaken vooral van
belang:
 Ontwikkelingsfase van het programma: soms is een programma nog zo in
ontwikkeling, dat een vraag over efficiëntie nauwelijks is te
beantwoorden omdat het programma gewoon nog niet uitontwikkeld is
en daarom waarschijnlijk nog niet zo effectief. Formatieve evaluatie (wat
zijn de needs, hoe kan de dienstverlening beter) past hier beter. Vaak
worden echter sterk uitontwikkelde programma’s geëvalueerd en willen
betrokken niet dat er nog wordt getornd aan het onderliggende idee.
Programma’s die aan de gehele denkbare bevolking worden aangeboden
zijn vaak lastig te evalueren met betrekking tot impact en efficiency
omdat je niet kunt vergelijken met de situatie zonder. Vaak wordt er
daarom een inschatting gemaakt van de relevantie van de doelen, de
kwaliteit van de implementatie of de vraag of de doelpopulatie bereikt
wordt. Soms wordt een doorontwikkeld programma geëvalueerd omdat
er vragen aan worden gesteld, bijvoorbeeld door politiek, concurrentie of
hoge kosten. Er kan dan eigenlijk op elke soort vraag in worden gegaan.




 Beleids- en politieke context: tenzij je als wetenschapper op eigen houtje
onderzoek gaat doen, ben je niet vrij om te definiëren wat het
programma is etc. Betrokkenen hebben er allemaal een andere visie op.
Wanneer visies te verschillend zijn, maakt dit evaluatieonderzoek lastig.
Tegenstrijdige opvattingen meenemen kan ertoe leiden dat de sponsor
bijvoorbeeld de stekker eruit trekt. Het is vooral belangrijk dat de
evaluator aangeeft vanuit welke visie wordt geëvalueerd. Daarnaast kan
de evaluator gaan onderzoeken hoe de tegenstrijdige ideeën in elkaar
steken, en daarover rapporteren. Soms is het meningsverschil echter zo
diep, dat je de partijen never nooit tot elkaar zult kunnen brengen.
Volgens Guba en Lincoln is het dan goed dat je de partijen hierover laat
communiceren met elkaar. Het doel van de evaluatie is dat het begeleiden
van onderhandelingen tussen stakeholders. Echter, zelfs al doe je je best
iedereen bij elkaar te brengen, dan nog blijft iedere stakeholder eigen
opvattingen en belangen hebben. Resultaten zullen altijd wel voor een
partij niet zo geweldig gunstig zijn. Dit betekent echter niet dat de
evaluator geen aandacht moet hebben voor verschillen in perspectief:

, eigenlijk moet hij ze van het begin af aan conditioneren richting
mogelijke resultaten.
 Conceptuele en organisationele structuur van
het programma: als je niet goed weet wat het
programma zou moeten doen, is het ook lastig
te beoordelen of het programma dit goed doet.
Daarom is de program theory zo belangrijk.
Als dit te vaag is, kan een evaluatie zich richten
op het verbeteren hiervan. Dit omdat het al
lastig is te zeggen of een programma juist is
geïmplementeerd zonder program theory. Als
een programma helemaal is uitgedacht, gaat
vaak de routine overheersen en kan men soms
moeilijk meer bedenken waarom iets zo wordt
gedaan. Verder geldt dat hoe groter, complexer, gedecentraliseerder en
geografisch verspreid de organisatie is, hoe lastiger evalueren wordt.
Vaak is dan een evaluatieteam vereist. Ten derde doet de structuur van
de interventie er toe. Is het iets simpels waarmee je directe resultaten
verwacht (daklozen eten geven -> geen honger)? Het is lastiger naarmate
de interventie diffuser, langer, verschillend toegepast of lange
termijn/’vage’ uitkomsten heeft.
o The resources available for the evaluation: dit vraagt om goede planning en
budgettering. En ookal is geld natuurlijk belangrijk, expertise doet er ook toe. Het
is soms lastig om voldoende mensen met de juiste kennis te vinden. Wat is er nog
meer nodig?
 Support van het programma management en andere stakeholders
 Toegang tot documenten/records
 Tijd
Dit moet allemaal worden ingecalculeerd bij het maken van een plan. Een
grondige evaluatie vraagt veel tijd en geld, maar iets goedkoops is vaak
oppervlakkig. Hoe hoger de wetenschappelijke standaarden die moeten worden
gehaald, hoe meer tijd, moeite en samenwerking van het programma er nodig is.
In verband met teleurstelling is het vaak beter een klein aantal vragen goed te
beantwoorden in plaats van er veel aan te pakken.
 The nature of the evaluator-stakeholder relationship: ieder sociaal programma is een
sociale structuur van mensen met verschillende rollen en activiteiten. Daarbij is een
programma een schakel in een rij van mensen die belangen hebben bij een programma,
zoals beleidsmakers. Daarom moeten evaluatoren al vroeg hun positie aangeven ten
aanzien van alle partijen: beleidsmakers, sponsoren van het programma en van de
evaluatie, participanten waarop het programma gericht is, managers, personeel,
concurrenten, stakeholders in de context, academia. De belangrijkste stakeholder is de
sponsor van de evaluatie. Deze bepaalt hoe en wanneer er geëvalueerd wordt en door
wie. Er zijn verschillende relaties tot deze stakeholder mogelijk. Soms onafhankelijk van
elkaar, soms meer samenwerkend of indirect dat de sponsor wil dat je met lokale
stakeholders samenwerkt. Dit wordt ook wel omschreven met de volgende drie:
o Independent evaluation: dit kan zelf geïniteerd zijn, maar meestal wordt
iemand door een funding agency benaderd die dan aangeeft dat de evaluator het
verder zelf maar moet plannen
o Participatory or collaborative evaluation: dan is het meer een teamproject.
Stakeholders zijn direct betrokken bij het plannen, uitvoeren en analyseren van
de evaluatie. Dit gebeurt vooral bij op het nut gerichte evaluaties (utilization-
focused), je kan dan gelijk kijken of de evaluatie aansluit bij de needs
o Empowerment evaluation: er worden dan stakeholders betrokken die anders
weinig invloed zouden hebben (bijvoorbeeld degenen die aan het programma