Beleidsadvisering III
Hoorcollege 1: Dagboekstudie
Houtgraaf
Houtgraaf (2022).pdf
Public executive agencies (PSO) zijn verantwoordelijk voor
beleidsimplementatie. De hypothese is dat zij door beleidsvrijheid meer outside
the box dingen kunnen doen, terwijl ze wel binnen de regels en normen blijven.
Vier vragen worden behandelt:
1. Wat veroorzaakt creativiteit bij ambtenaren?
2. Welke creatieve manieren passen zij dan toe?
3. Met welke ideeën komen ze dan?
4. Of er een verband is tussen de bovenste drie?
Public sector creativity: ‘public servants coming up with (proces van
creativiteit) novel and useful ideas (uitkomst van creativiteit) through various
practices (process van creativiteit)’. Het gaat dus om ideeën genereren en de
ideeën implementeren. Hier zit dus een heel proces achter waarin ideeën worden
omgezet in doelen en de doelen worden uitgevoerd. Creativiteit is dan het begin
van zo’n proces.
Triggers van creativiteit: instructions, feedback, rewards, tasks, goals, problems
or simply encountering certain situations.
Creative practices: ‘creative thinking’, ‘discretion’, ‘experimenting’, ‘networking’,
‘transferring’ and ‘outsourcing to the private sector’.
Ideas of creativity: ‘Pro-C’ ideas that refer to developmental and effortful
expressions of creativity on a professional level and ‘little-c’ ideas that refer to
incremental and everyday expressions of creativity’.
Minder creativiteit in de publieke sector: Minder incentives door absentie van
marktcompetitie, niet echt een relatie tussen presentaties en groei,
assymetrische incentives die slechte ideeën veel harder straffen dan dat ze
goede ideeën succes toekennen, politieke bemoeienis.
,Longitudinaal (over verschillende tijdstippen); procesverandering in kaart
brengen
Ad hoc: als er een bepaalde ervaring is van de respondent dan kan je heel erg ad
hoc het dagboek invullen. Dus dan kan hij het per direct invullen (meteen).
Mobiele dagboekstudie is makkelijker (via de app), kan ook via mail of schriftelijk
(maar mobiel is handigst)
Small-n: kleinere steekproef (neemt meer afstand van small-n, dus dat is wel
innovatief voor kwalitatief onderzoek)
Medium-n: 50-150 respondenten
Large-n: grote populatie >150 respondenten
Nadelen dagboekstudies:
1. Recall bias: geheugen van een persoon kan hem in de steek laten. Er
kunnen bepaalde vertekeningen waarin je iets positiever of negatiever kan
gaan zien over de tijd heen terwijl je er op dat moment anders tegenaan
keek. Je kan dit kleiner maken door bijv. aan een respondent te vragen of
hij of zij elke dag de dagboekstudie invult
2. Reactive bias: invullen van het dagboek heeft al effect op het fenomeen
dat je onderzoekt. Je vertekent je eigen resultaten omdat zij al iets invullen
wat jij hebt gemaakt
3. Respondent burden: voor sommige mensen is het heel erg leuk en voor
anderen is het heel erg vermoeiend. Als iemand dus vaker data moet
invullen dan worden ze er moe van, gaan ze het sneller invullen, worden
ze geïrriteerd en minder gedetailleerd. Je moet eigenlijk een afweging
maken tussen recall bias (bijv. eerder eens in de twee weken) en
respondent burden
Analysemethoden:
- Je krijgt er heel veel informatie door:
Fuzzy set qca
Thematic analyses (emergent themes): bepaalde concepten kan je
woorden labellen en daarop methoden toepassen
Path analyses
Regressie of SEM (kwantitatieve data)
Geschikte foci (komt Voort uit de psychologie, met name geschikt voor
dagboekstudie door je te focussen op ervaringen, beoordelen, processen en
veranderingen)
- Intra-persoonlijk (bijv. wat voor ideeën heb jij?) of inter-persoonlijk (bijv.
heb je het idee met collega’s gedeeld en hoe?)
- Dus meer hoe verlopen processen? Hoe interpreteert men die? Hoe ervaart
men veranderingen?
Praktische opties:
- Veel flexibiliteit in het opzetten en analyseren van een dagboekonderzoek
- Within-subject (ervaring binnen een persoon) of between-subject
(ervaringen tussen mensen), kijken wat er binnen een persoon zelf
gebeurd (gemoedstoestand) of extern (tussen persoon of met de
omgeving)
, - Kiezen tussen of beide: Event (flexibiliteit, wanneer je bijv. een creatief
idee hebt, wanneer er iets gebeurt) of experience () sampling:
- Korte of lange intervals: hoeveel tijd er tussen elk meetmoment zit
- Digitaal (mobiel, mail) of analoog (schriftelijk, op papier)
- Kwalitatief (textueel antwoord laten geven of verbaal, is meer verhalend),
kwantitatief (bijv. een schaal van 0-100) of mixed-methods: allemaal
mogelijk
- Momentopname (lijkt misschien beetje op enquete) of longitudinaal (op
een gegeven moment kom je op een punt dat je kan spreken over
verzadiging)
- Grenzen aan reacties:
- Interactie met respondenten:
Praktisch verloop; beginnen met onderzoeksdesign pilot study (kort uitzetten
bij een kleine n om te kijken of je wel de data krijgt die je nodig hebt/ of er
problemen of onduidelijkheden zijn) informative session (waarom doen we dit
onderzoek, wat gaan we onderzoeken, uitleggen aan respondenten, is ook met
interactie, uitleggen, niet bepaalde sturende antwoorden geven) intake-
questionnaire (wie doet er mee aan het onderzoek? Kan je vaak namen of codes
aan verbinden. Gedurende het traject kan je blijven tracken wie er wel of niet
meedoen) data collection (data verzamelen, belangrijk om mensen
gemotiveerd te houden, reminders sturen kan wel maar kan ook irritant worden
voor de respondenten, dus misschien niet te vaak, ook bereikbaar blijven voor je
respondenten) data coding (data coderen) inter-coder (ICR, zien jouw
medeonderzoekers dingen hetzelfde als jou) preliminary analyses (data
analyseren) focus groups (verduidelijking vragen bij respondenten, nog extra
vragen stellen, tot nieuwe inzichten komen, kijken of hoe jij data hebt gecodeerd
goed was) final analyses (laatste analyse)
Praktische ervaringen:
- Voorbereiding is echt belangrijk
- Ethische kwesties: gevoelige data (die mensen anoniem laten die bijv. veel
kritiek hebben op leidinggevenden), informed consent en persoonlijk leed
(mensen die het werk heel vervelend vonden bellen de onderzoeker op
alsof hij psycholoog is)
- Uitleggen centrale concepten is ook belangrijk
- Goed werkende tool
- Non-response
- Reminders
- Kern rol vraagstelling
- Resulterende data en inzichten: je krijgt veel data, je kan er veel uit halen,
Werkgroep 1: Dagboekstudie
, Cullen
Cullen (1980).pdf
1. A. Om een goede beschrijving te kunnen geven van een situatie of een
continue beschrijving van het leven van een respondent over een bepaald
tijdsbestek (allesomvattend beeld van een respondent ipv alleen één
moment rijke data, veel context)
- Processen en veranderingen herkennen (continue beschrijving van wat er
aan de hand is binnen een korte periode van het leven van een
respondent)
- Vergelijken tussen groepen en kwantificeren van data
Hoorcollege 1: Dagboekstudie
Houtgraaf
Houtgraaf (2022).pdf
Public executive agencies (PSO) zijn verantwoordelijk voor
beleidsimplementatie. De hypothese is dat zij door beleidsvrijheid meer outside
the box dingen kunnen doen, terwijl ze wel binnen de regels en normen blijven.
Vier vragen worden behandelt:
1. Wat veroorzaakt creativiteit bij ambtenaren?
2. Welke creatieve manieren passen zij dan toe?
3. Met welke ideeën komen ze dan?
4. Of er een verband is tussen de bovenste drie?
Public sector creativity: ‘public servants coming up with (proces van
creativiteit) novel and useful ideas (uitkomst van creativiteit) through various
practices (process van creativiteit)’. Het gaat dus om ideeën genereren en de
ideeën implementeren. Hier zit dus een heel proces achter waarin ideeën worden
omgezet in doelen en de doelen worden uitgevoerd. Creativiteit is dan het begin
van zo’n proces.
Triggers van creativiteit: instructions, feedback, rewards, tasks, goals, problems
or simply encountering certain situations.
Creative practices: ‘creative thinking’, ‘discretion’, ‘experimenting’, ‘networking’,
‘transferring’ and ‘outsourcing to the private sector’.
Ideas of creativity: ‘Pro-C’ ideas that refer to developmental and effortful
expressions of creativity on a professional level and ‘little-c’ ideas that refer to
incremental and everyday expressions of creativity’.
Minder creativiteit in de publieke sector: Minder incentives door absentie van
marktcompetitie, niet echt een relatie tussen presentaties en groei,
assymetrische incentives die slechte ideeën veel harder straffen dan dat ze
goede ideeën succes toekennen, politieke bemoeienis.
,Longitudinaal (over verschillende tijdstippen); procesverandering in kaart
brengen
Ad hoc: als er een bepaalde ervaring is van de respondent dan kan je heel erg ad
hoc het dagboek invullen. Dus dan kan hij het per direct invullen (meteen).
Mobiele dagboekstudie is makkelijker (via de app), kan ook via mail of schriftelijk
(maar mobiel is handigst)
Small-n: kleinere steekproef (neemt meer afstand van small-n, dus dat is wel
innovatief voor kwalitatief onderzoek)
Medium-n: 50-150 respondenten
Large-n: grote populatie >150 respondenten
Nadelen dagboekstudies:
1. Recall bias: geheugen van een persoon kan hem in de steek laten. Er
kunnen bepaalde vertekeningen waarin je iets positiever of negatiever kan
gaan zien over de tijd heen terwijl je er op dat moment anders tegenaan
keek. Je kan dit kleiner maken door bijv. aan een respondent te vragen of
hij of zij elke dag de dagboekstudie invult
2. Reactive bias: invullen van het dagboek heeft al effect op het fenomeen
dat je onderzoekt. Je vertekent je eigen resultaten omdat zij al iets invullen
wat jij hebt gemaakt
3. Respondent burden: voor sommige mensen is het heel erg leuk en voor
anderen is het heel erg vermoeiend. Als iemand dus vaker data moet
invullen dan worden ze er moe van, gaan ze het sneller invullen, worden
ze geïrriteerd en minder gedetailleerd. Je moet eigenlijk een afweging
maken tussen recall bias (bijv. eerder eens in de twee weken) en
respondent burden
Analysemethoden:
- Je krijgt er heel veel informatie door:
Fuzzy set qca
Thematic analyses (emergent themes): bepaalde concepten kan je
woorden labellen en daarop methoden toepassen
Path analyses
Regressie of SEM (kwantitatieve data)
Geschikte foci (komt Voort uit de psychologie, met name geschikt voor
dagboekstudie door je te focussen op ervaringen, beoordelen, processen en
veranderingen)
- Intra-persoonlijk (bijv. wat voor ideeën heb jij?) of inter-persoonlijk (bijv.
heb je het idee met collega’s gedeeld en hoe?)
- Dus meer hoe verlopen processen? Hoe interpreteert men die? Hoe ervaart
men veranderingen?
Praktische opties:
- Veel flexibiliteit in het opzetten en analyseren van een dagboekonderzoek
- Within-subject (ervaring binnen een persoon) of between-subject
(ervaringen tussen mensen), kijken wat er binnen een persoon zelf
gebeurd (gemoedstoestand) of extern (tussen persoon of met de
omgeving)
, - Kiezen tussen of beide: Event (flexibiliteit, wanneer je bijv. een creatief
idee hebt, wanneer er iets gebeurt) of experience () sampling:
- Korte of lange intervals: hoeveel tijd er tussen elk meetmoment zit
- Digitaal (mobiel, mail) of analoog (schriftelijk, op papier)
- Kwalitatief (textueel antwoord laten geven of verbaal, is meer verhalend),
kwantitatief (bijv. een schaal van 0-100) of mixed-methods: allemaal
mogelijk
- Momentopname (lijkt misschien beetje op enquete) of longitudinaal (op
een gegeven moment kom je op een punt dat je kan spreken over
verzadiging)
- Grenzen aan reacties:
- Interactie met respondenten:
Praktisch verloop; beginnen met onderzoeksdesign pilot study (kort uitzetten
bij een kleine n om te kijken of je wel de data krijgt die je nodig hebt/ of er
problemen of onduidelijkheden zijn) informative session (waarom doen we dit
onderzoek, wat gaan we onderzoeken, uitleggen aan respondenten, is ook met
interactie, uitleggen, niet bepaalde sturende antwoorden geven) intake-
questionnaire (wie doet er mee aan het onderzoek? Kan je vaak namen of codes
aan verbinden. Gedurende het traject kan je blijven tracken wie er wel of niet
meedoen) data collection (data verzamelen, belangrijk om mensen
gemotiveerd te houden, reminders sturen kan wel maar kan ook irritant worden
voor de respondenten, dus misschien niet te vaak, ook bereikbaar blijven voor je
respondenten) data coding (data coderen) inter-coder (ICR, zien jouw
medeonderzoekers dingen hetzelfde als jou) preliminary analyses (data
analyseren) focus groups (verduidelijking vragen bij respondenten, nog extra
vragen stellen, tot nieuwe inzichten komen, kijken of hoe jij data hebt gecodeerd
goed was) final analyses (laatste analyse)
Praktische ervaringen:
- Voorbereiding is echt belangrijk
- Ethische kwesties: gevoelige data (die mensen anoniem laten die bijv. veel
kritiek hebben op leidinggevenden), informed consent en persoonlijk leed
(mensen die het werk heel vervelend vonden bellen de onderzoeker op
alsof hij psycholoog is)
- Uitleggen centrale concepten is ook belangrijk
- Goed werkende tool
- Non-response
- Reminders
- Kern rol vraagstelling
- Resulterende data en inzichten: je krijgt veel data, je kan er veel uit halen,
Werkgroep 1: Dagboekstudie
, Cullen
Cullen (1980).pdf
1. A. Om een goede beschrijving te kunnen geven van een situatie of een
continue beschrijving van het leven van een respondent over een bepaald
tijdsbestek (allesomvattend beeld van een respondent ipv alleen één
moment rijke data, veel context)
- Processen en veranderingen herkennen (continue beschrijving van wat er
aan de hand is binnen een korte periode van het leven van een
respondent)
- Vergelijken tussen groepen en kwantificeren van data
