College 9 – Hilhorst et al. (2022)
1. What is the (management) problem?
1.1. What is the problem?
Het probleem dat de auteurs in dit artikel onderzoeken is dat investeringen in IT door
overheden gerechtvaardigd is als dit meerwaarde creëert voor het publiek. Ten tijde van het schrijven
van dit artikel was hiernaar beperkt onderzoek gedaan. Voorgaande onderzoeken hebben zich met
name gefocust op de private sector/bedrijven.
1.2. Why does this problem need to be raised?
De reden waarom dit probleem aangehaald wordt, is omdat overheden steeds meer investeren
in IT en de verwachting is dat deze investeringen in de toekomst zullen blijven toenemen.
2. From whose perspective is the (management) problem being studied?
Het perspectief dat in dit artikel gehanteerd wordt, is vanuit de overheid.
3. What is the research question to address the (management) problem?
3.1. Overall research objective
De hoofdvraag van het onderzoek is: “Hoeveel euro efficiëntie wordt er gecreëerd in publieke
diensten bij een toename van €1 in het aandeel van IT-kosten relatief tot de totale gemeentelijke
kosten?”
3.2. Detailed research questions
De deelvragen worden weergegeven in de hypothesen.
- Hypothese 1a: Een toename van €1 in het voordeel van het aandeel van IT-kosten ten
opzicht van totale gemeentelijke kosten is geassocieerd met meer dan €1 kostenefficiëntie
in publieke diensten in gemeenten.
- Hypothese 1b: Het verband tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten neemt af naar mate een hogere aandeel van IT-kosten is.
- Hypothese 2: De associatie tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten wordt negatief beïnvloedt door de gemiddelde leeftijd van werknemers.
- Hypothese 3: Het verband tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten wordt positief beïnvloedt door de spreiding van leeftijden in het
personeelsbestand.
- Hypothese 4: Het verband tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten wordt positief beïnvloedt door trainingskosten voor het personeel.
4. What is the conceptual model?
Zie figuur 1 artikel.
5. What is the strength of the causal relationship?
5.1. Use of theory
Voor hypothesen 1a en 1b maken de auteurs gedeeltelijk gebruik van een centrale theorie:
public-value management theory. Dit is positief voor de interne validiteit. De auteurs halen voor de
onderbouwing van hypothesen veel onderzoeken aan in de private sector om de effecten van IT op
kosten-efficiëntie uit te leggen. Dit is positief voor de interne validiteit. De reden waarom dit ook voor
Pagina 1 van 8
, publieke organisaties zal gelden wordt met name gedaan op basis van logisch redeneren met behulp
van bevindingen in voorgaande onderzoeken. Deze onderbouwing is summier, maar te verwachten in
verband met de toegevoegde waarde van dit artikel. Dit is dus zowel negatief als positief voor de
interne validiteit. De onderbouwing van hypothese 1b vind ik minder sterk, omdat zij hierbij
onderbouwen dat overheden/gemeenten met uitdagingen te maken hebben met betrekking tot IT en de
investeringen/implementatie hiervan, maar ze onderbouwen niet waarom dit een verband heeft met het
aandeel van IT-kosten ten opzichte van de totale kosten. Je zou immers ook kunnen redeneren: Een
gemeente die veel in IT investeert heeft met minder van deze uitdagingen te maken. Dit is negatief
voor de interne validiteit.
De onderbouwing van hypothese 2 vind ik sterk. De auteurs laten duidelijk op basis van
voorgaand onderzoek zien waarom leeftijd een invloed kan hebben op het onderzochte verband. Dit is
positief voor de interne validiteit.
De onderbouwing van hypothese 3 is gedeeltelijk onderbouwd op basis van voorgaande
onderzoeken, maar lijkt ook gebaseerd te zijn op logisch redeneren.
De onderbouwing van hypothese 4 is relatief kort. Hetgeen mij hierbij opvalt is dat training
door de auteurs als een brede geaccepteerde key factor genoemd wordt, maar vervolgens slechts één
voorgaand artikel aanhalen op specifiek dit gedeelte. De onderbouwing van hypothese 4 is wel
logisch.
Hetgeen mij opvalt in het theoretische kader is dat de auteurs voorbeelden aanhalen van
investeringen door de Nederlandse overheid die succesvol zijn geweest, maar investeringen die niet
succesvol zijn geweest niet benoemen, terwijl het in Nederland de publieke kennis is dat bij de
Nederlandse overheid met betrekking tot IT veel problemen zijn en dit daardoor niet efficiënt is. Door
falende ict-projecten verspilt de overheid jaarlijks miljarden euro's. Waarom wordt dit niet behandeld?
Dit is negatief voor de interne validiteit.
5.2. Causality versus correlation
Doordat dit verband in de private sector al is geconstateerd en een causaal verband logisch is,
lijkt mij een causaal verband aanwezig te zijn. Dit is positief voor de interne validiteit.
5.3. Reciprocal relationships
Er is geen wederkerige relatie mogelijk. Hoe efficiënt de kosten zijn veranderd niet het
gedeelte dat in IT is geïnvesteerd. Dit is positief voor de interne validiteit.
5.4. Confounding factors
Een belangrijke confounding factor ontbreekt naar mijn mening, namelijk de begroting en het
budget. Een gemeente met een groot budget investeert mogelijk minder of juist meer efficiënt (minder
is logischer) en investeert in verhouding mogelijk minder of juist meer in IT (afhankelijk van plannen
gemeente). Dit is negatief voor de interne validiteit. Daarnaast hebben de auteurs enkele andere
factoren onderkend in de limitaties (process innovation/process redesign orgisational changes).
5.5. Conclusion
Op basis van bovenstaande is de interne validiteit voldoende.
6. What is the quality of the operationalization of the conceptual model?
6.1. Operationalization of the conceptual model
Zie tabel 2 en 5 voor de operationalisatie van het conceptueel model. De onafhankelijke
variabelen, afhankelijke variabele en moderators zijn goed toegelicht en zijn soms conform voorgaand
onderzoek. Dit is positief voor de constructvaliditeit. De control variables zijn niet goed toegelicht,
waarom zij meegenomen worden, maar zijn wel logisch. Dit is negatief voor de constructvaliditeit.
Positief voor de construct validiteit is dat sommige variabelen op verschillende wijzen zijn
gemeten en de uitkomsten dezelfde resultaten laten zien.
Pagina 2 van 8
1. What is the (management) problem?
1.1. What is the problem?
Het probleem dat de auteurs in dit artikel onderzoeken is dat investeringen in IT door
overheden gerechtvaardigd is als dit meerwaarde creëert voor het publiek. Ten tijde van het schrijven
van dit artikel was hiernaar beperkt onderzoek gedaan. Voorgaande onderzoeken hebben zich met
name gefocust op de private sector/bedrijven.
1.2. Why does this problem need to be raised?
De reden waarom dit probleem aangehaald wordt, is omdat overheden steeds meer investeren
in IT en de verwachting is dat deze investeringen in de toekomst zullen blijven toenemen.
2. From whose perspective is the (management) problem being studied?
Het perspectief dat in dit artikel gehanteerd wordt, is vanuit de overheid.
3. What is the research question to address the (management) problem?
3.1. Overall research objective
De hoofdvraag van het onderzoek is: “Hoeveel euro efficiëntie wordt er gecreëerd in publieke
diensten bij een toename van €1 in het aandeel van IT-kosten relatief tot de totale gemeentelijke
kosten?”
3.2. Detailed research questions
De deelvragen worden weergegeven in de hypothesen.
- Hypothese 1a: Een toename van €1 in het voordeel van het aandeel van IT-kosten ten
opzicht van totale gemeentelijke kosten is geassocieerd met meer dan €1 kostenefficiëntie
in publieke diensten in gemeenten.
- Hypothese 1b: Het verband tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten neemt af naar mate een hogere aandeel van IT-kosten is.
- Hypothese 2: De associatie tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten wordt negatief beïnvloedt door de gemiddelde leeftijd van werknemers.
- Hypothese 3: Het verband tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten wordt positief beïnvloedt door de spreiding van leeftijden in het
personeelsbestand.
- Hypothese 4: Het verband tussen het aandeel van IT-kosten en kosten efficiëntie in
gemeenten wordt positief beïnvloedt door trainingskosten voor het personeel.
4. What is the conceptual model?
Zie figuur 1 artikel.
5. What is the strength of the causal relationship?
5.1. Use of theory
Voor hypothesen 1a en 1b maken de auteurs gedeeltelijk gebruik van een centrale theorie:
public-value management theory. Dit is positief voor de interne validiteit. De auteurs halen voor de
onderbouwing van hypothesen veel onderzoeken aan in de private sector om de effecten van IT op
kosten-efficiëntie uit te leggen. Dit is positief voor de interne validiteit. De reden waarom dit ook voor
Pagina 1 van 8
, publieke organisaties zal gelden wordt met name gedaan op basis van logisch redeneren met behulp
van bevindingen in voorgaande onderzoeken. Deze onderbouwing is summier, maar te verwachten in
verband met de toegevoegde waarde van dit artikel. Dit is dus zowel negatief als positief voor de
interne validiteit. De onderbouwing van hypothese 1b vind ik minder sterk, omdat zij hierbij
onderbouwen dat overheden/gemeenten met uitdagingen te maken hebben met betrekking tot IT en de
investeringen/implementatie hiervan, maar ze onderbouwen niet waarom dit een verband heeft met het
aandeel van IT-kosten ten opzichte van de totale kosten. Je zou immers ook kunnen redeneren: Een
gemeente die veel in IT investeert heeft met minder van deze uitdagingen te maken. Dit is negatief
voor de interne validiteit.
De onderbouwing van hypothese 2 vind ik sterk. De auteurs laten duidelijk op basis van
voorgaand onderzoek zien waarom leeftijd een invloed kan hebben op het onderzochte verband. Dit is
positief voor de interne validiteit.
De onderbouwing van hypothese 3 is gedeeltelijk onderbouwd op basis van voorgaande
onderzoeken, maar lijkt ook gebaseerd te zijn op logisch redeneren.
De onderbouwing van hypothese 4 is relatief kort. Hetgeen mij hierbij opvalt is dat training
door de auteurs als een brede geaccepteerde key factor genoemd wordt, maar vervolgens slechts één
voorgaand artikel aanhalen op specifiek dit gedeelte. De onderbouwing van hypothese 4 is wel
logisch.
Hetgeen mij opvalt in het theoretische kader is dat de auteurs voorbeelden aanhalen van
investeringen door de Nederlandse overheid die succesvol zijn geweest, maar investeringen die niet
succesvol zijn geweest niet benoemen, terwijl het in Nederland de publieke kennis is dat bij de
Nederlandse overheid met betrekking tot IT veel problemen zijn en dit daardoor niet efficiënt is. Door
falende ict-projecten verspilt de overheid jaarlijks miljarden euro's. Waarom wordt dit niet behandeld?
Dit is negatief voor de interne validiteit.
5.2. Causality versus correlation
Doordat dit verband in de private sector al is geconstateerd en een causaal verband logisch is,
lijkt mij een causaal verband aanwezig te zijn. Dit is positief voor de interne validiteit.
5.3. Reciprocal relationships
Er is geen wederkerige relatie mogelijk. Hoe efficiënt de kosten zijn veranderd niet het
gedeelte dat in IT is geïnvesteerd. Dit is positief voor de interne validiteit.
5.4. Confounding factors
Een belangrijke confounding factor ontbreekt naar mijn mening, namelijk de begroting en het
budget. Een gemeente met een groot budget investeert mogelijk minder of juist meer efficiënt (minder
is logischer) en investeert in verhouding mogelijk minder of juist meer in IT (afhankelijk van plannen
gemeente). Dit is negatief voor de interne validiteit. Daarnaast hebben de auteurs enkele andere
factoren onderkend in de limitaties (process innovation/process redesign orgisational changes).
5.5. Conclusion
Op basis van bovenstaande is de interne validiteit voldoende.
6. What is the quality of the operationalization of the conceptual model?
6.1. Operationalization of the conceptual model
Zie tabel 2 en 5 voor de operationalisatie van het conceptueel model. De onafhankelijke
variabelen, afhankelijke variabele en moderators zijn goed toegelicht en zijn soms conform voorgaand
onderzoek. Dit is positief voor de constructvaliditeit. De control variables zijn niet goed toegelicht,
waarom zij meegenomen worden, maar zijn wel logisch. Dit is negatief voor de constructvaliditeit.
Positief voor de construct validiteit is dat sommige variabelen op verschillende wijzen zijn
gemeten en de uitkomsten dezelfde resultaten laten zien.
Pagina 2 van 8
