Efectonderzoek in de
gedragswetenschappen
Een introductie
Daphne van Loon, Bieuwe van der Meulen, Alexander Minnaert
ISBN: 9 789044 133172
Inhoudsopgave
Hoofdstuk 2: Empirische methodologie.......................................................................................................... 4
2.1 Schets van de historie van de methodologie..................................................................................................4
2.2 Wat is methodologie?....................................................................................................................................4
2.2.1 Verklaren en begrijpen...........................................................................................................................5
2.2.2 Hermeneutek en fenomenologie...........................................................................................................5
2.3 De empirische methodologie volgens A.D. de Groot......................................................................................5
2.3.1 De empirische cyclus van het verwerven van (wetenschappelijke) kennis...........................................5
2.3.2 De regulateve cyclus..............................................................................................................................9
2.3.3 De karakteristeke bijdrage van De Groot aan de wetenschapsontwikkeling........................................9
2.4 Typen van onderzoek...................................................................................................................................10
2.5 Objectviteit en intersubjectviteit................................................................................................................11
2.5.1 Objectviteit..........................................................................................................................................11
2.5.2 Intersubjectviteit..................................................................................................................................11
2.6 Stellingen De Groot ‘Er is maar één methodologie’.....................................................................................11
Hoofdstuk 3: Defnities s n enkele reles nte begrippen...............................................................................11
3.1 Inleiding........................................................................................................................................................11
3.2 Gedragswetenschappen...............................................................................................................................12
3.3 Interventee(programma)..............................................................................................................................12
3.4 Efectviteit van interventes.........................................................................................................................12
3.5 Efectonderzoek............................................................................................................................................14
3.6 Efect size......................................................................................................................................................17
Hoofdstuk 4: Ide lmodel soor efectonderzoek..........................................................................................18
4.1 Inleiding........................................................................................................................................................18
4.2 Algemene richtlijnen bij het inventariseren van begrippen en doelen op basis van het theoretsch raam.18
4.2.1 Theoretsche onderbouwing.................................................................................................................18
4.2.2 Beschrijven van (het doel van) de intervente......................................................................................20
4.3 Algemene richtlijnen bij het operatonaliseren van variabelen in criteria...................................................21
4.4 Algemene richtlijnen bij het opstellen van meetnstrumenten....................................................................23
4.4.1 Betrouwbaarheid en validiteit..............................................................................................................23
4.4.2 Meetmethoden.....................................................................................................................................24
4.5 Algemene richtlijnen bij het kiezen van het onderzoeksdesign...................................................................26
4.5.1 Voor- en nametngen............................................................................................................................26
4.5.2 Experimentele groep en controlegroep...............................................................................................27
, 4.5.4 Onderzoeksplan....................................................................................................................................29
4.6 Algemene richtlijnen bij het verzamelen, analyseren en interpreteren van data........................................29
4.6.1 Dataverzameling...................................................................................................................................29
4.6.2 Data-analyse.........................................................................................................................................29
4.6.3 Interpretate van de data......................................................................................................................31
4.7 Algemene richtlijnen bij het rapporteren van het efectonderzoek.............................................................31
4.8 Samenvatng van hoofdstuk 4.....................................................................................................................32
Hoofdstuk 5: Methodologische problemen................................................................................................... 33
5.1 Inleiding........................................................................................................................................................33
5.2 Problemen bij het inventariseren van variabelen en doelen........................................................................33
5.2.1 Problemen bij de theoretsche onderbouwing....................................................................................33
5.2.2 Problemen bij het beschrijven van (het doel van) de intervente........................................................34
5.3 Problemen bij het operatonaliseren van variabelen in criteria...................................................................35
5.3.1 Complexiteit van de criteriummaten...................................................................................................35
5.3.2 Objectviteit versus subjectviteit.........................................................................................................36
5.4 Instrumentateproblemen............................................................................................................................36
5.4.1 Beschikbaarheid van meetnstrumenten.............................................................................................36
5.4.2 Meetmethoden afwegen......................................................................................................................38
5.5 Problemen bij het kiezen van het onderzoeksdesign...................................................................................39
5.5.1 Methodologisch-praktsch probleem: bedreigingen van de validiteit.................................................39
5.5.2 Ethische problemen bij een experimenteel onderzoek.......................................................................41
5.5.3 Problemen met een longitudinaal design............................................................................................42
5.6 Problemen bij het verzamelen, analyseren en interpreteren van de data...................................................42
5.6.1 Problemen bij de dataverzameling.......................................................................................................42
5.6.2 Problemen bij de data-analyse.............................................................................................................43
5.6.3 Problemen bij de interpretate van de data.........................................................................................45
5.7 Problemen bij het rapporteren van het efectonderzoek.............................................................................45
Hoofdstuk 6: Methodologische mogelijkheden............................................................................................. 47
6.1 Inleiding........................................................................................................................................................47
6.2 Hulpmiddelen bij het inventariseren van variabelen en doelen...................................................................47
6.2.1 Logic model...........................................................................................................................................47
6.2.2 Doelenhiërarchie..................................................................................................................................48
6.2.3 Paradigma voor het onderscheiden van efecten................................................................................48
6.2.4 Programma-template...........................................................................................................................48
6.3 Mogelijkheden bij het operatonaliseren van doelen: het meten van verandering.....................................49
6.3.1 Indices of Change in relate tot ontwikkeling van kinderen.................................................................49
6.3.2 Indices of Change toepasbaar bij jongeren en volwassenen...............................................................49
6.3.3 Andere mogelijkheden voor het vaststellen van verandering.............................................................50
6.4 Mogelijkheden bij het opstellen van meetnstrumenten.............................................................................50
6.4.1 Interpretate van gestandaardiseerde meetnstrumenten..................................................................50
6.4.2 Testconstructes ad hoc........................................................................................................................51
6.4.3 Alternateve paradigma’s.....................................................................................................................51
6.4.4 Multpele maten en informanten.........................................................................................................51
6.5 Mogelijkheden bij het kiezen van het onderzoeksdesign.............................................................................52
6.5.1 Omgaan met ethische problematek....................................................................................................52
6.5.2 Quasi-experimentele designs...............................................................................................................53
6.5.3 Pre-experimentele designs...................................................................................................................55
6.5.4 Suggestes bij een longitudinaal design................................................................................................57
,6.6 Oplossingen bij de verzameling, analyse en interpretate van de data.......................................................57
6.6.1 Omgaan met de kwetsbaarheid van de doelgroep..............................................................................57
6.6.2 Combinate van kwanttateve en kwalitateve methoden..................................................................58
6.6.3 Mogelijkheden bij de data-analyse.......................................................................................................59
6.6.4 Suggestes bij de interpretate van de data..........................................................................................61
6.7 Mogelijkheden bij het rapporteren van het efectonderzoek......................................................................62
6.8 Checklists voor de opzet van een methodologisch robuuste efectstudie...................................................62
, Hoofdstuk 2: Empirische methodologie
2.1 Schets van de historie van de methodologie
De Groot stelt vast dat er geen scherpe grens te trekken is tussen wetenschappelijk en
onwetenschappelijk denken, maar dat er wel regels bestaan die onderzoekers in acht dienen
te nemen (de do’s and don’ts) om adeqauter te redeneren.
2.2 Wat is methodologie?
Methodologie = methodeleer = methodiek
Methodologie betekent de leer van de weg waarlangs men tot kennis komt.
Methodologie is de studie van de wetenschappelijke methoden en technieken, die in de
wetenschap worden voorgeschreven en die moeten worden gebruikt om kennis te
verwerven en om de wetenschap vooruit te helpen.
De Groot: ‘De methodenleer van de empirische wetenschappen is een product van een lange
ontwikkeling. De methodologie omvat niet alleen do’s en donot’s, zij is niet alleen normatef,
maar ook descriptef en vergelijkend.’ Gaat over de normen, die betrekking hebben op de
methoden en technieken van onderzoek, en de daaruit voortvloeiende richtlijnen voor het
wetenschappelijk denken en handelen.
Ter verduidelijking vergelijkt De Groot het wetenschappelijk bedrijf met een (schaak)spel. De
normen van logica en methodologie zijn dan de vastgelegde spelregels, die aangeven wat
mag en wat niet mag. De daarop aansluitende methoden en technieken vormen de
aanbevolen spelmethoden. Hierin kan men bijvoorbeeld vinden op welke manier men het
(schaak)spel kan beginnen en hoe men in bepaalde typen situates het beste te werk kan
gaan.
Bij dit geheel spelen ten slote impliciete normen en gewoonten een rol, die men met de
ongeschreven, impliciete spelregels en speelmethoden kan vergelijken. Men mag
bijvoorbeeld niet vals spelen, geen uitkomsten vervalsen en geen omstandigheden
verzwijgen. Impliciete normen in de wetenschap zijn normen en bijbehorende methoden,
die binnen de groep van serieuze wetenschapsbeoefenaars als min of meer vanzelfsprekend
worden aanvaard. Het gaat hierbij om een wetenschappelijke houding en bekwaamheid, een
besef van het belang van objectviteit en van open spel en een vaardigheid in het
onderzoeken en redeneren.
Kenmerkend voor de wetenschapsbeoefening is het systematsch streven naar waarheid en
zekerheid.
Doel van de wetenschap is het verwerven van kennis. Kennis moet ware kennis zijn.
Het uiteindelijke doel is om algemene samenhangen in omvatende, inzichtelijke en logisch
samenhangende systemen onder te brengen en te ordenen (theorieën).
gedragswetenschappen
Een introductie
Daphne van Loon, Bieuwe van der Meulen, Alexander Minnaert
ISBN: 9 789044 133172
Inhoudsopgave
Hoofdstuk 2: Empirische methodologie.......................................................................................................... 4
2.1 Schets van de historie van de methodologie..................................................................................................4
2.2 Wat is methodologie?....................................................................................................................................4
2.2.1 Verklaren en begrijpen...........................................................................................................................5
2.2.2 Hermeneutek en fenomenologie...........................................................................................................5
2.3 De empirische methodologie volgens A.D. de Groot......................................................................................5
2.3.1 De empirische cyclus van het verwerven van (wetenschappelijke) kennis...........................................5
2.3.2 De regulateve cyclus..............................................................................................................................9
2.3.3 De karakteristeke bijdrage van De Groot aan de wetenschapsontwikkeling........................................9
2.4 Typen van onderzoek...................................................................................................................................10
2.5 Objectviteit en intersubjectviteit................................................................................................................11
2.5.1 Objectviteit..........................................................................................................................................11
2.5.2 Intersubjectviteit..................................................................................................................................11
2.6 Stellingen De Groot ‘Er is maar één methodologie’.....................................................................................11
Hoofdstuk 3: Defnities s n enkele reles nte begrippen...............................................................................11
3.1 Inleiding........................................................................................................................................................11
3.2 Gedragswetenschappen...............................................................................................................................12
3.3 Interventee(programma)..............................................................................................................................12
3.4 Efectviteit van interventes.........................................................................................................................12
3.5 Efectonderzoek............................................................................................................................................14
3.6 Efect size......................................................................................................................................................17
Hoofdstuk 4: Ide lmodel soor efectonderzoek..........................................................................................18
4.1 Inleiding........................................................................................................................................................18
4.2 Algemene richtlijnen bij het inventariseren van begrippen en doelen op basis van het theoretsch raam.18
4.2.1 Theoretsche onderbouwing.................................................................................................................18
4.2.2 Beschrijven van (het doel van) de intervente......................................................................................20
4.3 Algemene richtlijnen bij het operatonaliseren van variabelen in criteria...................................................21
4.4 Algemene richtlijnen bij het opstellen van meetnstrumenten....................................................................23
4.4.1 Betrouwbaarheid en validiteit..............................................................................................................23
4.4.2 Meetmethoden.....................................................................................................................................24
4.5 Algemene richtlijnen bij het kiezen van het onderzoeksdesign...................................................................26
4.5.1 Voor- en nametngen............................................................................................................................26
4.5.2 Experimentele groep en controlegroep...............................................................................................27
, 4.5.4 Onderzoeksplan....................................................................................................................................29
4.6 Algemene richtlijnen bij het verzamelen, analyseren en interpreteren van data........................................29
4.6.1 Dataverzameling...................................................................................................................................29
4.6.2 Data-analyse.........................................................................................................................................29
4.6.3 Interpretate van de data......................................................................................................................31
4.7 Algemene richtlijnen bij het rapporteren van het efectonderzoek.............................................................31
4.8 Samenvatng van hoofdstuk 4.....................................................................................................................32
Hoofdstuk 5: Methodologische problemen................................................................................................... 33
5.1 Inleiding........................................................................................................................................................33
5.2 Problemen bij het inventariseren van variabelen en doelen........................................................................33
5.2.1 Problemen bij de theoretsche onderbouwing....................................................................................33
5.2.2 Problemen bij het beschrijven van (het doel van) de intervente........................................................34
5.3 Problemen bij het operatonaliseren van variabelen in criteria...................................................................35
5.3.1 Complexiteit van de criteriummaten...................................................................................................35
5.3.2 Objectviteit versus subjectviteit.........................................................................................................36
5.4 Instrumentateproblemen............................................................................................................................36
5.4.1 Beschikbaarheid van meetnstrumenten.............................................................................................36
5.4.2 Meetmethoden afwegen......................................................................................................................38
5.5 Problemen bij het kiezen van het onderzoeksdesign...................................................................................39
5.5.1 Methodologisch-praktsch probleem: bedreigingen van de validiteit.................................................39
5.5.2 Ethische problemen bij een experimenteel onderzoek.......................................................................41
5.5.3 Problemen met een longitudinaal design............................................................................................42
5.6 Problemen bij het verzamelen, analyseren en interpreteren van de data...................................................42
5.6.1 Problemen bij de dataverzameling.......................................................................................................42
5.6.2 Problemen bij de data-analyse.............................................................................................................43
5.6.3 Problemen bij de interpretate van de data.........................................................................................45
5.7 Problemen bij het rapporteren van het efectonderzoek.............................................................................45
Hoofdstuk 6: Methodologische mogelijkheden............................................................................................. 47
6.1 Inleiding........................................................................................................................................................47
6.2 Hulpmiddelen bij het inventariseren van variabelen en doelen...................................................................47
6.2.1 Logic model...........................................................................................................................................47
6.2.2 Doelenhiërarchie..................................................................................................................................48
6.2.3 Paradigma voor het onderscheiden van efecten................................................................................48
6.2.4 Programma-template...........................................................................................................................48
6.3 Mogelijkheden bij het operatonaliseren van doelen: het meten van verandering.....................................49
6.3.1 Indices of Change in relate tot ontwikkeling van kinderen.................................................................49
6.3.2 Indices of Change toepasbaar bij jongeren en volwassenen...............................................................49
6.3.3 Andere mogelijkheden voor het vaststellen van verandering.............................................................50
6.4 Mogelijkheden bij het opstellen van meetnstrumenten.............................................................................50
6.4.1 Interpretate van gestandaardiseerde meetnstrumenten..................................................................50
6.4.2 Testconstructes ad hoc........................................................................................................................51
6.4.3 Alternateve paradigma’s.....................................................................................................................51
6.4.4 Multpele maten en informanten.........................................................................................................51
6.5 Mogelijkheden bij het kiezen van het onderzoeksdesign.............................................................................52
6.5.1 Omgaan met ethische problematek....................................................................................................52
6.5.2 Quasi-experimentele designs...............................................................................................................53
6.5.3 Pre-experimentele designs...................................................................................................................55
6.5.4 Suggestes bij een longitudinaal design................................................................................................57
,6.6 Oplossingen bij de verzameling, analyse en interpretate van de data.......................................................57
6.6.1 Omgaan met de kwetsbaarheid van de doelgroep..............................................................................57
6.6.2 Combinate van kwanttateve en kwalitateve methoden..................................................................58
6.6.3 Mogelijkheden bij de data-analyse.......................................................................................................59
6.6.4 Suggestes bij de interpretate van de data..........................................................................................61
6.7 Mogelijkheden bij het rapporteren van het efectonderzoek......................................................................62
6.8 Checklists voor de opzet van een methodologisch robuuste efectstudie...................................................62
, Hoofdstuk 2: Empirische methodologie
2.1 Schets van de historie van de methodologie
De Groot stelt vast dat er geen scherpe grens te trekken is tussen wetenschappelijk en
onwetenschappelijk denken, maar dat er wel regels bestaan die onderzoekers in acht dienen
te nemen (de do’s and don’ts) om adeqauter te redeneren.
2.2 Wat is methodologie?
Methodologie = methodeleer = methodiek
Methodologie betekent de leer van de weg waarlangs men tot kennis komt.
Methodologie is de studie van de wetenschappelijke methoden en technieken, die in de
wetenschap worden voorgeschreven en die moeten worden gebruikt om kennis te
verwerven en om de wetenschap vooruit te helpen.
De Groot: ‘De methodenleer van de empirische wetenschappen is een product van een lange
ontwikkeling. De methodologie omvat niet alleen do’s en donot’s, zij is niet alleen normatef,
maar ook descriptef en vergelijkend.’ Gaat over de normen, die betrekking hebben op de
methoden en technieken van onderzoek, en de daaruit voortvloeiende richtlijnen voor het
wetenschappelijk denken en handelen.
Ter verduidelijking vergelijkt De Groot het wetenschappelijk bedrijf met een (schaak)spel. De
normen van logica en methodologie zijn dan de vastgelegde spelregels, die aangeven wat
mag en wat niet mag. De daarop aansluitende methoden en technieken vormen de
aanbevolen spelmethoden. Hierin kan men bijvoorbeeld vinden op welke manier men het
(schaak)spel kan beginnen en hoe men in bepaalde typen situates het beste te werk kan
gaan.
Bij dit geheel spelen ten slote impliciete normen en gewoonten een rol, die men met de
ongeschreven, impliciete spelregels en speelmethoden kan vergelijken. Men mag
bijvoorbeeld niet vals spelen, geen uitkomsten vervalsen en geen omstandigheden
verzwijgen. Impliciete normen in de wetenschap zijn normen en bijbehorende methoden,
die binnen de groep van serieuze wetenschapsbeoefenaars als min of meer vanzelfsprekend
worden aanvaard. Het gaat hierbij om een wetenschappelijke houding en bekwaamheid, een
besef van het belang van objectviteit en van open spel en een vaardigheid in het
onderzoeken en redeneren.
Kenmerkend voor de wetenschapsbeoefening is het systematsch streven naar waarheid en
zekerheid.
Doel van de wetenschap is het verwerven van kennis. Kennis moet ware kennis zijn.
Het uiteindelijke doel is om algemene samenhangen in omvatende, inzichtelijke en logisch
samenhangende systemen onder te brengen en te ordenen (theorieën).
