College 5 Methodologie en effectonderzoek
Hoofdstuk 2 Empirische methodologie
2.2 Wat is methodologie?
Methodologie = de studie van de wetenschappelijke methoden en technieken, die in de wetenschap
worden voorgeschreven en die moeten worden gebruikt om kennis te verwerven en om de
wetenschap vooruit te helpen. Leer (logos) van de weg (hodos) waarlangs men verder gaat (meta) en
tot kennis komt -> metahodoslogos
De Groot vergelijkt wetenschapsbeoefening met een (schaak)spel:
- Normen van logica en methodologie -> vastgelegde spelregels (wat mag wel/niet)
- Methoden en technieken -> aanbevolen speelmethoden
- Impliciete normen en gewoonten (vanzelfsprekendheden(geen uitkomsten vervalsen, omstandig
heden verzwijgen)) -> ongeschreven impliciete spelregels en speelmethoden (niet valsspelen)
Wetenschapsbeoefening
- Hoe ziet de wereld eruit? = zoeken naar modellen van de werkelijkheid:
- Op papier (grafieken, formules, schema’s)
- Concreet model, simulatie
- Gericht en gecontroleerd experiment
- Doel wetenschapsbeoefening: streven naar waarheid en naar zekerheid met empirische criteria =
methodologie
- Doel wetenschap: verwerven van kennis (geen persoonlijke kennis, maar openbare, expliciete en
overdraagbare kennis van de werkelijkheid)
- Stopt niet bij feitelijk beschrijven, ordenen, registreren en/of meten, maar begrijpen, verklaren
en voorspellen
- Uiteindelijke doel: theorieën = algemene samenhangen in omvattende, inzichtelijke en logisch
samenhangende systemen onder brengen en ordenen. De systemen bestrijken hele gebieden
van verschijnselen.
Verklaren = het opstellen van wettelijkheden/correlaties (samenhang), waarbij de verschijnselen
worden toegeschreven aan de werking van een regelmaat van een (min of meer algemene)
wettelijkheid.
Begrijpen = het duiden van de verschijnselen, het interpreteren van het unieke in de context.
2.3.1 Empirische cyclus -> theoriegericht onderzoek
1) Observatie verzamelen en groeperen empirisch feitenmateriaal; vorming hypothese(n)
2) Inductie onderzoeksvragen/hypothese(n) formuleren
3) Deductie toetsbare voorspellingen afleiden uit hypothesen
4) Toetsing toetsing van onderzoeksvragen/hypothese(n)
5) Evaluatie evaluatie van resultaten als feedback (terugkoppeling) voor hypothese(n) en
theorie(ën) en als feedforward (voorwaartskoppeling) voor vervolgonderzoek
Mogelijkheden van observatie naar hypothesevorming:
- Eigen intuïtie
- Systematiek van descriptie = beschrijven (registreren, ordenen, groeperen en classificeren)
- Systematiek van bezinning (laten spreken van de ervaringen zelf)
- Literatuurstudie: uitkomsten andere onderzoeken, kennis nemen van begrippen, theorieën, enz.
- Empirische exploratie: exploratief/oriënterend onderzoek om op ideeën te komen
- Materiaalexploratie: materiaal op verschillende manier bekijken
1
,Principes/eisen van theorieën en hypothesen:
- Logische consistentie: logische interne samenhang (geen contradicties = tegenstijdigheid)
- Economisch principe: zo eenvoudig mogelijk qua vormgeving, zo min mogelijk aannamen
- Toetsbaarheid: moet op een aantal punten getoetst kunnen worden
- Omlijnde empirische referenties: nauwkeurige beschrijving op welk gebied het betrekking heeft
(waar is het toepasselijk voor?
Nomologisch netwerk = theorie ter verklaring van de waarneembare verschijnselen.
Drie typen uitdrukkingen; relaties tussen:
- Theoretische begrippen onderling: definities van begrippen, constructen uitwerken
- Waarneembare variabelen: specifieke verwachtingen van resultaten
- Relatie theoretische begrippen en waarneembare variabelen: relatie tussen theorie en empirie
(= ondervinding/ervaring door waarneming)
Drie mogelijke onderzoeksuitkomsten bij strikte verifieerbaarheid (= de mate waarin de uitkomst van
onderzoek controleerbaar is:
- Is uitgekomen (in lijn met hypothese)
- Is niet uitgekomen (tegen hypothese in)
- Kan niet worden geverifieerd (niet vast te stellen, omdat niet voldaan is aan de
verifieerbaarheidscondities / voorspelling niet falsifieerbaar (niet weerlegbaar)
Onderzoeksplan = zo volledig mogelijke uitwerking van de onderzoeksopzet om storende factoren
van tevoren uit te kunnen schakelen. Moet bevatten:
- Korte expositie van de theorie, formulering onderzoeksvragen en formulering hypothesen
- Weergave van deductie die tot hypothese(n) leiden
- Beschrijving van (meet)instrumenten inclusief geoperationaliseerde definities
- Bepaling van de doelgroep
- Beschrijving van wijze van steekproef trekken
- Wijze waarop de uitkomsten verwerkt zullen worden om na te gaan of en in hoeverre de
hypothese bevestigd kan worden (=confirmatiecriteria), inclusief nulhypothesen, keuze voor
statistische toets, significantieniveau en betrouwbaarheidsinterval.
2.3.2 Regulatieve cyclus -> praktijkgericht onderzoek
Beslissingen nemen in de verschillende fasen van het hulpverleningsproces: systematisch en
planmatig handelen
1) Probleemstelling
Wat is het probleem? Welke doelen moeten worden gehaald? Welke middelen worden hiervoor
ingezet?
2) Diagnose
Analyse van huidige situatie (oorzaak probleem). Gebruik maken van theoretische kennis en
praktische mogelijkheden.
3) Plan (of ontwerp)
Ontwikkelen van mogelijke oplossingen en juiste oplossing kiezen. Korte- en langetermijndoelen,
inzet van middelen en methodieken beschrijven. En formuleren van criteria om te bepalen of het
plan effectief is of niet.
4) Ingreep
Plan/oplossing uitvoeren en goed in de gaten houden (correct uitgevoerd?)
5) Evaluatie
Nagaan of het probleem is opgelost/verminderd. Effectiviteit en efficiëntie (tijd/geld) van het
gehele plan evalueren.
2
, 2.4 Typen onderzoek
- Toetsingsonderzoek
Één of enkele hypothesen uit een theorie worden getoetst.
Hebben mensen met hogere intelligentie meer zelfvertrouwen?
- Instrumenteel-nomologisch onderzoek
Specifiek gericht op het ontwikkelen en valideren (= geschiktheid/juistheid) van een
meetinstrument.
Is de Quality of life-schaal een valide/bruikbaar meetinstrument?
- Descriptief onderzoek
Gericht op een beschrijving en een systematische ordening van verschijnselen/wat er is, zonder
te generaliseren. Beschrijvend onderzoek (biologie, beschrijvend statistisch onderzoek (CBS),
etnografisch onderzoek.
Hoe verplaatsen kinderen uit minderhedengezinnen zich door het onderwijssysteem?
- Exploratief onderzoek
De werkelijkheid verkennen en wetmatigheden ontdekken (vaak vooronderzoek). Zit tussen
descriptief- en toetsingsonderzoek in. Er zijn wel verwachtingen en een vage theorie, maar nog
niet genoeg voor een hypothese.
Welke persoonlijke kenmerken en omstandigheden dragen bij aan verspreiding van verkoudheid?
- Interpretatief-theoretisch onderzoek
Interpretatie en theoretische evaluatie/analyse van bestaand materiaal a.d.h.v.. een visie,,
theorie of een hypothese. Er wordt geen nieuw materiaal verzameld.
Hoe verklaren we de bevinding dat een lage sociaal economische status gepaard gaat met een
lager behaald onderwijsgraad?
Objectiviteit = handelen in overeenstemming met het gestelde onderzoeksdoel
Subjectiviteit = handelen gestuurd door persoonlijke opinies, waarnemingswijzen, opvattingen,
belangen.
Intersubjectiviteit = een maatstaaf die aangeeft in welke mate er overeenstemming is in de
uitspraken van twee of meer beoordelaars over een onderwerp
Hoofdstuk 3 Definities van relevante begrippen
3.3 Interventie(programma) =
een geheel van hulpverlenings-, begeleidings- en/of onderwijsactiviteiten:
- Met goed omschreven doelen, gericht op het oplossen, verminderen of voorkomen van risico’s
of problemen bij kinderen en/of volwassenen
- Aansluiten bij theorieën en hypothesen
- Goed gedefinieerd zijn wat betreft inhoud en doelgroep
- Gespreid in de tijd om het doel te bereiken
- Heeft vooraf geplande evaluatiemomenten en evaluatiecriteria
3.4 Effectiviteit van interventies =
de mate waarin de hulp, zorg, ondersteuning of onderwijsinspanning (=
interventie) erin slaagt de doelgroep positief te beïnvloeden, in lijn met de
doelstellingen, en wel zodanig dat alternatieve verklaringen uitgesloten zijn.
- Multidimensionale definitie van effectiviteit voor verschillende niveaus van effectiviteit
- Afhankelijkheid = mate van relatie tussen onafhankelijke variabele (interventie) en
afhankelijke variabele (uitkomst).
- Specificiteit = mate waarin specifiek de interventie een relatie heeft met de afhankelijke
variabele (uitkomst).
- Alternatieve verklaringen = mate waarin andere factoren dan de interventie (= hidden third
factors) van invloed zijn op de onafhankelijke variabele. Probeer je uit te schakelen.
3
Hoofdstuk 2 Empirische methodologie
2.2 Wat is methodologie?
Methodologie = de studie van de wetenschappelijke methoden en technieken, die in de wetenschap
worden voorgeschreven en die moeten worden gebruikt om kennis te verwerven en om de
wetenschap vooruit te helpen. Leer (logos) van de weg (hodos) waarlangs men verder gaat (meta) en
tot kennis komt -> metahodoslogos
De Groot vergelijkt wetenschapsbeoefening met een (schaak)spel:
- Normen van logica en methodologie -> vastgelegde spelregels (wat mag wel/niet)
- Methoden en technieken -> aanbevolen speelmethoden
- Impliciete normen en gewoonten (vanzelfsprekendheden(geen uitkomsten vervalsen, omstandig
heden verzwijgen)) -> ongeschreven impliciete spelregels en speelmethoden (niet valsspelen)
Wetenschapsbeoefening
- Hoe ziet de wereld eruit? = zoeken naar modellen van de werkelijkheid:
- Op papier (grafieken, formules, schema’s)
- Concreet model, simulatie
- Gericht en gecontroleerd experiment
- Doel wetenschapsbeoefening: streven naar waarheid en naar zekerheid met empirische criteria =
methodologie
- Doel wetenschap: verwerven van kennis (geen persoonlijke kennis, maar openbare, expliciete en
overdraagbare kennis van de werkelijkheid)
- Stopt niet bij feitelijk beschrijven, ordenen, registreren en/of meten, maar begrijpen, verklaren
en voorspellen
- Uiteindelijke doel: theorieën = algemene samenhangen in omvattende, inzichtelijke en logisch
samenhangende systemen onder brengen en ordenen. De systemen bestrijken hele gebieden
van verschijnselen.
Verklaren = het opstellen van wettelijkheden/correlaties (samenhang), waarbij de verschijnselen
worden toegeschreven aan de werking van een regelmaat van een (min of meer algemene)
wettelijkheid.
Begrijpen = het duiden van de verschijnselen, het interpreteren van het unieke in de context.
2.3.1 Empirische cyclus -> theoriegericht onderzoek
1) Observatie verzamelen en groeperen empirisch feitenmateriaal; vorming hypothese(n)
2) Inductie onderzoeksvragen/hypothese(n) formuleren
3) Deductie toetsbare voorspellingen afleiden uit hypothesen
4) Toetsing toetsing van onderzoeksvragen/hypothese(n)
5) Evaluatie evaluatie van resultaten als feedback (terugkoppeling) voor hypothese(n) en
theorie(ën) en als feedforward (voorwaartskoppeling) voor vervolgonderzoek
Mogelijkheden van observatie naar hypothesevorming:
- Eigen intuïtie
- Systematiek van descriptie = beschrijven (registreren, ordenen, groeperen en classificeren)
- Systematiek van bezinning (laten spreken van de ervaringen zelf)
- Literatuurstudie: uitkomsten andere onderzoeken, kennis nemen van begrippen, theorieën, enz.
- Empirische exploratie: exploratief/oriënterend onderzoek om op ideeën te komen
- Materiaalexploratie: materiaal op verschillende manier bekijken
1
,Principes/eisen van theorieën en hypothesen:
- Logische consistentie: logische interne samenhang (geen contradicties = tegenstijdigheid)
- Economisch principe: zo eenvoudig mogelijk qua vormgeving, zo min mogelijk aannamen
- Toetsbaarheid: moet op een aantal punten getoetst kunnen worden
- Omlijnde empirische referenties: nauwkeurige beschrijving op welk gebied het betrekking heeft
(waar is het toepasselijk voor?
Nomologisch netwerk = theorie ter verklaring van de waarneembare verschijnselen.
Drie typen uitdrukkingen; relaties tussen:
- Theoretische begrippen onderling: definities van begrippen, constructen uitwerken
- Waarneembare variabelen: specifieke verwachtingen van resultaten
- Relatie theoretische begrippen en waarneembare variabelen: relatie tussen theorie en empirie
(= ondervinding/ervaring door waarneming)
Drie mogelijke onderzoeksuitkomsten bij strikte verifieerbaarheid (= de mate waarin de uitkomst van
onderzoek controleerbaar is:
- Is uitgekomen (in lijn met hypothese)
- Is niet uitgekomen (tegen hypothese in)
- Kan niet worden geverifieerd (niet vast te stellen, omdat niet voldaan is aan de
verifieerbaarheidscondities / voorspelling niet falsifieerbaar (niet weerlegbaar)
Onderzoeksplan = zo volledig mogelijke uitwerking van de onderzoeksopzet om storende factoren
van tevoren uit te kunnen schakelen. Moet bevatten:
- Korte expositie van de theorie, formulering onderzoeksvragen en formulering hypothesen
- Weergave van deductie die tot hypothese(n) leiden
- Beschrijving van (meet)instrumenten inclusief geoperationaliseerde definities
- Bepaling van de doelgroep
- Beschrijving van wijze van steekproef trekken
- Wijze waarop de uitkomsten verwerkt zullen worden om na te gaan of en in hoeverre de
hypothese bevestigd kan worden (=confirmatiecriteria), inclusief nulhypothesen, keuze voor
statistische toets, significantieniveau en betrouwbaarheidsinterval.
2.3.2 Regulatieve cyclus -> praktijkgericht onderzoek
Beslissingen nemen in de verschillende fasen van het hulpverleningsproces: systematisch en
planmatig handelen
1) Probleemstelling
Wat is het probleem? Welke doelen moeten worden gehaald? Welke middelen worden hiervoor
ingezet?
2) Diagnose
Analyse van huidige situatie (oorzaak probleem). Gebruik maken van theoretische kennis en
praktische mogelijkheden.
3) Plan (of ontwerp)
Ontwikkelen van mogelijke oplossingen en juiste oplossing kiezen. Korte- en langetermijndoelen,
inzet van middelen en methodieken beschrijven. En formuleren van criteria om te bepalen of het
plan effectief is of niet.
4) Ingreep
Plan/oplossing uitvoeren en goed in de gaten houden (correct uitgevoerd?)
5) Evaluatie
Nagaan of het probleem is opgelost/verminderd. Effectiviteit en efficiëntie (tijd/geld) van het
gehele plan evalueren.
2
, 2.4 Typen onderzoek
- Toetsingsonderzoek
Één of enkele hypothesen uit een theorie worden getoetst.
Hebben mensen met hogere intelligentie meer zelfvertrouwen?
- Instrumenteel-nomologisch onderzoek
Specifiek gericht op het ontwikkelen en valideren (= geschiktheid/juistheid) van een
meetinstrument.
Is de Quality of life-schaal een valide/bruikbaar meetinstrument?
- Descriptief onderzoek
Gericht op een beschrijving en een systematische ordening van verschijnselen/wat er is, zonder
te generaliseren. Beschrijvend onderzoek (biologie, beschrijvend statistisch onderzoek (CBS),
etnografisch onderzoek.
Hoe verplaatsen kinderen uit minderhedengezinnen zich door het onderwijssysteem?
- Exploratief onderzoek
De werkelijkheid verkennen en wetmatigheden ontdekken (vaak vooronderzoek). Zit tussen
descriptief- en toetsingsonderzoek in. Er zijn wel verwachtingen en een vage theorie, maar nog
niet genoeg voor een hypothese.
Welke persoonlijke kenmerken en omstandigheden dragen bij aan verspreiding van verkoudheid?
- Interpretatief-theoretisch onderzoek
Interpretatie en theoretische evaluatie/analyse van bestaand materiaal a.d.h.v.. een visie,,
theorie of een hypothese. Er wordt geen nieuw materiaal verzameld.
Hoe verklaren we de bevinding dat een lage sociaal economische status gepaard gaat met een
lager behaald onderwijsgraad?
Objectiviteit = handelen in overeenstemming met het gestelde onderzoeksdoel
Subjectiviteit = handelen gestuurd door persoonlijke opinies, waarnemingswijzen, opvattingen,
belangen.
Intersubjectiviteit = een maatstaaf die aangeeft in welke mate er overeenstemming is in de
uitspraken van twee of meer beoordelaars over een onderwerp
Hoofdstuk 3 Definities van relevante begrippen
3.3 Interventie(programma) =
een geheel van hulpverlenings-, begeleidings- en/of onderwijsactiviteiten:
- Met goed omschreven doelen, gericht op het oplossen, verminderen of voorkomen van risico’s
of problemen bij kinderen en/of volwassenen
- Aansluiten bij theorieën en hypothesen
- Goed gedefinieerd zijn wat betreft inhoud en doelgroep
- Gespreid in de tijd om het doel te bereiken
- Heeft vooraf geplande evaluatiemomenten en evaluatiecriteria
3.4 Effectiviteit van interventies =
de mate waarin de hulp, zorg, ondersteuning of onderwijsinspanning (=
interventie) erin slaagt de doelgroep positief te beïnvloeden, in lijn met de
doelstellingen, en wel zodanig dat alternatieve verklaringen uitgesloten zijn.
- Multidimensionale definitie van effectiviteit voor verschillende niveaus van effectiviteit
- Afhankelijkheid = mate van relatie tussen onafhankelijke variabele (interventie) en
afhankelijke variabele (uitkomst).
- Specificiteit = mate waarin specifiek de interventie een relatie heeft met de afhankelijke
variabele (uitkomst).
- Alternatieve verklaringen = mate waarin andere factoren dan de interventie (= hidden third
factors) van invloed zijn op de onafhankelijke variabele. Probeer je uit te schakelen.
3
