Onderzoeksontwerpen
Chanel Booltink
Introductie en Evalueren van Onderzoek
10 sep. 18
Fasen en rapportage van onderzoek (1)
Het evalueren van onderzoek
Beoordeling van de kwaliteit van de opzet en uitvoering van de afzonderlijke
onderzoeksfasen, bijvoorbeeld: heldere doel/probleemstelling, analyses correct uitgevoerd?
En de samenhang tussen de fasen. Bijvoorbeeld: Past de onderzoeksstrategie bij de
probleemstelling?
Het evalueren van onderzoek (2)
Om de kwaliteit van onderzoek te beoordelen zijn er methodologische spelregels en
kwaliteitscriteria
, Verschillende onderzoeksdesigns, doelen en methoden van onderzoek, dus ook verschillende
kwaliteitscriteria?
- Nee: we kunnen aan al het onderzoek dezelfde basiseisen stellen
- Swarnborn: achter de verschillen tussen de onderzoeksdesigns gaat een
gemeenschappelijke basis van regulatieve ideeën schuil
Regulatief idee = algemeen leidend principe waaraan wetenschappelijke onderzoek moet
voldoen
Regulatieve ideeën en kwaliteitseisen (Swarnborn 1996)
Intersubjectieve overeenstemming
Iedere onderzoeker is op zoek naar ‘de waarheid’, maar:
‒ Het concept ‘de objectieve en absolute werkelijkheid’ gebruiken we dus niet, maar
we spreken van voorlopige kennis.
‒ Observaties zijn gekleurd door verschillende theoretische invalshoeken, paradigma’s,
persoonlijke voorkeuren. Het meest betrouwbare resultaat is: het resultaat waar we
het allemaal mee eens zijn
Intersubjectieve overeenstemming: In hoeverre zijn onderzoekers die hetzelfde stukje van
de sociale werkelijkheid bestuderen, het onderling eens?
‒ Een oordeel o.b.v. controleerbaarheid, betrouwbaarheid en geldigheid.
‒ Altijd een eis: kwantitatief & kwalitatief
Controleerbaarheid
Opzet en resultaten moeten repliceerbaar zijn (andere onderzoekers tot dezelfde
conclusie?):
‒ Openbaar
‒ Expliciet (begrijpelijk en goed geformuleerd)
‒ Hierdoor kan het onderzoek overnieuw worden gedaan, om te kijken of de
resultaten kloppen
Resultaten moeten toetsbaar zijn:
‒ Uitspraken zijn zowel verifieerbaar als falsifieerbaar.
‒ Uitspraken moeten eenduidig en expliciet zijn (anders niet falcificeerbaar),
bijvoorbeeld door middel van plaats- en tijdsaanduiding.
Terug naar MvO: betrouwbaarheid en validiteit
Is de uitspraak juist? (geen fouten)
1. Toevalstreffer? = betrouwbaarheid =
reliability
, 2. Dekt de werkelijkheid? =
validiteit/geldigheid = validity
De betrouwbaarheid van een meetinstrument is:
‒ De mate waarin ze tendeert dezelfde uitkomsten te geven, onafhankelijk van
toevalligheden;
‒ Met andere woorden: de mate waarin resultaten vrij zijn van niet-systematische
(toevallige) fouten;
‒ De mate waarin herhaalde meting hetzelfde resultaat oplevert.
De validiteit van een meetinstrument is:
‒ De mate waarin ze de ware, bedoelde realiteit aan het licht brengt en je dus meet
wat je wil meten;
‒ Met andere woorden: de mate waarin resultaten vrij zijn van systematische fouten.
Betrouwbaarheid
Herhaalde metingen: hetzelfde resultaat?
Herhaalde metingen: hetzelfde resultaat?
Onderzoekers-onafhankelijkheid: bijv. inter-onderzoeker/ beoordelaar/
codeursbetrouwbaarheid
Tijds-onafhankelijkheid: bijv. test-retest betrouwbaarheid
Instrument-onafhankelijkheid: bijv. parallelle instrumenten
Bij surveys: meerdere items met hoge interne consistentie = betrouwbaar.
Soorten validiteit – intern
Interne validiteit: validiteit binnen het onderzoek.
Oftewel: de mate waarin de conclusies binnen het onderzoek op een geldige wijze tot stand zijn
gekomen. Leidt X wel tot Y… of zijn er andere dingen gaande?
Aspecten:
Is causale interpretatie mogelijk gezien onderzoeksontwerp?
Alternatieve verklaringen (opleiding - vakantie)
X voorafgaan aan Y (populair- meer vrienden)
Construct validiteit: de validiteit van de geoperationaliseerde begrippen (sociaal kapitaal).
PAS OP! 1 meting omvat niet het gehele construct. Een voorbeeld van sociaal kapitaal is het aantal
vrienden. Dit is alleen niet alomvattend van het hele sociaal kapitaal.
Soorten validiteit – extern
Externe validiteit: validiteit buiten het onderzoek.
Oftewel: de mate waarin de waarnemingsuitspraken (die gebaseerd zijn op de onderzochte
eenheden) mogen worden gegeneraliseerd (i.e. de reikwijdte).
Aspecten:
Chanel Booltink
Introductie en Evalueren van Onderzoek
10 sep. 18
Fasen en rapportage van onderzoek (1)
Het evalueren van onderzoek
Beoordeling van de kwaliteit van de opzet en uitvoering van de afzonderlijke
onderzoeksfasen, bijvoorbeeld: heldere doel/probleemstelling, analyses correct uitgevoerd?
En de samenhang tussen de fasen. Bijvoorbeeld: Past de onderzoeksstrategie bij de
probleemstelling?
Het evalueren van onderzoek (2)
Om de kwaliteit van onderzoek te beoordelen zijn er methodologische spelregels en
kwaliteitscriteria
, Verschillende onderzoeksdesigns, doelen en methoden van onderzoek, dus ook verschillende
kwaliteitscriteria?
- Nee: we kunnen aan al het onderzoek dezelfde basiseisen stellen
- Swarnborn: achter de verschillen tussen de onderzoeksdesigns gaat een
gemeenschappelijke basis van regulatieve ideeën schuil
Regulatief idee = algemeen leidend principe waaraan wetenschappelijke onderzoek moet
voldoen
Regulatieve ideeën en kwaliteitseisen (Swarnborn 1996)
Intersubjectieve overeenstemming
Iedere onderzoeker is op zoek naar ‘de waarheid’, maar:
‒ Het concept ‘de objectieve en absolute werkelijkheid’ gebruiken we dus niet, maar
we spreken van voorlopige kennis.
‒ Observaties zijn gekleurd door verschillende theoretische invalshoeken, paradigma’s,
persoonlijke voorkeuren. Het meest betrouwbare resultaat is: het resultaat waar we
het allemaal mee eens zijn
Intersubjectieve overeenstemming: In hoeverre zijn onderzoekers die hetzelfde stukje van
de sociale werkelijkheid bestuderen, het onderling eens?
‒ Een oordeel o.b.v. controleerbaarheid, betrouwbaarheid en geldigheid.
‒ Altijd een eis: kwantitatief & kwalitatief
Controleerbaarheid
Opzet en resultaten moeten repliceerbaar zijn (andere onderzoekers tot dezelfde
conclusie?):
‒ Openbaar
‒ Expliciet (begrijpelijk en goed geformuleerd)
‒ Hierdoor kan het onderzoek overnieuw worden gedaan, om te kijken of de
resultaten kloppen
Resultaten moeten toetsbaar zijn:
‒ Uitspraken zijn zowel verifieerbaar als falsifieerbaar.
‒ Uitspraken moeten eenduidig en expliciet zijn (anders niet falcificeerbaar),
bijvoorbeeld door middel van plaats- en tijdsaanduiding.
Terug naar MvO: betrouwbaarheid en validiteit
Is de uitspraak juist? (geen fouten)
1. Toevalstreffer? = betrouwbaarheid =
reliability
, 2. Dekt de werkelijkheid? =
validiteit/geldigheid = validity
De betrouwbaarheid van een meetinstrument is:
‒ De mate waarin ze tendeert dezelfde uitkomsten te geven, onafhankelijk van
toevalligheden;
‒ Met andere woorden: de mate waarin resultaten vrij zijn van niet-systematische
(toevallige) fouten;
‒ De mate waarin herhaalde meting hetzelfde resultaat oplevert.
De validiteit van een meetinstrument is:
‒ De mate waarin ze de ware, bedoelde realiteit aan het licht brengt en je dus meet
wat je wil meten;
‒ Met andere woorden: de mate waarin resultaten vrij zijn van systematische fouten.
Betrouwbaarheid
Herhaalde metingen: hetzelfde resultaat?
Herhaalde metingen: hetzelfde resultaat?
Onderzoekers-onafhankelijkheid: bijv. inter-onderzoeker/ beoordelaar/
codeursbetrouwbaarheid
Tijds-onafhankelijkheid: bijv. test-retest betrouwbaarheid
Instrument-onafhankelijkheid: bijv. parallelle instrumenten
Bij surveys: meerdere items met hoge interne consistentie = betrouwbaar.
Soorten validiteit – intern
Interne validiteit: validiteit binnen het onderzoek.
Oftewel: de mate waarin de conclusies binnen het onderzoek op een geldige wijze tot stand zijn
gekomen. Leidt X wel tot Y… of zijn er andere dingen gaande?
Aspecten:
Is causale interpretatie mogelijk gezien onderzoeksontwerp?
Alternatieve verklaringen (opleiding - vakantie)
X voorafgaan aan Y (populair- meer vrienden)
Construct validiteit: de validiteit van de geoperationaliseerde begrippen (sociaal kapitaal).
PAS OP! 1 meting omvat niet het gehele construct. Een voorbeeld van sociaal kapitaal is het aantal
vrienden. Dit is alleen niet alomvattend van het hele sociaal kapitaal.
Soorten validiteit – extern
Externe validiteit: validiteit buiten het onderzoek.
Oftewel: de mate waarin de waarnemingsuitspraken (die gebaseerd zijn op de onderzochte
eenheden) mogen worden gegeneraliseerd (i.e. de reikwijdte).
Aspecten:
