Hoofdstuk 9: Onderzoekskwaliteit
Criteria voor een onderzoek die tot kwalitatief goede conclusies leidt:
Betrouwbaarheid, valide => met deze twee begrippen kun je kijken naar twee
soorten fouten die in onderzoek voor kunnen komen.
Bij de betrouwbaarheid van resultaten ga je na in welke mate in een onderzoek
toevallige fouten voorkomen; dat zijn fouten door onverwachte en onberekenbare
factoren in het onderzoek
Bij de validiteit kijk je naar de geldigheid of zuiverheid van onderzoek; naar de mate
waarin systematische fouten worden gemaakt. Hoe minder systematische fouten,
hoe meer valide het onderzoek is.
Bruikbaar => het onderzoek moet natuurlijk bruikbaar zijn voor de opdrachtgever.
Ook als is de methodologische waarde van een onderzoek niet groot, bijv. als er
problemen zijn met de betrouwbaarheid of validiteit, kunnen de resultaten nog
steeds waardevol en bruikbaar zijn.
Kwaliteit => de kwaliteit van een onderzoek speelt op verschillende momenten
tijdens het onderzoek een rol. Als het niet lukt om op tijd in te grijpen om de kwaliteit
te waarborgen, moet je een goede verantwoording in het onderzoeksverslag
schrijven.
Kwalitatief en kwantitatief onderzoek => het maakt niet uit welke van de twee je
doet, kwaliteit van de resultaten is altijd belangrijk.
De betrouwbaarheid van onderzoeksresultaten = geeft aan in hoeverre je onderzoek vrij is
van toevallige fouten die je maakt.
Om de betrouwbaarheid van een onderzoek voldoende te kunnen testen, moet een
onderzoek herhaalbaar zijn. Wanneer de herhaling leidt tot dezelfde resultaten (niet
hetzelfde als gelijke resultaten!!), dan is je onderzoek betrouwbaar.
Deze herhaalbaarheidseis betekent dat onderzoek haalbaar moet zijn op een ander tijdstip,
met een andere onderzoeker, andere proefpersonen en onder andere omstandigheden.
Deze vrij strikte eis is vooral van toepassing bij kwantitatief onderzoek.
Onderzoekers bedenken allerlei manieren (criteria) om de betrouwbaarheid van hun
onderzoek te verhogen. Een overzicht van deze criteria:
Vooral bij kwantitatief onderzoek:
1. Steekproefomvang => hoe groter je steekproef is, des te nauwkeuriger je een
uitspraak kunt doen. Op basis van een steekproef kun je een schatting maken over de
mogelijke uitkomsten van je onderzoek. Er is wel een foutenmarge: de omvang van
de fout die je toelaat.
2. Test-hertest => door herhaling van methoden kun je bepalen of je onderzoek
betrouwbaar is.
,Bij kwantitatief en kwalitatief onderzoek:
1. Standaardisatie => bij kwantitatief onderzoek gebeurt dit bijv. door een
standaardvragenlijst te ontwikkelen, bij kwalitatief onderzoek kun je bijvoorbeeld
een systeem in de analyse aanbrengen.
2. Proefinterview, pilot => bij interviews en surveys kan een proefinterview de
betrouwbaarheid van je topiclijst vergroten
3. Vier-ogenprincipe (peer feedback) => hierbij kijkt een collega-onderzoeker mee met
het onderzoek en de verslaglegging en geeft feedback.
4. Rapportage en verantwoording => het is erg belangrijk om de juiste verantwoording
te geven van al je onderzoekshandelingen, deze moet je dus nauwkeurig bijhouden in
je onderzoekslogboek (audit trail).
In je audit trail noteer je niet alleen de keuzes die je maakt en de vordering, maar ook
de leermomenten, veranderingen die je aanbrengt, omstandigheden die problemen
oproepen en dingen die fout lopen. Bij herhaling van het onderzoek kun je deze
fouten vermijden, waardoor je de betrouwbaarheid van de resultaten verder
verhoogt.
Vooral bij kwalitatief onderzoek:
1. Interbeoordelaarsbetrouwbaarheid of intersubjectiviteit => deze maat zie je vaak in
observatieonderzoek. Verschillende onderzoekers observeren een situatie. De mate
van overeenstemming over de resultaten tussen de onderzoekers bepaalt de
interbeoordelaarsbetrouwbaarheid. De onderzoekers moeten het dus zoveel
mogelijk met elkaar eens zijn.
2. Triangulatie => door verschillende methodes te gebruiken, verhoog je de
betrouwbaarheid. Je controleert als het ware of het verkregen resultaat klopt als je
gebruik maakt van een andere methode
3. Iteratie => door het herhalen van dataverzameling en analyse voldoe je eigenlijk aan
de voorwaarde van herhaalbaarheid.
Check kernbegrippen pagina 169.
9.2: Validiteit
Met de validiteit bepaal je in welke mate het onderzoek vrij is van systematische fouten.
Eigenlijk kijk je naar de echtheid, het waarheidsgehalte van je onderzoek. Een bekend
voorbeeld van zo’n systematische fout is het expres geven van een verkeerd antwoord.
Sociaal wenselijk antwoord = een antwoord geven dat beter past bij een bepaald
verwachtingspatroon.
Bij kwantitatief onderzoek is betrouwbaarheid een voorwaarde voor het bepalen van de
validiteit.
Bij kwalitatief onderzoek kijken onderzoekers hier anders naar, zij vinden validiteit vaak
belangrijker dan betrouwbaarheid. Ze vinden dit vaak belangrijker omdat ze in kleinere
groepen werken, de onderzoeker maakt vaak deel uit van de onderzoeksopzet (observatie
bijv.). De betrouwbaarheid staat bijna altijd onder druk.
, De twee belangrijkste vormen van validiteit:
- Geldigheid van je meetinstrument
- De geldigheid van de onderzoeksgroep
Drie belangrijkste andere vormen van validiteit:
- Interne validiteit
- Externe validiteit
- Begripsvaliditeit
Interne validiteit
Resultaten zijn intern valide als je er de juiste conclusies mee kunt trekken.
Juiste conclusies zijn de conclusies die standhouden en de kritiek van collega-onderzoekers
kunnen overleven. Deze vorm van geldigheid speelt vaak een rol bij oorzaak-gevolgrelaties
die in experimenten worden onderzocht. Interne validiteit speelt ook een belangrijke rol bij
het analyseren van effecten, want je wilt de juiste conclusies kunnen trekken: dat er sprake
is van een effect:
Situaties waarbij de interne validiteit in gevaar kan komen:
- Selectie van proefpersonen => door het gebruik van proefpersonen onderzoek je
alleen de mening van deze selecte groep
- Groei (maturation) => als onderzoek lang duurt, kan een verandering automatisch
plaats vinden. Kijk bijvoorbeeld naar methoden om peuters woordjes te leren,
uiteindelijk leren ze dat meestal toch.
- Extern voorval (history) => Verkiezingspolls kunnen bijvoorbeeld een plotselinge
verschuiving laten zien na het plaatsvinden van een aanslag.
- Instrumentatie => stel dat je de vragenlijst bij stel tijdens het onderzoek, dan gebruik
je dus niet precies dezelfde vragen. Dat levert een vertekening van de resultaten op
- Mortaliteit (uitval) => stel dat je een experiment organiseert met een voormeting en
een nameting. Als er tussentijds mensen uitvallen (ze willen of kunnen niet meer mee
doen) is er sprake van uitval.
- Testeffect => een testeffect kan optreden als mensen anders reageren op bepaalde
condities (in een experiment) omdat ze weten dat ze aan een onderzoek mee doen.
Een voorbeeld hiervan is het Hawthorne-effect, voorbeeld 9.5 uit je boek.
Bij experimenten nemen onderzoekers maatregelen om de validiteit zo hoog mogelijk te
maken: ze wijzen testpersonen willekeurig toe aan de experimentele en controlegroep
(randomisatie), organiseren voor- en nametingen en zetten experimenten op binnen de
muren van een laboratorium.
Externe validiteit
Bij een goede externe validiteit lijkt de steekproef op een bepaald aantal (voor het
onderzoek) relevante kenmerken op de populatie. Is dit het geval dan is de steekproef
representatief en mag je de onderzoeksresultaten generaliseren, dit heet ook wel
populatievaliditeit. Een lage externe validiteit hoeft niet te betekenen dat je met de
resultaten van een onderzoek niks kunt doen!
Criteria voor een onderzoek die tot kwalitatief goede conclusies leidt:
Betrouwbaarheid, valide => met deze twee begrippen kun je kijken naar twee
soorten fouten die in onderzoek voor kunnen komen.
Bij de betrouwbaarheid van resultaten ga je na in welke mate in een onderzoek
toevallige fouten voorkomen; dat zijn fouten door onverwachte en onberekenbare
factoren in het onderzoek
Bij de validiteit kijk je naar de geldigheid of zuiverheid van onderzoek; naar de mate
waarin systematische fouten worden gemaakt. Hoe minder systematische fouten,
hoe meer valide het onderzoek is.
Bruikbaar => het onderzoek moet natuurlijk bruikbaar zijn voor de opdrachtgever.
Ook als is de methodologische waarde van een onderzoek niet groot, bijv. als er
problemen zijn met de betrouwbaarheid of validiteit, kunnen de resultaten nog
steeds waardevol en bruikbaar zijn.
Kwaliteit => de kwaliteit van een onderzoek speelt op verschillende momenten
tijdens het onderzoek een rol. Als het niet lukt om op tijd in te grijpen om de kwaliteit
te waarborgen, moet je een goede verantwoording in het onderzoeksverslag
schrijven.
Kwalitatief en kwantitatief onderzoek => het maakt niet uit welke van de twee je
doet, kwaliteit van de resultaten is altijd belangrijk.
De betrouwbaarheid van onderzoeksresultaten = geeft aan in hoeverre je onderzoek vrij is
van toevallige fouten die je maakt.
Om de betrouwbaarheid van een onderzoek voldoende te kunnen testen, moet een
onderzoek herhaalbaar zijn. Wanneer de herhaling leidt tot dezelfde resultaten (niet
hetzelfde als gelijke resultaten!!), dan is je onderzoek betrouwbaar.
Deze herhaalbaarheidseis betekent dat onderzoek haalbaar moet zijn op een ander tijdstip,
met een andere onderzoeker, andere proefpersonen en onder andere omstandigheden.
Deze vrij strikte eis is vooral van toepassing bij kwantitatief onderzoek.
Onderzoekers bedenken allerlei manieren (criteria) om de betrouwbaarheid van hun
onderzoek te verhogen. Een overzicht van deze criteria:
Vooral bij kwantitatief onderzoek:
1. Steekproefomvang => hoe groter je steekproef is, des te nauwkeuriger je een
uitspraak kunt doen. Op basis van een steekproef kun je een schatting maken over de
mogelijke uitkomsten van je onderzoek. Er is wel een foutenmarge: de omvang van
de fout die je toelaat.
2. Test-hertest => door herhaling van methoden kun je bepalen of je onderzoek
betrouwbaar is.
,Bij kwantitatief en kwalitatief onderzoek:
1. Standaardisatie => bij kwantitatief onderzoek gebeurt dit bijv. door een
standaardvragenlijst te ontwikkelen, bij kwalitatief onderzoek kun je bijvoorbeeld
een systeem in de analyse aanbrengen.
2. Proefinterview, pilot => bij interviews en surveys kan een proefinterview de
betrouwbaarheid van je topiclijst vergroten
3. Vier-ogenprincipe (peer feedback) => hierbij kijkt een collega-onderzoeker mee met
het onderzoek en de verslaglegging en geeft feedback.
4. Rapportage en verantwoording => het is erg belangrijk om de juiste verantwoording
te geven van al je onderzoekshandelingen, deze moet je dus nauwkeurig bijhouden in
je onderzoekslogboek (audit trail).
In je audit trail noteer je niet alleen de keuzes die je maakt en de vordering, maar ook
de leermomenten, veranderingen die je aanbrengt, omstandigheden die problemen
oproepen en dingen die fout lopen. Bij herhaling van het onderzoek kun je deze
fouten vermijden, waardoor je de betrouwbaarheid van de resultaten verder
verhoogt.
Vooral bij kwalitatief onderzoek:
1. Interbeoordelaarsbetrouwbaarheid of intersubjectiviteit => deze maat zie je vaak in
observatieonderzoek. Verschillende onderzoekers observeren een situatie. De mate
van overeenstemming over de resultaten tussen de onderzoekers bepaalt de
interbeoordelaarsbetrouwbaarheid. De onderzoekers moeten het dus zoveel
mogelijk met elkaar eens zijn.
2. Triangulatie => door verschillende methodes te gebruiken, verhoog je de
betrouwbaarheid. Je controleert als het ware of het verkregen resultaat klopt als je
gebruik maakt van een andere methode
3. Iteratie => door het herhalen van dataverzameling en analyse voldoe je eigenlijk aan
de voorwaarde van herhaalbaarheid.
Check kernbegrippen pagina 169.
9.2: Validiteit
Met de validiteit bepaal je in welke mate het onderzoek vrij is van systematische fouten.
Eigenlijk kijk je naar de echtheid, het waarheidsgehalte van je onderzoek. Een bekend
voorbeeld van zo’n systematische fout is het expres geven van een verkeerd antwoord.
Sociaal wenselijk antwoord = een antwoord geven dat beter past bij een bepaald
verwachtingspatroon.
Bij kwantitatief onderzoek is betrouwbaarheid een voorwaarde voor het bepalen van de
validiteit.
Bij kwalitatief onderzoek kijken onderzoekers hier anders naar, zij vinden validiteit vaak
belangrijker dan betrouwbaarheid. Ze vinden dit vaak belangrijker omdat ze in kleinere
groepen werken, de onderzoeker maakt vaak deel uit van de onderzoeksopzet (observatie
bijv.). De betrouwbaarheid staat bijna altijd onder druk.
, De twee belangrijkste vormen van validiteit:
- Geldigheid van je meetinstrument
- De geldigheid van de onderzoeksgroep
Drie belangrijkste andere vormen van validiteit:
- Interne validiteit
- Externe validiteit
- Begripsvaliditeit
Interne validiteit
Resultaten zijn intern valide als je er de juiste conclusies mee kunt trekken.
Juiste conclusies zijn de conclusies die standhouden en de kritiek van collega-onderzoekers
kunnen overleven. Deze vorm van geldigheid speelt vaak een rol bij oorzaak-gevolgrelaties
die in experimenten worden onderzocht. Interne validiteit speelt ook een belangrijke rol bij
het analyseren van effecten, want je wilt de juiste conclusies kunnen trekken: dat er sprake
is van een effect:
Situaties waarbij de interne validiteit in gevaar kan komen:
- Selectie van proefpersonen => door het gebruik van proefpersonen onderzoek je
alleen de mening van deze selecte groep
- Groei (maturation) => als onderzoek lang duurt, kan een verandering automatisch
plaats vinden. Kijk bijvoorbeeld naar methoden om peuters woordjes te leren,
uiteindelijk leren ze dat meestal toch.
- Extern voorval (history) => Verkiezingspolls kunnen bijvoorbeeld een plotselinge
verschuiving laten zien na het plaatsvinden van een aanslag.
- Instrumentatie => stel dat je de vragenlijst bij stel tijdens het onderzoek, dan gebruik
je dus niet precies dezelfde vragen. Dat levert een vertekening van de resultaten op
- Mortaliteit (uitval) => stel dat je een experiment organiseert met een voormeting en
een nameting. Als er tussentijds mensen uitvallen (ze willen of kunnen niet meer mee
doen) is er sprake van uitval.
- Testeffect => een testeffect kan optreden als mensen anders reageren op bepaalde
condities (in een experiment) omdat ze weten dat ze aan een onderzoek mee doen.
Een voorbeeld hiervan is het Hawthorne-effect, voorbeeld 9.5 uit je boek.
Bij experimenten nemen onderzoekers maatregelen om de validiteit zo hoog mogelijk te
maken: ze wijzen testpersonen willekeurig toe aan de experimentele en controlegroep
(randomisatie), organiseren voor- en nametingen en zetten experimenten op binnen de
muren van een laboratorium.
Externe validiteit
Bij een goede externe validiteit lijkt de steekproef op een bepaald aantal (voor het
onderzoek) relevante kenmerken op de populatie. Is dit het geval dan is de steekproef
representatief en mag je de onderzoeksresultaten generaliseren, dit heet ook wel
populatievaliditeit. Een lage externe validiteit hoeft niet te betekenen dat je met de
resultaten van een onderzoek niks kunt doen!
