Systematic review
Hoorcollege 1
Systematische review
Systematisch: “gepresenteerd of geformuleerd als een samenhangend geheel van ideeën of
principes, methodisch in procedure of plan, gekenmerkt door grondigheid en regelmaat, of
bezorgd over classificatie”.
Review: “een kritische evaluatie, een terugblik of een hernieuwde studie van eerder
bestudeerd materiaal”.
Systematische reviews selecteren, evalueren en synthetiseren nauwgezet eerdere
onderzoeken naar een gegeven onderwerp om te theoretiseren, generaliseren, de praktijk te
informeren en toekomstige onderzoeksinspanningen te sturen.
Psychologische literatuur
Aantal peer-reviewed artikelen in de database PsycInfo:
Er is een grote toename in aantal peer-reviewed artikelen sinds 2000. In de laatste 10 jaar is
er een afname te zien. Dit is een teken om de database niet blind te vertrouwen, omdat je
studies kunt missen. Niet alle studies zijn geïncludeerd. Gelukkig bestaan er verschillende
databases die je kunt gebruiken.
Waarom een systematische review?
Redenen:
- Overdaad aan informatie.
o De psychologische literatuur is te groot om niet systematisch te reviewen. Er
worden 400 artikelen per dag uitgebracht.
- Enkelvoudige studies zijn onvoldoende.
o Studies hebben algemene ambities, ze willen ons iets vertellen over de mens,
maar in feite zijn ze zeer lokaal.
o Twee extra redenen waarom afzonderlijke studies onvoldoende zijn:
▪ Vanwege een willekeurige steekproeffout (fout-positieven/fout-
negatieven).
▪ Omdat alle studies enkele onvolkomenheden hebben.
Voorbeeld enkelvoudige studie
Er wordt onderzoek gedaan naar een nieuwe cognitieve therapie voor depressie. De
hypothese is dat deze cognitieve therapie depressie verhelpt. Het doel van deze therapie is
het helpen van mensen die depressief zijn. Het gaat hier om mensen in het algemeen.
1
,De studie die gedaan wordt is heel simpel: gedurende twee weken gaan depressieve
psychologiestudenten praten op een bank met dr. X, voor twee uur.
De ernst van de depressie werd gemeten met de Beck Depression Inventory. Na afloop van
de studie gingen de scores op de Beck Depression Inventory met 2 punten omlaag.
De scores namen af bij deze specifieke studenten, op dit specifieke tijdstip, bij deze specifieke
arts, met deze manier van therapie.
De twee weken praten op een bank en de Beck Depression Inventory zijn de
operationalisaties die gebruikt zijn. De hypothese is op het niveau van constructen; heel
algemeen.
Generaliseerbaarheid
Je wil de resultaten van een specifiek experiment, in een specifieke setting, met deze
specifieke meting van depressie, met deze specifieke sample en arts generaliseren naar een
algemeen effect op het niveau van constructen in de algemene bevolking. Dit is een hele
grote stap, die vaak blind wordt genomen.
Er zijn verschillende validiteiten die je kunt beoordelen om een idee te krijgen of je deze stap
kunt maken of niet.
Validiteiten:
- Statistical conclusion validity.
o De conclusies moeten statistich geldig zijn.
- Internal validity.
o Je wil zeker zijn dat de causale relatie niet door andere factoren kan worden
verklaard.
- Construct validity.
o Je wil zeker zijn dat de constructen die gemeten worden ook echt gemeten
zijn en dat de operationalisaties ook de constructen meten.
- External validity.
o Mate waarin je kunt generaliseren van een specifieke situatie naar het
algemeen.
Gebruik meta-informatie
In SR gebruik je meta-informatie; karakteristieken van de studies om ze te kunnen
vergelijken.
Als eerste bepaal je het typische resultaat; een effect, verband of prevalentie, in talloze
studies. Ook wil je ontdekken waarom studies verschillen in effectgroottes (en
studievooroordelen).
2
,Stappen van SR
- Verzamel de resultaten van veel studies over hetzelfde onderwerp.
- Analyseer bestaande onderzoeken kritisch.
- Bepaal de sterkte van het bewijs en de gemiddelde omvang van het effect, de
associatie of de prevalentie (in meta-analyse).
- Ontdek welke kenmerken op studieniveau niet van belang zijn.
- Ontdek welke kenmerken op studieniveau er wel toe doen (of modereer het
effect/associatie/prevalentie).
- Gebruik SR om hypothesen te testen.
- Of gebruik SR om nieuwe hypothesen te formuleren.
Hoe een systematische review uit te voeren
Bij SR gebruik je het idee van de empirische cyclus.
Empirische cyclus:
Dit is de dominante manier van onderzoek doen.
Voor SR is het erg vergelijkbaar.
Cyclus SR:
1. Zoek uit wat we al weten, gebaseerd op eerdere systematische reviews.
2. Formuleer je onderzoeksvraag heel concreet; wat is het dat je wil weten?
3. Formuleer je onderzoeksvraag en maak een plan.
4. Voer zoekopdrachten uit, evalueer studies en interpreteer de resultaten.
5. Presenteer wat je hebt gevonden.
3
, Stadia van SR
- Probleemformulering.
- Gegevensverzameling; zoek en selecteer studies voor opname.
- Resultaten ophalen.
- Analyse en interpretatie.
- Presentatie van resultaten.
Hoe doe je GEEN systematische review
Lynn en Vanhanen voerden een ‘uitgebreid literatuuronderzoek’ uit naar raciale verschillen in
intelligentie en schatten het gemiddelde IQ van landen over de hele wereld in termen van
Britse normen.
IQ-kaart van de wereld (volgens Lynn en Vanhanen):
Dit is wat ze vonden.
In Europa is het gemiddelde 100. In China vonden ze een hoger gemiddelde van > 105. En ze
vonden hele lage scores in Afrika; < 70.
Kritiek op Lynn en Vanhanen
Hun literatuuronderzoek is onsystematisch.
Kritiek:
- Niet systematisch zoeken in de literatuur.
- Inclusiecriteria niet gespecificeerd.
- Uitsluitingscriteria niet gespecificeerd.
- Inclusie- en exclusiecriteria niet consistent gebruikt.
- Geen statistische combinatie van gegevens.
- Conversieformules worden inconsistent gebruikt.
- Fouten!
Niet systematisch zoeken in de literatuur
Als je wilt weten wat er gebeurt als je westerse IQ-tests gebruikt in Nigeria ga je naar
PsycInfo en zoek je op ‘Nigeria AND intelligence’. Je krijgt dat 166 hits.
4
Hoorcollege 1
Systematische review
Systematisch: “gepresenteerd of geformuleerd als een samenhangend geheel van ideeën of
principes, methodisch in procedure of plan, gekenmerkt door grondigheid en regelmaat, of
bezorgd over classificatie”.
Review: “een kritische evaluatie, een terugblik of een hernieuwde studie van eerder
bestudeerd materiaal”.
Systematische reviews selecteren, evalueren en synthetiseren nauwgezet eerdere
onderzoeken naar een gegeven onderwerp om te theoretiseren, generaliseren, de praktijk te
informeren en toekomstige onderzoeksinspanningen te sturen.
Psychologische literatuur
Aantal peer-reviewed artikelen in de database PsycInfo:
Er is een grote toename in aantal peer-reviewed artikelen sinds 2000. In de laatste 10 jaar is
er een afname te zien. Dit is een teken om de database niet blind te vertrouwen, omdat je
studies kunt missen. Niet alle studies zijn geïncludeerd. Gelukkig bestaan er verschillende
databases die je kunt gebruiken.
Waarom een systematische review?
Redenen:
- Overdaad aan informatie.
o De psychologische literatuur is te groot om niet systematisch te reviewen. Er
worden 400 artikelen per dag uitgebracht.
- Enkelvoudige studies zijn onvoldoende.
o Studies hebben algemene ambities, ze willen ons iets vertellen over de mens,
maar in feite zijn ze zeer lokaal.
o Twee extra redenen waarom afzonderlijke studies onvoldoende zijn:
▪ Vanwege een willekeurige steekproeffout (fout-positieven/fout-
negatieven).
▪ Omdat alle studies enkele onvolkomenheden hebben.
Voorbeeld enkelvoudige studie
Er wordt onderzoek gedaan naar een nieuwe cognitieve therapie voor depressie. De
hypothese is dat deze cognitieve therapie depressie verhelpt. Het doel van deze therapie is
het helpen van mensen die depressief zijn. Het gaat hier om mensen in het algemeen.
1
,De studie die gedaan wordt is heel simpel: gedurende twee weken gaan depressieve
psychologiestudenten praten op een bank met dr. X, voor twee uur.
De ernst van de depressie werd gemeten met de Beck Depression Inventory. Na afloop van
de studie gingen de scores op de Beck Depression Inventory met 2 punten omlaag.
De scores namen af bij deze specifieke studenten, op dit specifieke tijdstip, bij deze specifieke
arts, met deze manier van therapie.
De twee weken praten op een bank en de Beck Depression Inventory zijn de
operationalisaties die gebruikt zijn. De hypothese is op het niveau van constructen; heel
algemeen.
Generaliseerbaarheid
Je wil de resultaten van een specifiek experiment, in een specifieke setting, met deze
specifieke meting van depressie, met deze specifieke sample en arts generaliseren naar een
algemeen effect op het niveau van constructen in de algemene bevolking. Dit is een hele
grote stap, die vaak blind wordt genomen.
Er zijn verschillende validiteiten die je kunt beoordelen om een idee te krijgen of je deze stap
kunt maken of niet.
Validiteiten:
- Statistical conclusion validity.
o De conclusies moeten statistich geldig zijn.
- Internal validity.
o Je wil zeker zijn dat de causale relatie niet door andere factoren kan worden
verklaard.
- Construct validity.
o Je wil zeker zijn dat de constructen die gemeten worden ook echt gemeten
zijn en dat de operationalisaties ook de constructen meten.
- External validity.
o Mate waarin je kunt generaliseren van een specifieke situatie naar het
algemeen.
Gebruik meta-informatie
In SR gebruik je meta-informatie; karakteristieken van de studies om ze te kunnen
vergelijken.
Als eerste bepaal je het typische resultaat; een effect, verband of prevalentie, in talloze
studies. Ook wil je ontdekken waarom studies verschillen in effectgroottes (en
studievooroordelen).
2
,Stappen van SR
- Verzamel de resultaten van veel studies over hetzelfde onderwerp.
- Analyseer bestaande onderzoeken kritisch.
- Bepaal de sterkte van het bewijs en de gemiddelde omvang van het effect, de
associatie of de prevalentie (in meta-analyse).
- Ontdek welke kenmerken op studieniveau niet van belang zijn.
- Ontdek welke kenmerken op studieniveau er wel toe doen (of modereer het
effect/associatie/prevalentie).
- Gebruik SR om hypothesen te testen.
- Of gebruik SR om nieuwe hypothesen te formuleren.
Hoe een systematische review uit te voeren
Bij SR gebruik je het idee van de empirische cyclus.
Empirische cyclus:
Dit is de dominante manier van onderzoek doen.
Voor SR is het erg vergelijkbaar.
Cyclus SR:
1. Zoek uit wat we al weten, gebaseerd op eerdere systematische reviews.
2. Formuleer je onderzoeksvraag heel concreet; wat is het dat je wil weten?
3. Formuleer je onderzoeksvraag en maak een plan.
4. Voer zoekopdrachten uit, evalueer studies en interpreteer de resultaten.
5. Presenteer wat je hebt gevonden.
3
, Stadia van SR
- Probleemformulering.
- Gegevensverzameling; zoek en selecteer studies voor opname.
- Resultaten ophalen.
- Analyse en interpretatie.
- Presentatie van resultaten.
Hoe doe je GEEN systematische review
Lynn en Vanhanen voerden een ‘uitgebreid literatuuronderzoek’ uit naar raciale verschillen in
intelligentie en schatten het gemiddelde IQ van landen over de hele wereld in termen van
Britse normen.
IQ-kaart van de wereld (volgens Lynn en Vanhanen):
Dit is wat ze vonden.
In Europa is het gemiddelde 100. In China vonden ze een hoger gemiddelde van > 105. En ze
vonden hele lage scores in Afrika; < 70.
Kritiek op Lynn en Vanhanen
Hun literatuuronderzoek is onsystematisch.
Kritiek:
- Niet systematisch zoeken in de literatuur.
- Inclusiecriteria niet gespecificeerd.
- Uitsluitingscriteria niet gespecificeerd.
- Inclusie- en exclusiecriteria niet consistent gebruikt.
- Geen statistische combinatie van gegevens.
- Conversieformules worden inconsistent gebruikt.
- Fouten!
Niet systematisch zoeken in de literatuur
Als je wilt weten wat er gebeurt als je westerse IQ-tests gebruikt in Nigeria ga je naar
PsycInfo en zoek je op ‘Nigeria AND intelligence’. Je krijgt dat 166 hits.
4
