Onderzoekspracticum inleiding onderzoek
Tentamen is 80x tweekeuze vragen, waarvan 12-13 over analyses en de
rest theorie.
Thema 1: Basisconcepten van wetenschappelijk onderzoek bij mensen
Studietaak 1.1 Wetenschappelijk onderzoek
Leerdoel 1: Wat is wetenschap en waarom beoefenen we het?
Doel van wetenschap: systematisch kennis vergaren over de
werkelijkheid om deze te begrijpen en beïnvloeden.
Probleem met intuïtieve kennis: onze menselijke waarneming en geest
zijn vatbaar voor vertekening. Zelfonderzoek (zoals cacaobonen eten
en je daarna beter voelen) is niet betrouwbaar, omdat je niet objectief
kunt beoordelen of veranderingen echt door interventie komen.
De menselijke geest die onze zintuigelijke informatie verwerkt, is
gevoelig voor verstoringen in de informatieverwerking. Om de
werkelijkheid in kaart te brengen, zijn daarom systematische methoden
van informatieverzameling en -verwerking nodig. Wetenschap vormt de
zoektocht naar kennis, waarbij die kennis via een systematische methode
wordt verkregen. De wetenschappelijke methode vormt een systematische
methode om te leren over de werkelijkheid.
Wetenschappelijke methode: een systematische aanpak om via
controleerbare en herhaalbare methoden kennis te verzamelen.
Praktische toepassingen: wetenschappelijke kennis wordt vertaald naar
richtlijnen en standaarden zoals
- Gezondheidsadviezen – 30 min per dag lopen
- NHG-standaarden in de huisartsenzorg
- Adviezen over superfoods en voedingssupplementen
Leerdoel 2: Wat is de empirische onderzoek cyclus
De empirische onderzoek cyclus bestaat uit vijf fasen:
1. Onderzoeksvraag formuleren: wat wil je precies weten
2. Studie ontwerp: hoe ga je deze vraag beantwoorden met welke
methode
3. Data verzamelen: informatie (data) systematisch verzamelen
volgens het studieontwerp
4. Data analyseren: de verzamelde data analyseren om tot
conclusies te komen
5. Rapporteren: bevindingen delen met anderen, vaak via een
wetenschappelijk artikel
Bovenstaande cyclus kan een iteratief of vaststaand proces zijn:
, - Iteratief: je kunt teruggaan naar eerdere stappen en het proces
herhalen. De fasen volgen echter wel een logische volgorde en lopen
niet willekeurig door elkaar.
- Vaststaand proces: de onderzoeksvraag en het studieontwerp
moeten definitief zijn voordat de data-verzameling start.
Leerdoel 3.1 Hoe worden wetenschappelijke resultaten verspreid?
De verspreiding kan op verschillende manieren zoals:
- Peer review: wetenschappelijke artikelen worden beoordeeld door
vakgenoten voordat ze gepubliceerd worden in wetenschappelijke
tijdschriften
- Engelse taal: wetenschap is internationaal dus vrijwel alles is
Engelstalig
- Digitale bibliotheken: studenten en medewerkers van
universiteiten kunnen via hun digitale bibliotheken toegang krijgen
tot veel wetenschappelijke artikelen
- Open access: een ontwikkeling waarbij wetenschappelijke artikelen
gratis toegankelijk worden voor iedereen en niet alleen universiteit
medewerkers (Plus ONE en Journal of Open Psychology Data)
Leerdoel 3.2 Wat zijn dubieuze onderzoek praktijken
Dubieuze onderzoekspraktijken: zijn handelingen waarbij onderzoekers
de methoden, analyse of rapportages manipuleren om gewenste
resultaten te verkrijgen in plaats van objectief de werkelijkheid beschrijven
(Questionable Research Practices - QRP).
- Selectief rapporteren: alleen variabelen of condities rapporteren
die een effect laten zien
- Flexibele data-analyse: analyse aanpassen op basis van
tussentijdse resultaten
- Flexibel omgaan met hypotheses: achteraf hypotheses
aanpassen zodat ze beter bij de data passen
- Flexibele dataverzameling: extra data verzamelen of eerder
stoppen met verzamelen afhankelijk van de voorlopige resultaten
Gevolg: door deze praktijken lijken de effecten sterker of
betrouwbaarder dan ze werkelijk zijn, wat leidt tot onbetrouwbare
wetenschappelijke kennis
Leerdoel 3 deel 3: Wat is replicatiecrisis?
In psychologie bleek dat veel klassieke studies niet opnieuw gepubliceerd
konden worden (dezelfde resultaten generen met gelijkwaardige
omstandigheden). Doormiddel van een groot onderzoek: Open Science
Collaboration in 2015 toonde aan dat slechts ongeveer 50% van 98
onderzochte psychologische studies reproduceerbare resultaten
opleverde. Daarnaast waren de effectgroottes bij succesvolle
replicaties gemiddeld de helft zo groot als in het oorspronkelijke
onderzoek.
,Oorzaken van de replicatiecrisis:
- Publicatiebias: alleen studies met positieve resultaten worden
gepubliceerd
- Dubieuze onderzoek praktijken: onderzoek wordt beïnvloed om
gewenste resultaten te produceren
BS: Hoe kan publication bias ertoe leiden dat een deel van het
psychologisch onderzoek niet goed repliceerbaar is?
Publication bias verwijst naar het fenomeen dat het gemakkelijker
is om onderzoek te publiceren dat wel een effect laat zien
dan onderzoek dat geen effect laat zien. Dit komt
omdat journals onderzoek dat effecten aantoont interessanter
vinden om te publiceren dan onderzoek dat geen effecten laat zien.
Onderzoekers zijn zich hiervan bewust en zijn vervolgens geneigd
om artikelen die geen effecten laten zien niet eens op te sturen naar
een tijdschrift ter publicatie. Publication bias wordt ook wel het file-
drawer-probleem genoemd omdat onderzoek dat geen effecten
laat zien in de kast blijft liggen.
Een voorbeeld kan verduidelijken hoe dit ertoe kan leiden dat
onderzoek niet goed repliceerbaar is. Stel: een onderzoek laat zien
dat het eten van cacaobonen op dagelijkse basis ervoor zorgt dat je
je beter voelt. Dit is een aansprekend onderzoek wat aantrekkelijk is
om te publiceren. Stel dat daarna een replicatieonderzoek wordt
uitgevoerd dat geen effecten van het eten van cacaobonen laat
zien. Als er sprake is van publication bias, dan is het veel lastiger om
dit replicatieonderzoek, dat geen effecten laat zien, te publiceren
dan het oorspronkelijke onderzoek, dat wel effecten laat zien. Het
gevolg hiervan is dat het effect van het eten van cacaobonen
robuuster lijkt dan het in werkelijkheid is. Dit heeft de replicatiecrisis
in de hand gewerkt omdat – toen er meer aandacht kwam voor
replicatieonderzoek – bleek dat effecten in de psychologische
wetenschap toch niet zo robuust waren als aanvankelijk gedacht.
BS: Leg in eigen woorden uit hoe dubieuze onderzoekspraktijken ertoe
kunnen leiden dat een deel van het psychologisch onderzoek niet goed
repliceerbaar is.
Bij dubieuze onderzoekspraktijken beïnvloeden de gewenste
uitkomsten van het onderzoek, al dan niet bewust, de methode,
analyse en rapportage van het onderzoek. Door deze flexibiliteit
en/of selectiviteit zal het onderzoek vaker in een effect (van het een
of ander) resulteren. Bij replicatieonderzoek, waarbij voorafgaand
aan de replicatiepoging duidelijk wordt vastgelegd hoe het
onderzoek zal worden opgezet en hoe dit zal worden geanalyseerd,
wordt deze flexibiliteit en selectiviteit in methode, analyse en
rapportage van het onderzoek tegengegaan. Regelmatig zal dan
blijken dat het originele onderzoek niet gerepliceerd kan worden.
Oplossingen voor replicatiecrisis: pre-registratie en full disclosure
, - Preregistratie: vooraf vastleggen van onderzoeksvraag, studie
ontwerp en analysemethode in een openbaar register. Hiermee
wordt manipulatie achteraf voorkomen.
- Full disclosure: volledige openheid over alle onderdelen van het
onderzoek, inclusief data en metadata zodat andere onderzoekers
alles kunnen controleren.
Met preregistratie en full disclosure wordt de kans op publicatiebias en
dubieuze onderzoekspraktijken kleiner en stijgt de betrouwbaarheid (1.3 →
1) en repliceerbaarheid.
Studietaak 1.2 Operationalisaties
Leerdoel 1: Beschrijven wat variabelen zijn en welke functies ze
kunnen hebben
Variabelen: zijn kenmerken die kunnen variëren of theoretisch zouden
kunnen variëren (e.g. aantal cacaobonen per dag, land van herkomst)
Functie van variabelen: ze maken het mogelijk om eigenschappen te
meten, relaties te onderzoeken en vast te leggen binnen onderzoek.
Leerdoel 2: Beschrijven wat constructen zijn
Constructen zijn psychologische variabelen die niet direct observeer
zijn. Het zijn theoretische begrippen, gebaseerd op wetenschappelijke
theorie (e.g. extraversie, leervaardigheid en depressie). Constructen
hebben geen harde fysieke realiteit zoals een tafel of molecuul, maar zijn
zeer bruikbaar omdat ze gedrag en uitkomsten kunnen voorspellen. Ze
vereisen een duidelijke uitgebreide en afgebakende definitie.
Leerdoel 3: Beschrijven wat het verschil is tussen variabelen en
constructen
Tentamen is 80x tweekeuze vragen, waarvan 12-13 over analyses en de
rest theorie.
Thema 1: Basisconcepten van wetenschappelijk onderzoek bij mensen
Studietaak 1.1 Wetenschappelijk onderzoek
Leerdoel 1: Wat is wetenschap en waarom beoefenen we het?
Doel van wetenschap: systematisch kennis vergaren over de
werkelijkheid om deze te begrijpen en beïnvloeden.
Probleem met intuïtieve kennis: onze menselijke waarneming en geest
zijn vatbaar voor vertekening. Zelfonderzoek (zoals cacaobonen eten
en je daarna beter voelen) is niet betrouwbaar, omdat je niet objectief
kunt beoordelen of veranderingen echt door interventie komen.
De menselijke geest die onze zintuigelijke informatie verwerkt, is
gevoelig voor verstoringen in de informatieverwerking. Om de
werkelijkheid in kaart te brengen, zijn daarom systematische methoden
van informatieverzameling en -verwerking nodig. Wetenschap vormt de
zoektocht naar kennis, waarbij die kennis via een systematische methode
wordt verkregen. De wetenschappelijke methode vormt een systematische
methode om te leren over de werkelijkheid.
Wetenschappelijke methode: een systematische aanpak om via
controleerbare en herhaalbare methoden kennis te verzamelen.
Praktische toepassingen: wetenschappelijke kennis wordt vertaald naar
richtlijnen en standaarden zoals
- Gezondheidsadviezen – 30 min per dag lopen
- NHG-standaarden in de huisartsenzorg
- Adviezen over superfoods en voedingssupplementen
Leerdoel 2: Wat is de empirische onderzoek cyclus
De empirische onderzoek cyclus bestaat uit vijf fasen:
1. Onderzoeksvraag formuleren: wat wil je precies weten
2. Studie ontwerp: hoe ga je deze vraag beantwoorden met welke
methode
3. Data verzamelen: informatie (data) systematisch verzamelen
volgens het studieontwerp
4. Data analyseren: de verzamelde data analyseren om tot
conclusies te komen
5. Rapporteren: bevindingen delen met anderen, vaak via een
wetenschappelijk artikel
Bovenstaande cyclus kan een iteratief of vaststaand proces zijn:
, - Iteratief: je kunt teruggaan naar eerdere stappen en het proces
herhalen. De fasen volgen echter wel een logische volgorde en lopen
niet willekeurig door elkaar.
- Vaststaand proces: de onderzoeksvraag en het studieontwerp
moeten definitief zijn voordat de data-verzameling start.
Leerdoel 3.1 Hoe worden wetenschappelijke resultaten verspreid?
De verspreiding kan op verschillende manieren zoals:
- Peer review: wetenschappelijke artikelen worden beoordeeld door
vakgenoten voordat ze gepubliceerd worden in wetenschappelijke
tijdschriften
- Engelse taal: wetenschap is internationaal dus vrijwel alles is
Engelstalig
- Digitale bibliotheken: studenten en medewerkers van
universiteiten kunnen via hun digitale bibliotheken toegang krijgen
tot veel wetenschappelijke artikelen
- Open access: een ontwikkeling waarbij wetenschappelijke artikelen
gratis toegankelijk worden voor iedereen en niet alleen universiteit
medewerkers (Plus ONE en Journal of Open Psychology Data)
Leerdoel 3.2 Wat zijn dubieuze onderzoek praktijken
Dubieuze onderzoekspraktijken: zijn handelingen waarbij onderzoekers
de methoden, analyse of rapportages manipuleren om gewenste
resultaten te verkrijgen in plaats van objectief de werkelijkheid beschrijven
(Questionable Research Practices - QRP).
- Selectief rapporteren: alleen variabelen of condities rapporteren
die een effect laten zien
- Flexibele data-analyse: analyse aanpassen op basis van
tussentijdse resultaten
- Flexibel omgaan met hypotheses: achteraf hypotheses
aanpassen zodat ze beter bij de data passen
- Flexibele dataverzameling: extra data verzamelen of eerder
stoppen met verzamelen afhankelijk van de voorlopige resultaten
Gevolg: door deze praktijken lijken de effecten sterker of
betrouwbaarder dan ze werkelijk zijn, wat leidt tot onbetrouwbare
wetenschappelijke kennis
Leerdoel 3 deel 3: Wat is replicatiecrisis?
In psychologie bleek dat veel klassieke studies niet opnieuw gepubliceerd
konden worden (dezelfde resultaten generen met gelijkwaardige
omstandigheden). Doormiddel van een groot onderzoek: Open Science
Collaboration in 2015 toonde aan dat slechts ongeveer 50% van 98
onderzochte psychologische studies reproduceerbare resultaten
opleverde. Daarnaast waren de effectgroottes bij succesvolle
replicaties gemiddeld de helft zo groot als in het oorspronkelijke
onderzoek.
,Oorzaken van de replicatiecrisis:
- Publicatiebias: alleen studies met positieve resultaten worden
gepubliceerd
- Dubieuze onderzoek praktijken: onderzoek wordt beïnvloed om
gewenste resultaten te produceren
BS: Hoe kan publication bias ertoe leiden dat een deel van het
psychologisch onderzoek niet goed repliceerbaar is?
Publication bias verwijst naar het fenomeen dat het gemakkelijker
is om onderzoek te publiceren dat wel een effect laat zien
dan onderzoek dat geen effect laat zien. Dit komt
omdat journals onderzoek dat effecten aantoont interessanter
vinden om te publiceren dan onderzoek dat geen effecten laat zien.
Onderzoekers zijn zich hiervan bewust en zijn vervolgens geneigd
om artikelen die geen effecten laten zien niet eens op te sturen naar
een tijdschrift ter publicatie. Publication bias wordt ook wel het file-
drawer-probleem genoemd omdat onderzoek dat geen effecten
laat zien in de kast blijft liggen.
Een voorbeeld kan verduidelijken hoe dit ertoe kan leiden dat
onderzoek niet goed repliceerbaar is. Stel: een onderzoek laat zien
dat het eten van cacaobonen op dagelijkse basis ervoor zorgt dat je
je beter voelt. Dit is een aansprekend onderzoek wat aantrekkelijk is
om te publiceren. Stel dat daarna een replicatieonderzoek wordt
uitgevoerd dat geen effecten van het eten van cacaobonen laat
zien. Als er sprake is van publication bias, dan is het veel lastiger om
dit replicatieonderzoek, dat geen effecten laat zien, te publiceren
dan het oorspronkelijke onderzoek, dat wel effecten laat zien. Het
gevolg hiervan is dat het effect van het eten van cacaobonen
robuuster lijkt dan het in werkelijkheid is. Dit heeft de replicatiecrisis
in de hand gewerkt omdat – toen er meer aandacht kwam voor
replicatieonderzoek – bleek dat effecten in de psychologische
wetenschap toch niet zo robuust waren als aanvankelijk gedacht.
BS: Leg in eigen woorden uit hoe dubieuze onderzoekspraktijken ertoe
kunnen leiden dat een deel van het psychologisch onderzoek niet goed
repliceerbaar is.
Bij dubieuze onderzoekspraktijken beïnvloeden de gewenste
uitkomsten van het onderzoek, al dan niet bewust, de methode,
analyse en rapportage van het onderzoek. Door deze flexibiliteit
en/of selectiviteit zal het onderzoek vaker in een effect (van het een
of ander) resulteren. Bij replicatieonderzoek, waarbij voorafgaand
aan de replicatiepoging duidelijk wordt vastgelegd hoe het
onderzoek zal worden opgezet en hoe dit zal worden geanalyseerd,
wordt deze flexibiliteit en selectiviteit in methode, analyse en
rapportage van het onderzoek tegengegaan. Regelmatig zal dan
blijken dat het originele onderzoek niet gerepliceerd kan worden.
Oplossingen voor replicatiecrisis: pre-registratie en full disclosure
, - Preregistratie: vooraf vastleggen van onderzoeksvraag, studie
ontwerp en analysemethode in een openbaar register. Hiermee
wordt manipulatie achteraf voorkomen.
- Full disclosure: volledige openheid over alle onderdelen van het
onderzoek, inclusief data en metadata zodat andere onderzoekers
alles kunnen controleren.
Met preregistratie en full disclosure wordt de kans op publicatiebias en
dubieuze onderzoekspraktijken kleiner en stijgt de betrouwbaarheid (1.3 →
1) en repliceerbaarheid.
Studietaak 1.2 Operationalisaties
Leerdoel 1: Beschrijven wat variabelen zijn en welke functies ze
kunnen hebben
Variabelen: zijn kenmerken die kunnen variëren of theoretisch zouden
kunnen variëren (e.g. aantal cacaobonen per dag, land van herkomst)
Functie van variabelen: ze maken het mogelijk om eigenschappen te
meten, relaties te onderzoeken en vast te leggen binnen onderzoek.
Leerdoel 2: Beschrijven wat constructen zijn
Constructen zijn psychologische variabelen die niet direct observeer
zijn. Het zijn theoretische begrippen, gebaseerd op wetenschappelijke
theorie (e.g. extraversie, leervaardigheid en depressie). Constructen
hebben geen harde fysieke realiteit zoals een tafel of molecuul, maar zijn
zeer bruikbaar omdat ze gedrag en uitkomsten kunnen voorspellen. Ze
vereisen een duidelijke uitgebreide en afgebakende definitie.
Leerdoel 3: Beschrijven wat het verschil is tussen variabelen en
constructen
