Preface
meta-science = de wetenschap van de wetenschap.
Hoofdstuk 1
Wetenschap is een sociale constructie; tot stand gekomen door een sociaal proces waarin
andere wetenschappers overtuigd moeten worden van de waarde van een ontdekking.
Het subjectieve menselijke proces van kritische beoordeling zorgt voor meer objectiviteit
(paradoxaal).
Proces wetenschappelijk onderzoek:
1. literatuuronderzoek; verdiepen in bestaande studies
2. onderzoeksvraag/hypothese; gebaseerd op de bestaande theorie
3. financiering aanvragen
4. uitvoering van onderzoek
5. data-analyse; vaak met behulp van statistiek
6. schrijven van het artikel (abstract, inleiding, methode, resultaten, discussie)
Desk rejection: veel artikelen worden direct afgewezen. Dan bij ander tijdschrift proberen.
Ethisch kader: Mertonian Norms: van Robert Merton:
- Universalisme: kennis moet beoordeeld worden op basis van methode, niet op
basis van wie de onderzoeker is; alle mensen / rassen / genders kunnen meedoen.
- Belangeloosheid (disinterestedness): wetenschappers handelen uit puur streven
naar kennis, niet uit eigenbelang
- Gemeenschappelijkheid (communality): kennis moet gedeeld worden met
anderen
- Georganiseerd scepticisme: wetenschappelijke claims mogen nooit zomaar als
waar aangenomen worden; alles moet kritisch worden beoordeeld.
Volgens Popper zijn experimenten pas wetenschappelijk als ze herhaalbaar (repliceerbaar)
zijn.
Hoofdstuk 2 Replicatiecrisis
Replicatiecrisis: meerdere beroemde studies konden niet gerepliceerd worden. Vooral
primingstudies konden niet gerepliceerd worden (dat je geprimed wordt door een stimulus).
→ hierdoor volgden grote replicatie projecten:
- 39% van 100 studies lukte te repliceren
- 62% van 21 andere studies lukte
Vaak waren oorspronkelijke effectgroottes te overdreven bij succesvolle replicaties. Vooral
sociale psychologie bleek kwetsbaar, cognitieve scoorde wat beter.
Bijna niemand voert replicatie studies uit, slechts iets meer dan 1% in de psychologie.
Ander probleem: reproduceerbaarheid: vermogen om zelfde resultaten te krijgen met
dezelfde dataset. Lukt niet door onduidelijke methoden, niet gedeelde analyse codes,
onverklaarde statistische stappen.
, Verschil reproduceerbaarheid en repliceerbaarheid:
Reproduceerdbaar: Iemand anders doet jouw onderzoek opnieuw met jouw data en
methode, en krijgt dezelfde resultaten.
Repliceerbaar: Iemand anders doet een nieuw onderzoek met nieuwe data, maar gebruikt
wel dezelfde opzet/methode, en kijkt of de bevindingen hetzelfde zijn.
In medisch onderzoek is het nog zorgwekkender, want dan gaat het over gevolgen voor
patiënten: 6 van de 53 kankerstudies konden gerepliceerd worden (11%).
Medical reversal: behandelingen die jarenlang effectief golden, blijken later niet of zelfs
schadelijk te zijn.
45% van medische studies heeft onvoldoende bewijs om te stellen dat behandeling werkt.
Alleen al in de VS wordt jaarlijks 28 miljard dollar verspild aan niet-repliceerbare studies.
Hoofdstuk 4 Bias
Confirmation bias: neiging om informatie te zoeken, interpreteren en onthouden op een
manier die iemands bestaande overtuigingen bevestigt: Voorbeeld: Arts vulde schedels van
mensen uit verschillende etnische groepen met mosterdzaadjes of loden balletjes om het
‘intellect’ te bepalen. Hij concludeerde dat witte mensen de grootste herseninhoud hadden,
en dus superieur waren. Wat bleek: hij verdeelde de groepen willekeurig en gebruikte
verschillende meetmethodes en controleerde zijn berekeningen alleen bij witte groepen en
selecteerde selectief dat superioriteit van witten werd ondersteund.
Mortons onbewuste verwachtingen en voorafgaande voorkeur bepaalden hoe hij zijn data
verzamelde en interpreteerde.
Publication bias: vertekening die ontstaat wanneer studies met positieve of significante
resultaten vaker worden gepubliceerd dan studies met negatieve of null-resultaten.
→ file-drawer probleem: teleurstellende studies verdwijnen door onderzoekers omdat ze
denken dat hun publicatie kans kleiner is, ze zelf minder enthousiast zijn en tijdschriften
vooral spectaculaire bevindingen willen.
Fanelli liet zien dat in psychologie meer dan 90% van de studies positieve resultaten had,
wat statistisch onmogelijk is, en bevestigt dat negatieve studies niet gepubliceerd worden.
p-waarde = kans dat je bepaald resultaat vind (of nog extremer), als er in werkelijkheid geen
echt effect bestaat. meestal < 0.05 = significant. Het zegt dus alleen iets over de
waarschijnlijkheid van je gegevens onder de aanname dat er GEEN effect is.
Zonder kwade bedoelingen analyse herhalen/aanpassen tot ze iets significants vinden:
- p-hacking: eindeloos heranalyseren tot het gewenste resultaat verschijnt
- HARKing: achteraf een hypothese verzinnen die past bij het gevonden effect
In elke dataset zit ruis: toevallige fluctuaties die niets met het onderzochte effect te maken
hebben.
Te veel op 1 specifieke dataset richten: overfitting: je model past perfect bij die dataset
maar is niet generaliseerbaar.
meta-science = de wetenschap van de wetenschap.
Hoofdstuk 1
Wetenschap is een sociale constructie; tot stand gekomen door een sociaal proces waarin
andere wetenschappers overtuigd moeten worden van de waarde van een ontdekking.
Het subjectieve menselijke proces van kritische beoordeling zorgt voor meer objectiviteit
(paradoxaal).
Proces wetenschappelijk onderzoek:
1. literatuuronderzoek; verdiepen in bestaande studies
2. onderzoeksvraag/hypothese; gebaseerd op de bestaande theorie
3. financiering aanvragen
4. uitvoering van onderzoek
5. data-analyse; vaak met behulp van statistiek
6. schrijven van het artikel (abstract, inleiding, methode, resultaten, discussie)
Desk rejection: veel artikelen worden direct afgewezen. Dan bij ander tijdschrift proberen.
Ethisch kader: Mertonian Norms: van Robert Merton:
- Universalisme: kennis moet beoordeeld worden op basis van methode, niet op
basis van wie de onderzoeker is; alle mensen / rassen / genders kunnen meedoen.
- Belangeloosheid (disinterestedness): wetenschappers handelen uit puur streven
naar kennis, niet uit eigenbelang
- Gemeenschappelijkheid (communality): kennis moet gedeeld worden met
anderen
- Georganiseerd scepticisme: wetenschappelijke claims mogen nooit zomaar als
waar aangenomen worden; alles moet kritisch worden beoordeeld.
Volgens Popper zijn experimenten pas wetenschappelijk als ze herhaalbaar (repliceerbaar)
zijn.
Hoofdstuk 2 Replicatiecrisis
Replicatiecrisis: meerdere beroemde studies konden niet gerepliceerd worden. Vooral
primingstudies konden niet gerepliceerd worden (dat je geprimed wordt door een stimulus).
→ hierdoor volgden grote replicatie projecten:
- 39% van 100 studies lukte te repliceren
- 62% van 21 andere studies lukte
Vaak waren oorspronkelijke effectgroottes te overdreven bij succesvolle replicaties. Vooral
sociale psychologie bleek kwetsbaar, cognitieve scoorde wat beter.
Bijna niemand voert replicatie studies uit, slechts iets meer dan 1% in de psychologie.
Ander probleem: reproduceerbaarheid: vermogen om zelfde resultaten te krijgen met
dezelfde dataset. Lukt niet door onduidelijke methoden, niet gedeelde analyse codes,
onverklaarde statistische stappen.
, Verschil reproduceerbaarheid en repliceerbaarheid:
Reproduceerdbaar: Iemand anders doet jouw onderzoek opnieuw met jouw data en
methode, en krijgt dezelfde resultaten.
Repliceerbaar: Iemand anders doet een nieuw onderzoek met nieuwe data, maar gebruikt
wel dezelfde opzet/methode, en kijkt of de bevindingen hetzelfde zijn.
In medisch onderzoek is het nog zorgwekkender, want dan gaat het over gevolgen voor
patiënten: 6 van de 53 kankerstudies konden gerepliceerd worden (11%).
Medical reversal: behandelingen die jarenlang effectief golden, blijken later niet of zelfs
schadelijk te zijn.
45% van medische studies heeft onvoldoende bewijs om te stellen dat behandeling werkt.
Alleen al in de VS wordt jaarlijks 28 miljard dollar verspild aan niet-repliceerbare studies.
Hoofdstuk 4 Bias
Confirmation bias: neiging om informatie te zoeken, interpreteren en onthouden op een
manier die iemands bestaande overtuigingen bevestigt: Voorbeeld: Arts vulde schedels van
mensen uit verschillende etnische groepen met mosterdzaadjes of loden balletjes om het
‘intellect’ te bepalen. Hij concludeerde dat witte mensen de grootste herseninhoud hadden,
en dus superieur waren. Wat bleek: hij verdeelde de groepen willekeurig en gebruikte
verschillende meetmethodes en controleerde zijn berekeningen alleen bij witte groepen en
selecteerde selectief dat superioriteit van witten werd ondersteund.
Mortons onbewuste verwachtingen en voorafgaande voorkeur bepaalden hoe hij zijn data
verzamelde en interpreteerde.
Publication bias: vertekening die ontstaat wanneer studies met positieve of significante
resultaten vaker worden gepubliceerd dan studies met negatieve of null-resultaten.
→ file-drawer probleem: teleurstellende studies verdwijnen door onderzoekers omdat ze
denken dat hun publicatie kans kleiner is, ze zelf minder enthousiast zijn en tijdschriften
vooral spectaculaire bevindingen willen.
Fanelli liet zien dat in psychologie meer dan 90% van de studies positieve resultaten had,
wat statistisch onmogelijk is, en bevestigt dat negatieve studies niet gepubliceerd worden.
p-waarde = kans dat je bepaald resultaat vind (of nog extremer), als er in werkelijkheid geen
echt effect bestaat. meestal < 0.05 = significant. Het zegt dus alleen iets over de
waarschijnlijkheid van je gegevens onder de aanname dat er GEEN effect is.
Zonder kwade bedoelingen analyse herhalen/aanpassen tot ze iets significants vinden:
- p-hacking: eindeloos heranalyseren tot het gewenste resultaat verschijnt
- HARKing: achteraf een hypothese verzinnen die past bij het gevonden effect
In elke dataset zit ruis: toevallige fluctuaties die niets met het onderzochte effect te maken
hebben.
Te veel op 1 specifieke dataset richten: overfitting: je model past perfect bij die dataset
maar is niet generaliseerbaar.
