Samenvatting PaW
Science Fictions – Stuart Ritchie
1. How Science Works
Wetenschap is een sociaal construct: wetenschappers werken samen en tonen
elkaar hun hoe ze tot hun conclusies zijn gekomen.
Desk rejection = als wetenschappers hun artikel naar journal sturen voor publicatie
en afgewezen worden.
Mertoniaanse normen:
1. Universalisme: wetenschappelijke kennis is wetenschappelijke kennis, maakt
niet uit van wie het komt, ongeacht geslacht, afkomst, leeftijd, etc.
2. Disinterestedness: de wetenschapper doet het alleen kennis van het
universum te verbreden, mag er geen eigen belangen bij hebben, zoals geld of
reputatie/ status.
3. Communality: wetenschappers moeten hun kennis met elkaar delen.
4. Organised scepticism: niks mag zomaar als de waarheid worden
aangenomen, alles moet eerst gecheckt worden, peer review valt hieronder.
2. The Replication Crisis
Replicatie crisis: een probleem in de wetenschap waarbij veel, soms tot dan toe
baanbrekende, onderzoeken niet reproduceerbaar bleken.
Reproducability = als je exact dezelfde dataset gebruikt, zouden exact
dezelfde resultaten naar voren moeten komen.
Replicability = hetzelfde onderzoek opnieuw uitvoeren op andere data.
Medical reversal = geaccepteerde medische kennis wordt tegengesproken
door nieuwe studies.
4. Bias
Publicatie bias = nulresultaten worden vaak niet gepubliceerd, maar positieve
resultaten wel. Hierdoor kan en verdraaid beeld van de werkelijkheid ontstaan.
De p-waarde is de kans dat als er geen resultaat is, je hetzelfde of een groter effect
vindt. De grenswaarde is .05. Resultaten hieronder worden gezien als ‘positieve
resultaten’ en resultaten hierboven worden gezien als ‘nulresultaten’.
In meta-analyses worden effect size en sample size meegenomen.
p-hacking = continu data-analyse opnieuw uitvoeren met kleine
aanpassingen totdat je een significante p-waarde hebt gevonden.
HARKing = Hypothesizing After the Result are Known. Na de resultaten een
hypothese opstellen bij een gevonden significante p-waarde waar je van
tevoren niet naar op zoek was.
Outcome-switching = wanneer je een nulresultaat vindt in wat je beoogde
te onderzoeken, maar (bij toeval) een significant resultaat vindt op iets anders,
en dit presenteert als waar je in eerste instantie naar op zoek was.
, Meaning-well bias = als je uit goede bedoelingen wil dat je een positief resultaat
vindt en dit je onderzoek beïnvloedt.
5. Negligence
Negligence = onzorgvuldigheid, nonchalance, nalatigheid, vaak numerieke fouten.
Twee soorten:
Ongedwongen fouten in wetenschappelijke analyses door onoplettendheid of
onzorgvuldigheid.
Wanneer wetenschappers, die beter zouden moeten weten, fouten inbouwen
in de manier waarop hun studies zijn ontworpen.
Methoden om numerieke fouten op te sporen: bijvoorbeeld de GRIM test, Carlisle’s
methode en statcheck.
Blinding = als de onderzoeker of persoon die het experiment uitvoert niet weet wie
in de experimentgroep en wie in de controlegroep zitten.
Statistische power = als een test een hogere statistische power heeft betekent dit
dat er een grotere kans is dat het verschil tussen groepen gevonden wordt. Bij een
hoge statistische power is een kleinere steekproef nodig en bij een kleinere
statistische power is een grotere steekproef nodig om het effect te vinden.
Kan wel eens misgaan: underpowered studies kunnen alleen grote effecten
detecteren, waardoor dit de enige effecten zijn die gevonden worden en die zijn dan
meestal overdreven. Leidt ook tot publicatiebias.
6. Hype
Door grote hype van de media en het nieuws worden resultaten vaak uit proportie
gehaald, maar vaak zijn het juist de wetenschappers zelf die hun resultaten ophypen.
Drie soorten hype door de pers:
1. Unwarranted advice: wanneer de media uit zichzelf adviezen gaat
uitbrengen aan de lezers aan de hand van resultaten. Die adviezen zijn vaak
simplistischer of directer dan de resultaten van het onderzoek ondersteunen.
2. Cross-species leap: als er te snel conclusies worden getrokken over mensen
wanneer het onderzoek met dieren is gedaan. Deze link kan namelijk niet
zomaar getrokken worden.
3. Correlation is not causation: correlatie betekent alleen maar dat er een
verband is, niet een causatie. De media trekt deze conclusie vaak onterecht.
Gebied dat het meeste te maken krijgt met dit soort hype is voeding.
7. Perverse Incentives
Incentives: stimulansen, beloningen.
Onderzoeken die positieve, nieuwe, flashy resultaten vinden worden meer en beter
beloond dan onderzoeken die nulresultaten vinden.
Bijvoorbeeld in China worden onderzoekers met een bonus betaald voor elk artikel
dat ze publiceren in internationale wetenschappelijke journals. Hiermee wordt de
Mertoniaanse norm disinterestedness geschonden, omdat de onderzoekers journals
gaan publiceren voor de bonus in plaats van voor het verbreden van de
wetenschappelijke kennis over de wereld.
Science Fictions – Stuart Ritchie
1. How Science Works
Wetenschap is een sociaal construct: wetenschappers werken samen en tonen
elkaar hun hoe ze tot hun conclusies zijn gekomen.
Desk rejection = als wetenschappers hun artikel naar journal sturen voor publicatie
en afgewezen worden.
Mertoniaanse normen:
1. Universalisme: wetenschappelijke kennis is wetenschappelijke kennis, maakt
niet uit van wie het komt, ongeacht geslacht, afkomst, leeftijd, etc.
2. Disinterestedness: de wetenschapper doet het alleen kennis van het
universum te verbreden, mag er geen eigen belangen bij hebben, zoals geld of
reputatie/ status.
3. Communality: wetenschappers moeten hun kennis met elkaar delen.
4. Organised scepticism: niks mag zomaar als de waarheid worden
aangenomen, alles moet eerst gecheckt worden, peer review valt hieronder.
2. The Replication Crisis
Replicatie crisis: een probleem in de wetenschap waarbij veel, soms tot dan toe
baanbrekende, onderzoeken niet reproduceerbaar bleken.
Reproducability = als je exact dezelfde dataset gebruikt, zouden exact
dezelfde resultaten naar voren moeten komen.
Replicability = hetzelfde onderzoek opnieuw uitvoeren op andere data.
Medical reversal = geaccepteerde medische kennis wordt tegengesproken
door nieuwe studies.
4. Bias
Publicatie bias = nulresultaten worden vaak niet gepubliceerd, maar positieve
resultaten wel. Hierdoor kan en verdraaid beeld van de werkelijkheid ontstaan.
De p-waarde is de kans dat als er geen resultaat is, je hetzelfde of een groter effect
vindt. De grenswaarde is .05. Resultaten hieronder worden gezien als ‘positieve
resultaten’ en resultaten hierboven worden gezien als ‘nulresultaten’.
In meta-analyses worden effect size en sample size meegenomen.
p-hacking = continu data-analyse opnieuw uitvoeren met kleine
aanpassingen totdat je een significante p-waarde hebt gevonden.
HARKing = Hypothesizing After the Result are Known. Na de resultaten een
hypothese opstellen bij een gevonden significante p-waarde waar je van
tevoren niet naar op zoek was.
Outcome-switching = wanneer je een nulresultaat vindt in wat je beoogde
te onderzoeken, maar (bij toeval) een significant resultaat vindt op iets anders,
en dit presenteert als waar je in eerste instantie naar op zoek was.
, Meaning-well bias = als je uit goede bedoelingen wil dat je een positief resultaat
vindt en dit je onderzoek beïnvloedt.
5. Negligence
Negligence = onzorgvuldigheid, nonchalance, nalatigheid, vaak numerieke fouten.
Twee soorten:
Ongedwongen fouten in wetenschappelijke analyses door onoplettendheid of
onzorgvuldigheid.
Wanneer wetenschappers, die beter zouden moeten weten, fouten inbouwen
in de manier waarop hun studies zijn ontworpen.
Methoden om numerieke fouten op te sporen: bijvoorbeeld de GRIM test, Carlisle’s
methode en statcheck.
Blinding = als de onderzoeker of persoon die het experiment uitvoert niet weet wie
in de experimentgroep en wie in de controlegroep zitten.
Statistische power = als een test een hogere statistische power heeft betekent dit
dat er een grotere kans is dat het verschil tussen groepen gevonden wordt. Bij een
hoge statistische power is een kleinere steekproef nodig en bij een kleinere
statistische power is een grotere steekproef nodig om het effect te vinden.
Kan wel eens misgaan: underpowered studies kunnen alleen grote effecten
detecteren, waardoor dit de enige effecten zijn die gevonden worden en die zijn dan
meestal overdreven. Leidt ook tot publicatiebias.
6. Hype
Door grote hype van de media en het nieuws worden resultaten vaak uit proportie
gehaald, maar vaak zijn het juist de wetenschappers zelf die hun resultaten ophypen.
Drie soorten hype door de pers:
1. Unwarranted advice: wanneer de media uit zichzelf adviezen gaat
uitbrengen aan de lezers aan de hand van resultaten. Die adviezen zijn vaak
simplistischer of directer dan de resultaten van het onderzoek ondersteunen.
2. Cross-species leap: als er te snel conclusies worden getrokken over mensen
wanneer het onderzoek met dieren is gedaan. Deze link kan namelijk niet
zomaar getrokken worden.
3. Correlation is not causation: correlatie betekent alleen maar dat er een
verband is, niet een causatie. De media trekt deze conclusie vaak onterecht.
Gebied dat het meeste te maken krijgt met dit soort hype is voeding.
7. Perverse Incentives
Incentives: stimulansen, beloningen.
Onderzoeken die positieve, nieuwe, flashy resultaten vinden worden meer en beter
beloond dan onderzoeken die nulresultaten vinden.
Bijvoorbeeld in China worden onderzoekers met een bonus betaald voor elk artikel
dat ze publiceren in internationale wetenschappelijke journals. Hiermee wordt de
Mertoniaanse norm disinterestedness geschonden, omdat de onderzoekers journals
gaan publiceren voor de bonus in plaats van voor het verbreden van de
wetenschappelijke kennis over de wereld.
