Anouk Antonissen
Samenvatting week 4
Feyman, R.P. (1974). Cargo cult science. Eng Sci, 10–13.
Vroeger bedacht men allerlei gekke ideeën, zoals het idee dat een hoorn van een neushoorn de potentie
zou verhogen. Een aantal jaar later ontdekte men een methode voor het scheiden van ideeën:
- Hierbij was het zo dat de ideeën werden getest om te kijken welke werken en welke niet. Degenen die
niet werkten werden dan vervolgens ge-elimineert. Deze methode werd opgenomen in de wetenschap en
ontwikkelde zich tot de eeuw waarin wij nu leven de wetenschappelijke eeuw.
o MAAR toch zijn er veel mensen die nog praten over Ufo’s, astrologie en andere mythen. De schrijver
van dit artikel beweert daarom dat we helemaal niet in de wetenschappelijke eeuw leven.
De schrijver benadrukt dat mensen zoveel mooie dingen geloven en hij gaat op zoek waarom mensen al die
dingen geloven. Hij ging specifiek op zoek naar dingen die meer mensen geloven:
- Bijvoorbeeld het geloof dat we kennis hebben over hoe we het best moeten onderwijzen. Ondanks het
feit dat we denken dat we kennis hebben over hoe we het best leesmethodes moeten toepassen, zien we
leesscores van studenten omlaag gaan over tijd. Ondanks dit wordt er toch gezegd dat dit soort dingen
wetenschappelijk zijn, dat we ze bestuderen.
- De auteur denkt dat normale mensen met een gezond verstand en ideeën worden geïntimideerd door
deze pseudowetenschap.
o Bijvoorbeeld een leraar die een goed idee heeft over hoe ze haar kinderen les moet geven, wordt
door het schoolsysteem gedwongen om het op een andere manier aan te pakken of wordt er zelfs
van overtuigd dat haar methode niet goed is.
De auteur zegt dat we eigenlijk moeten kijken naar theorieën de niet blijken te werken en naar
wetenschap dat eigenlijk helemaal geen wetenschap is…
De auteur denkt dat de educationele en psychologische studies die hij eerder heeft genoemd voorbeelden
zijn van Cargo Cult Science.
- In de zuidelijke zee is er een Cargo Cult van mensen tijdens de oorlog zagen zij vliegtuigen met heel
veel materialen landen en zij wilden dat dit nu opnieuw gebeurde. Dus maakten zij dingen die leken op
landingsbanen, met lichten vuur langs die landingsbanen en ze bouwden een houten hut waarin een man
kon zitten, die een koptelefoon op had van houten stokken. Ze wachtten vervolgens tot het vliegtuig
landde. Ze deden alles goed, de vorm was perfect, alles leek zoals eerder MAAR het werkte niet geen
enkel vliegtuig landde.
- De schrijver noemt dit Cargo Cult Science, omdat het alle schijnbare percepties en vormen volgt van
wetenschappelijk onderzoek, maar er mist een belangrijk essentieel iets (omdat de vliegtuigen niet
landen).
o Het is niet zo gemakkelijk uit te leggen wat er nu precies mist, maar het is sowieso één kenmerk. Dat
is het idee dat we allemaal hopen dat je hebt geleerd op school er wordt niet expliciet gezegd
wat het is, maar het artikel gaat ervan uit dat je het wel weet aan de hand van alle voorbeelden van
wetenschappelijk onderzoek. Het is een soort van wetenschappelijke integriteit. Een principe van
het wetenschappelijk denken dat correspondeert met volslagen eerlijkheid.
Bijv. bij een experiment: als je een experiment gaat uitvoeren, moet je alles rapporteren dus
naast dingen die waar zijn, moeten we ook rapporteren wat mogelijk niet waar is.
Het idee is om zoveel mogelijk informatie te geven om andere te helpen een oordeel te vormen
over jouw contributie. Niet alleen de informatie die leidt tot oordelen in een bepaalde richting.
We weten uit ervaring dat de waarheid uiteindelijk wel naar boven zal komen. Andere onderzoekers gaan je
experiment repliceren en zullen uitvinden of je het eerlijk hebt gedaan of niet. Natuurlijke fenomenen zullen
het eens zijn met de theorie of niet.
- Het is dit soort integriteit, de soort waar je niet moet dollen met jezelf, die mist in het onderzoek van
Cargo Cult Science.
1
, Anouk Antonissen
Een probleem die zij tegenkomen is de moeilijkheid van het subject en de slechte toepasbaarheid van de
wetenschappelijke methode op het subject. Maar dit is niet het enige probleem:
- Het is nooit echt geleerd dat wetenschappers integriteit moeten bezitten, er is altijd maar vanuit gegaan
dat je dat op de een of andere manier hebt opgenomen. Het eerste probleem wat hierboven dus wordt
genoemd is het feit dat je jezelf voor de gek kan houden. Andere problemen die hierdoor kunnen
ontstaan, zijn dat je daardoor ook andere mensen voor de gek gaat houden.
o Dit kan je voorkomen door jezelf niet voor de gek te houden. Het is makkelijk om anderen niet voor
de gek te houden, als je eerlijk bent.
De auteur noemt een voorbeeld: Als je een theorie aan het testen bent, dan moet je eigenlijk alles
publiceren wat er uit komt. Als je alleen maar bepaalde resultaten noteert, maak je de resultaten mooier dan
ze zijn.
- In 1935 was het voor onderzoekers ook niet gebruikelijk om experimenten van andere onderzoekers te
repliceren, want dit zou tijdverspilling zijn.
- Het lijkt alsof dit nu weer gebeurd, doordat men tegenwoordig zo gericht is op het zoeken van resultaten
die gepubliceerd kunnen worden. Hierdoor verpesten ze de waarde van hun experiment. Dit laat zien dat
een tekort aan wetenschappelijke integriteit ervoor zorgt dat onderzoeken niet compleet worden.
o Zo zien we ook steeds vaker dat studenten wordt geleerd om bepaalde resultaten te verkrijgen, in
plaats van dat hen wordt geleerd hoe ze een goed experiment uitvoeren met de juiste
wetenschappelijke intregiteit.
Volgens de auteur is het van groot belang dat iedere onderzoeker zijn integriteit behoudt en deze
zich niet laat pushen door de positie van de organisatie of de financiële steun.
Simmons, J.P., Nelson, L.D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in
Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11),
1359–1366. doi:10.1177/0956797611417632
Abstract
In dit artikel gaat men twee dingen doen:
1. Ondanks de nominale goedkeuring van een lage hoeveelheid van false-positive bevindingen (≤ .05),
zorgt flexibiliteit in dataverzameling, analyse en rapporteren voor een enorme stijging in de
daadwerkelijke false-positive rates.
o In veel gevallen is het zo dat een onderzoeker eerder onterecht bewijs vindt dat een effect bestaat
dan dat hij correct bewijs vindt dat het effect niet bestaat.
2. Er wordt een oplossing gegeven voor het probleem van valse hypotheses. Deze oplossing bevat zes
concrete eisen voor auteur en vier richtlijnen voor recensenten, die allemaal een minimale belasting
opleggen op het publicatieproces.
Inleiding
De meest kostbare fout die een onderzoeker kan maken, is de false-positive error = de incorrecte
verwerping van een nulhypothese:
- Wanneer ze eenmaal in de literatuur terecht komen, zijn false-positives erg aanhoudend (persistent).
o Omdat nulresultaten veel mogelijke oorzaken hebben, is het falen van het repliceren van de vorige
bevindingen nooit concluderend.
o Daarnaast is het ongewoon voor tijdschriften om nulresultaten of exacte replicaties te publiceren
onderzoekers streven daarom ook niet naar nulresultaten.
- False-positives verspillen bronnen: ze zorgen ervoor dat men veel inspanning gaat leveren in nutteloze
onderzoeksprogramma’s en ze kunnen leiden tot ineffectieve veranderingen in het beleid.
- Een onderzoeksgebied dat veel false-postives publiceert, loopt het risico om zijn geloofwaardigheid te
verliezen.
Dit artikel:
- In dit artikel laat men zien dat, ondanks de nominale goedkeuring van een maximum false-positive rate
van 5% (ofwel p ≤ .05), huidige normen voor het openbaar maken van details van dataverzameling en
analyse zorgen voor een grotere kans op false-positives.
2
Samenvatting week 4
Feyman, R.P. (1974). Cargo cult science. Eng Sci, 10–13.
Vroeger bedacht men allerlei gekke ideeën, zoals het idee dat een hoorn van een neushoorn de potentie
zou verhogen. Een aantal jaar later ontdekte men een methode voor het scheiden van ideeën:
- Hierbij was het zo dat de ideeën werden getest om te kijken welke werken en welke niet. Degenen die
niet werkten werden dan vervolgens ge-elimineert. Deze methode werd opgenomen in de wetenschap en
ontwikkelde zich tot de eeuw waarin wij nu leven de wetenschappelijke eeuw.
o MAAR toch zijn er veel mensen die nog praten over Ufo’s, astrologie en andere mythen. De schrijver
van dit artikel beweert daarom dat we helemaal niet in de wetenschappelijke eeuw leven.
De schrijver benadrukt dat mensen zoveel mooie dingen geloven en hij gaat op zoek waarom mensen al die
dingen geloven. Hij ging specifiek op zoek naar dingen die meer mensen geloven:
- Bijvoorbeeld het geloof dat we kennis hebben over hoe we het best moeten onderwijzen. Ondanks het
feit dat we denken dat we kennis hebben over hoe we het best leesmethodes moeten toepassen, zien we
leesscores van studenten omlaag gaan over tijd. Ondanks dit wordt er toch gezegd dat dit soort dingen
wetenschappelijk zijn, dat we ze bestuderen.
- De auteur denkt dat normale mensen met een gezond verstand en ideeën worden geïntimideerd door
deze pseudowetenschap.
o Bijvoorbeeld een leraar die een goed idee heeft over hoe ze haar kinderen les moet geven, wordt
door het schoolsysteem gedwongen om het op een andere manier aan te pakken of wordt er zelfs
van overtuigd dat haar methode niet goed is.
De auteur zegt dat we eigenlijk moeten kijken naar theorieën de niet blijken te werken en naar
wetenschap dat eigenlijk helemaal geen wetenschap is…
De auteur denkt dat de educationele en psychologische studies die hij eerder heeft genoemd voorbeelden
zijn van Cargo Cult Science.
- In de zuidelijke zee is er een Cargo Cult van mensen tijdens de oorlog zagen zij vliegtuigen met heel
veel materialen landen en zij wilden dat dit nu opnieuw gebeurde. Dus maakten zij dingen die leken op
landingsbanen, met lichten vuur langs die landingsbanen en ze bouwden een houten hut waarin een man
kon zitten, die een koptelefoon op had van houten stokken. Ze wachtten vervolgens tot het vliegtuig
landde. Ze deden alles goed, de vorm was perfect, alles leek zoals eerder MAAR het werkte niet geen
enkel vliegtuig landde.
- De schrijver noemt dit Cargo Cult Science, omdat het alle schijnbare percepties en vormen volgt van
wetenschappelijk onderzoek, maar er mist een belangrijk essentieel iets (omdat de vliegtuigen niet
landen).
o Het is niet zo gemakkelijk uit te leggen wat er nu precies mist, maar het is sowieso één kenmerk. Dat
is het idee dat we allemaal hopen dat je hebt geleerd op school er wordt niet expliciet gezegd
wat het is, maar het artikel gaat ervan uit dat je het wel weet aan de hand van alle voorbeelden van
wetenschappelijk onderzoek. Het is een soort van wetenschappelijke integriteit. Een principe van
het wetenschappelijk denken dat correspondeert met volslagen eerlijkheid.
Bijv. bij een experiment: als je een experiment gaat uitvoeren, moet je alles rapporteren dus
naast dingen die waar zijn, moeten we ook rapporteren wat mogelijk niet waar is.
Het idee is om zoveel mogelijk informatie te geven om andere te helpen een oordeel te vormen
over jouw contributie. Niet alleen de informatie die leidt tot oordelen in een bepaalde richting.
We weten uit ervaring dat de waarheid uiteindelijk wel naar boven zal komen. Andere onderzoekers gaan je
experiment repliceren en zullen uitvinden of je het eerlijk hebt gedaan of niet. Natuurlijke fenomenen zullen
het eens zijn met de theorie of niet.
- Het is dit soort integriteit, de soort waar je niet moet dollen met jezelf, die mist in het onderzoek van
Cargo Cult Science.
1
, Anouk Antonissen
Een probleem die zij tegenkomen is de moeilijkheid van het subject en de slechte toepasbaarheid van de
wetenschappelijke methode op het subject. Maar dit is niet het enige probleem:
- Het is nooit echt geleerd dat wetenschappers integriteit moeten bezitten, er is altijd maar vanuit gegaan
dat je dat op de een of andere manier hebt opgenomen. Het eerste probleem wat hierboven dus wordt
genoemd is het feit dat je jezelf voor de gek kan houden. Andere problemen die hierdoor kunnen
ontstaan, zijn dat je daardoor ook andere mensen voor de gek gaat houden.
o Dit kan je voorkomen door jezelf niet voor de gek te houden. Het is makkelijk om anderen niet voor
de gek te houden, als je eerlijk bent.
De auteur noemt een voorbeeld: Als je een theorie aan het testen bent, dan moet je eigenlijk alles
publiceren wat er uit komt. Als je alleen maar bepaalde resultaten noteert, maak je de resultaten mooier dan
ze zijn.
- In 1935 was het voor onderzoekers ook niet gebruikelijk om experimenten van andere onderzoekers te
repliceren, want dit zou tijdverspilling zijn.
- Het lijkt alsof dit nu weer gebeurd, doordat men tegenwoordig zo gericht is op het zoeken van resultaten
die gepubliceerd kunnen worden. Hierdoor verpesten ze de waarde van hun experiment. Dit laat zien dat
een tekort aan wetenschappelijke integriteit ervoor zorgt dat onderzoeken niet compleet worden.
o Zo zien we ook steeds vaker dat studenten wordt geleerd om bepaalde resultaten te verkrijgen, in
plaats van dat hen wordt geleerd hoe ze een goed experiment uitvoeren met de juiste
wetenschappelijke intregiteit.
Volgens de auteur is het van groot belang dat iedere onderzoeker zijn integriteit behoudt en deze
zich niet laat pushen door de positie van de organisatie of de financiële steun.
Simmons, J.P., Nelson, L.D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in
Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11),
1359–1366. doi:10.1177/0956797611417632
Abstract
In dit artikel gaat men twee dingen doen:
1. Ondanks de nominale goedkeuring van een lage hoeveelheid van false-positive bevindingen (≤ .05),
zorgt flexibiliteit in dataverzameling, analyse en rapporteren voor een enorme stijging in de
daadwerkelijke false-positive rates.
o In veel gevallen is het zo dat een onderzoeker eerder onterecht bewijs vindt dat een effect bestaat
dan dat hij correct bewijs vindt dat het effect niet bestaat.
2. Er wordt een oplossing gegeven voor het probleem van valse hypotheses. Deze oplossing bevat zes
concrete eisen voor auteur en vier richtlijnen voor recensenten, die allemaal een minimale belasting
opleggen op het publicatieproces.
Inleiding
De meest kostbare fout die een onderzoeker kan maken, is de false-positive error = de incorrecte
verwerping van een nulhypothese:
- Wanneer ze eenmaal in de literatuur terecht komen, zijn false-positives erg aanhoudend (persistent).
o Omdat nulresultaten veel mogelijke oorzaken hebben, is het falen van het repliceren van de vorige
bevindingen nooit concluderend.
o Daarnaast is het ongewoon voor tijdschriften om nulresultaten of exacte replicaties te publiceren
onderzoekers streven daarom ook niet naar nulresultaten.
- False-positives verspillen bronnen: ze zorgen ervoor dat men veel inspanning gaat leveren in nutteloze
onderzoeksprogramma’s en ze kunnen leiden tot ineffectieve veranderingen in het beleid.
- Een onderzoeksgebied dat veel false-postives publiceert, loopt het risico om zijn geloofwaardigheid te
verliezen.
Dit artikel:
- In dit artikel laat men zien dat, ondanks de nominale goedkeuring van een maximum false-positive rate
van 5% (ofwel p ≤ .05), huidige normen voor het openbaar maken van details van dataverzameling en
analyse zorgen voor een grotere kans op false-positives.
2
