KOM integriteit
18-10-19
Voorwaarden voor goede en integere wetenschap:
Eerlijkheid, zorgvuldigheid, transparantie, onafhankelijkheid,
verantwoordelijkheid.
Voorbeeld:
Idee/theorie
Verloedering straatbeeld leidt tot stereotypering en discriminatie.
We doen bij deze theorie aan deductie:
Dan hebben we een specifieke onderzoeksvraag/hypothese:
Vertonen mensen op vieze stations meer discriminerend gedrag dan op schone stations?
Onderzoeksontwerp
Hoe?
Experiment:
- Utrecht centraal voor schoonmaak
- Utrecht centraal na schoonmaak
Beide een vragenlijst invullen over seksuele/etniciteit voorkeur en persoonlijkheidstrekken.
Mochten zitten op een bank. Aan andere kant van de bank zat iemand van andere etniciteit.
Operationaliseren van de constructen:
Straatbeeld (gemanipuleerde variabele)
- Schoon en vies station
Stereotypering
- Vragenlijst
Discriminatie
- Afstand tot persoon op bank
Wie?
- Reizigers op Utrecht centraal. Dit is gemakssteekproef.
- Interne validiteit is belangrijker dan extern.
Causaliteit
Was er sprake van random toewijzing van personen aan de experimentele condities (schoon
en vies station)?
Nee. Je was er toevallig tijdens het vieze station. Of na het schoonmaken.
,Wel was er een soort natuurlijke verdeling. Maar geen actieve random toewijzing. Dus we
kunnen niet uitsluiten dat er geen selectie effect is toegetreden?
Alternatieve verklaringen uitgesloten?
Nee: invloed van aanwezigheid van stakende schoonmakers, de drukte, hun humeur, beetje
geïrriteerd. Zijn allemaal andere factoren.
Wel hebben ze een derde variabel humeur uitgesloten. Ook aantal vragen over je humeur.
Data-analyse
Resultaat:
- Mensen die de vragenlijst op het vieze station invulden hadden sterkere stereotypen.
- Op het vieze station waren de deelnemers meer geneigd verder van de persoon op
het bankje te gaan zitten wanneer deze een andere etnische achtergrond had.
Er is een probleem: onderzoek is uitgevoerd door Diederik Stapel. Hij is nooit op Utrecht
centraal geweest, om hun onderzoek uit te voeren. De data is verzonnen.
➔ Dit heet fabricage:
o Data verzinnen
o Bewuste schending
Plagiaat:
o Werk van andere kopiëren (zonder bronvermelding)
o Bewuste schending
Falsifying is het bewust:
- Niet rapporteren van bepaalde bevindingen
- Aanpassen van de data
- Foutief interpreteren van de data
Is het verwijderen van de outlier bij de data-analyse een vorm
van falsificatie?
Niet significante resultaten komen niet in artikel want:
- Zonde van de moeite: wetenschappelijke tijdschriften
willen graag interessante/vernieuwende resultaten publiceren, dat trekt meer lezers!
- Confirmation bias: resultaten die niet overeenkomen met verwachting worden
(on)opzettelijk genegeerd door de onderzoeker
➔ File-drawer problem:
o Sommige onderzoeken verdwijnen in een lade.
Slechts een deel van de ware relaties tussen variabelen of verschillen
tussen groepen worden gevonden. (Door de weinig power).
Van een deel van de niet bestaande relaties/ verschillen wordt geconcludeerd dat
zij wel bestaan: type 1 fout.
, Dit komt allemaal in de publicatie:
Misschien is 1/3 van gepubliceerde artikelen incorrect.
Afwezigheid negatieve en nulresultaten leidt tot bias in de richting van grote (positieve)
effecten:
➔ Publication bias
We overschatten dus de sterkte van verbanden.
Wetenschappers willen interessante dingen produceren. Maar onderzoekers moeten ook
voldoende produceren om een carrière te maken.
➔ Questionable Research Practices (QRP)
QRP: onterecht verwijderen van uitschieters
Verwijderen van uitschieters om p-waarde omlaag te krijgen.
Verwijderen mag alleen als het om een fout gaat.
QRP: p-hacking
Zoeken naar significante verbanden in de data zonder vooraf hypotheses op te stellen.
Bij veel variabelen vinden onderzoekers wel iets significants.
➔ Zoeken van verbanden mag, alleen als het gepresenteerd is als exploratief
onderzoek.
QRP: HARKing
Achteraf formuleren van hypothesen en doen alsof deze vooraf waren opgesteld. (Vorm van
falsifying). Dit is geen p-hacking, want je hebt toch een hypothese.
Veel meer type 1 fouten terechtkomen, dan eigenlijk gehoeven had (5% als p=.05)
Oplossingen
1. Retractie:
- Vorm van zelfcorrectie achteraf
Dit heeft nadelen:
- Reputatieschade onderzoeker
- Reputatieschade wetenschap
- Vaak lange tijd tussen publicatie en retractie
2. Post Publicatie Peer Review (PPPR)
Een online discussieplatform over publicaties. (Leidt tot meer verantw en transparantie).
- Auteurs
- Redacteurs
- Peers
18-10-19
Voorwaarden voor goede en integere wetenschap:
Eerlijkheid, zorgvuldigheid, transparantie, onafhankelijkheid,
verantwoordelijkheid.
Voorbeeld:
Idee/theorie
Verloedering straatbeeld leidt tot stereotypering en discriminatie.
We doen bij deze theorie aan deductie:
Dan hebben we een specifieke onderzoeksvraag/hypothese:
Vertonen mensen op vieze stations meer discriminerend gedrag dan op schone stations?
Onderzoeksontwerp
Hoe?
Experiment:
- Utrecht centraal voor schoonmaak
- Utrecht centraal na schoonmaak
Beide een vragenlijst invullen over seksuele/etniciteit voorkeur en persoonlijkheidstrekken.
Mochten zitten op een bank. Aan andere kant van de bank zat iemand van andere etniciteit.
Operationaliseren van de constructen:
Straatbeeld (gemanipuleerde variabele)
- Schoon en vies station
Stereotypering
- Vragenlijst
Discriminatie
- Afstand tot persoon op bank
Wie?
- Reizigers op Utrecht centraal. Dit is gemakssteekproef.
- Interne validiteit is belangrijker dan extern.
Causaliteit
Was er sprake van random toewijzing van personen aan de experimentele condities (schoon
en vies station)?
Nee. Je was er toevallig tijdens het vieze station. Of na het schoonmaken.
,Wel was er een soort natuurlijke verdeling. Maar geen actieve random toewijzing. Dus we
kunnen niet uitsluiten dat er geen selectie effect is toegetreden?
Alternatieve verklaringen uitgesloten?
Nee: invloed van aanwezigheid van stakende schoonmakers, de drukte, hun humeur, beetje
geïrriteerd. Zijn allemaal andere factoren.
Wel hebben ze een derde variabel humeur uitgesloten. Ook aantal vragen over je humeur.
Data-analyse
Resultaat:
- Mensen die de vragenlijst op het vieze station invulden hadden sterkere stereotypen.
- Op het vieze station waren de deelnemers meer geneigd verder van de persoon op
het bankje te gaan zitten wanneer deze een andere etnische achtergrond had.
Er is een probleem: onderzoek is uitgevoerd door Diederik Stapel. Hij is nooit op Utrecht
centraal geweest, om hun onderzoek uit te voeren. De data is verzonnen.
➔ Dit heet fabricage:
o Data verzinnen
o Bewuste schending
Plagiaat:
o Werk van andere kopiëren (zonder bronvermelding)
o Bewuste schending
Falsifying is het bewust:
- Niet rapporteren van bepaalde bevindingen
- Aanpassen van de data
- Foutief interpreteren van de data
Is het verwijderen van de outlier bij de data-analyse een vorm
van falsificatie?
Niet significante resultaten komen niet in artikel want:
- Zonde van de moeite: wetenschappelijke tijdschriften
willen graag interessante/vernieuwende resultaten publiceren, dat trekt meer lezers!
- Confirmation bias: resultaten die niet overeenkomen met verwachting worden
(on)opzettelijk genegeerd door de onderzoeker
➔ File-drawer problem:
o Sommige onderzoeken verdwijnen in een lade.
Slechts een deel van de ware relaties tussen variabelen of verschillen
tussen groepen worden gevonden. (Door de weinig power).
Van een deel van de niet bestaande relaties/ verschillen wordt geconcludeerd dat
zij wel bestaan: type 1 fout.
, Dit komt allemaal in de publicatie:
Misschien is 1/3 van gepubliceerde artikelen incorrect.
Afwezigheid negatieve en nulresultaten leidt tot bias in de richting van grote (positieve)
effecten:
➔ Publication bias
We overschatten dus de sterkte van verbanden.
Wetenschappers willen interessante dingen produceren. Maar onderzoekers moeten ook
voldoende produceren om een carrière te maken.
➔ Questionable Research Practices (QRP)
QRP: onterecht verwijderen van uitschieters
Verwijderen van uitschieters om p-waarde omlaag te krijgen.
Verwijderen mag alleen als het om een fout gaat.
QRP: p-hacking
Zoeken naar significante verbanden in de data zonder vooraf hypotheses op te stellen.
Bij veel variabelen vinden onderzoekers wel iets significants.
➔ Zoeken van verbanden mag, alleen als het gepresenteerd is als exploratief
onderzoek.
QRP: HARKing
Achteraf formuleren van hypothesen en doen alsof deze vooraf waren opgesteld. (Vorm van
falsifying). Dit is geen p-hacking, want je hebt toch een hypothese.
Veel meer type 1 fouten terechtkomen, dan eigenlijk gehoeven had (5% als p=.05)
Oplossingen
1. Retractie:
- Vorm van zelfcorrectie achteraf
Dit heeft nadelen:
- Reputatieschade onderzoeker
- Reputatieschade wetenschap
- Vaak lange tijd tussen publicatie en retractie
2. Post Publicatie Peer Review (PPPR)
Een online discussieplatform over publicaties. (Leidt tot meer verantw en transparantie).
- Auteurs
- Redacteurs
- Peers
