Hoorcollege 3 Basis van onderzoeksmethoden en statistiek 21-10-2019
Experimenteel
Vorige week hebben we gekeken naar het verschil tussen een directe
instructiegroep en een controlegroep. Maar wat betekent een resultaat van
wetenschappelijk onderzoek, als we bedenken dat er verschillende fouten kunnen
optreden?
Replicatie: een onderzoek wat eerder is uitgevoerd, wordt nogmaals uitgevoerd
(of meerdere keren uitgevoerd) om te kijken of de resultaten bevestigd kunnen
worden.
Directe replicatie: onderzoeksprotocol moet exact herhaald worden. Dus de
eerste onderzoekers hebben beschreven hoe ze het onderzoek uitgevoerd
hebben, dit wordt exact herhaald.
o Voordeel: zeer goed vergelijkbaar
o Nadeel: problemen met de interne validiteit bij origineel onderzoek nog
steeds aanwezig. Problemen bij het eerste onderzoek, zijn er bij de
replicatie nog steeds zijn.
Conceptuele replicatie: aanpassingen in onderzoeksprotocol zijn toegestaan
o Voordeel: mogelijkheid om design te verbeteren
o Nadeel: minder goed vergelijkbaar
Replicatie met uitbreiding: aanvullende onderzoeksvragen beantwoorden
o Voordeel: Je kan aanvullende vragen onderzoeken
o Nadeel: Minder goed vergelijkbaar
Replicatiecrisis: in de afgelopen jaren is gebleken dat het resultaat van veel
onderzoeken in de Sociale Wetenschappen niet gerepliceerd konden worden. De
replicatiecrisis werd nadrukkelijk geïllustreerd door het Open Science
Collaboration Reproducibility Project Psychology, waar slechts 30% van de
replicatiestudies dezelfde resultaten opleverden als de originele studies waar ze
op gebaseerd waren.
Waar komt deze crisis vandaan?
Een van de redenen hiervoor wordt gezocht in de focus op de p-waarde:
o Publication bias: onderzoek wordt alleen gepubliceerd als er een
significant resultaat uit komt.
o Questionable Research Practices: voor onderzoekers is het van belang
dat hun onderzoek gepubliceerd wordt, dus zij worden verleid om te
focussen op het vinden van een significant resultaat, door bijv.:
- P-waarde onjuist rapporteren
- Data verwijderen om p-waarde te beïnvloeden
- Significantieniveau aanpassen om te ‘zorgen voor’ een significant
resultaat
- Extra data verzamelen om te zien of het resultaat dan wel significant is
- Alleen verschillen tussen bepaalde groepen rapporteren (die wel
significant zijn).
à Invloed op de statistische validiteit
Experimenteel
Vorige week hebben we gekeken naar het verschil tussen een directe
instructiegroep en een controlegroep. Maar wat betekent een resultaat van
wetenschappelijk onderzoek, als we bedenken dat er verschillende fouten kunnen
optreden?
Replicatie: een onderzoek wat eerder is uitgevoerd, wordt nogmaals uitgevoerd
(of meerdere keren uitgevoerd) om te kijken of de resultaten bevestigd kunnen
worden.
Directe replicatie: onderzoeksprotocol moet exact herhaald worden. Dus de
eerste onderzoekers hebben beschreven hoe ze het onderzoek uitgevoerd
hebben, dit wordt exact herhaald.
o Voordeel: zeer goed vergelijkbaar
o Nadeel: problemen met de interne validiteit bij origineel onderzoek nog
steeds aanwezig. Problemen bij het eerste onderzoek, zijn er bij de
replicatie nog steeds zijn.
Conceptuele replicatie: aanpassingen in onderzoeksprotocol zijn toegestaan
o Voordeel: mogelijkheid om design te verbeteren
o Nadeel: minder goed vergelijkbaar
Replicatie met uitbreiding: aanvullende onderzoeksvragen beantwoorden
o Voordeel: Je kan aanvullende vragen onderzoeken
o Nadeel: Minder goed vergelijkbaar
Replicatiecrisis: in de afgelopen jaren is gebleken dat het resultaat van veel
onderzoeken in de Sociale Wetenschappen niet gerepliceerd konden worden. De
replicatiecrisis werd nadrukkelijk geïllustreerd door het Open Science
Collaboration Reproducibility Project Psychology, waar slechts 30% van de
replicatiestudies dezelfde resultaten opleverden als de originele studies waar ze
op gebaseerd waren.
Waar komt deze crisis vandaan?
Een van de redenen hiervoor wordt gezocht in de focus op de p-waarde:
o Publication bias: onderzoek wordt alleen gepubliceerd als er een
significant resultaat uit komt.
o Questionable Research Practices: voor onderzoekers is het van belang
dat hun onderzoek gepubliceerd wordt, dus zij worden verleid om te
focussen op het vinden van een significant resultaat, door bijv.:
- P-waarde onjuist rapporteren
- Data verwijderen om p-waarde te beïnvloeden
- Significantieniveau aanpassen om te ‘zorgen voor’ een significant
resultaat
- Extra data verzamelen om te zien of het resultaat dan wel significant is
- Alleen verschillen tussen bepaalde groepen rapporteren (die wel
significant zijn).
à Invloed op de statistische validiteit
