Hoorcollege 2: open science..................................................................................................................2
Hoorcollege 3: single case studies.......................................................................................................10
Hoorcollege 4: kwalitatief onderzoek..................................................................................................16
Hoorcollege 6: mixed methods............................................................................................................23
Hoorcollege 7: RCT..............................................................................................................................26
Hoorcollege 8: ethiek van RCT.............................................................................................................33
Hoorcollege 10: dissemineren.............................................................................................................36
, Hoorcollege 2: open science
Leerdoelen
Je kunt de ontstaansgeschiedenis en basisprincipes van de Open Science beweging uitleggen
Je kunt mechanismen benoemen die de repliceerbaarheid en reproduceerbaarheid van
onderzoeksbevindingen beïnvloeden
Je kunt knelpunten benoemen in Open Science onderzoek voor de pedagogische en
onderwijswetenschappen
Je kunt tools selecteren die bijdragen aan de repliceerbaarheid en reproduceerbaarheid van
jouw eigen onderzoek
Je kunt de de repliceerbaarheid en reproduceerbaarheid van bestaande studies kritisch
beoordelen en suggesties doen voor verbetering
Nuijten, M.B. (2019), Practical tools and strategies for researchers to increase replicability. Dev
Med Child Neurol, 61: 535-539. https://doi.org/10.1111/dmcn.14054Links to an external site.
In onderzoek is er veel problemen gevonden in bewijs zoals overschatte effectmaten, lage replicatie
mogelijkheden en statische fouten in veel onderzoeksgebieden.
1 van de grootste oorzaken lijkt publicatiebias te zijn.
= een fenomeen dat statistische significante bevindingen een grotere kans hebben om
gepubliceerd te worden
Maar ook andere problemen:
o Publicatiedruk
o Menselijke biases
o Inadequate statistische training en ervaring
Te weinig inzicht in deze problemen kan bijdragen aan de replicatiecrisis
Oplossingen
Sommige oplossingen moeten van bovenaf toegepast worden door:
o Tijdschrift bewerkers
o Financiers
o Beleidmakers
Dit artikel vooral concrete oplossingen voor onderzoekers zelf
Verbeteren statistische conclusies
Veel papers bevatten statistische fouten
o Maakt het niet repliceerbaar, want onbekend waar cijfers vandaan komen
o Vaak typfouten
Oplossing: gratis apps zoals statcheck
Controleert of gerapporteerde p-waarde match met de gerapporteerde
test statistieken en vrijheidsgraden
Of GRIM (granularity-related inconsistency of means)
Controleert of gerapporteerde gemiddelden samengaan met
steekproefgrote en hoeveelheid items
Discussie: null-hypothese testen is altijd gebrekkig
o Alternatieven
Focus op effectmaat en betrouwbaarheidsinterval
i.p.v. dichotome beslissing met p-waarde
, Gebruik maken van Bayesian statistieken
Een moderne tak van de statistiek die gebaseerd is op Bayesiaanse
kansrekening, een van de interpretaties van waarschijnlijkheid.
Daarbij worden kansen voortdurend herzien op basis van beschikbaar
gekomen nieuwe informatie.
Problemen: intimiderend voor onderzoekers met weinig training
Gebruik van JASP = een nieuw statistisch programma
Makkelijker dan SPSS
Gemaakt voor gebruik bij Bayesian statistiek
Discussie: niet het statistische kader is het probleem, maar het gebruik van vuistregels zonder
er kritisch over na te denken
o Bijv. een p-waarde kleiner dan 0.05 is significant
o Oplossing: verbeteren van kennis van statistiek --> aanbieden cursussen
Veel onderzoekers weinig training gehad in statistiek
Pre-registratie
Pre-registratie kan publicatiebias voorkomen
o Specificeer alle aspecten van het onderzoek voor het begin, zoals:
Onderzoeksvraag
Onderzoeksdesign
Plan voor steekproefverzameling
Analyse plan
o Ook pre-registratie mogelijk voor peer review
Tijdschriften hebben ook optie voor geregistreerde rapporten
o Als onderzoeksplan conceptueel en methodologisch juist zijn kan het een bevestiging
krijgen om gepubliceerd te worden voor het uitvoeren van het onderzoek ongeacht de
uitkomsten
Oplossing voor publicatiebias
o + makkelijker vinden van afwijking van originele plan
Duidelijk verschil tussen bevestigend onderzoek en verkennend onderzoek
Maar is alleen nuttig als er hoog level van details in de pre-registratie zitten
Samenwerking op meerdere locaties
Veel onderzoeken hebben te lage power
o Slecht want: vaak echte effecten worden niet gevonden
o Maar ook probleem voor: overschatting effecten
Want flexibiliteit van onderzoeker en publicatiebias wordt erger als power
laag is want meer vals positieve
Makkelijke oplossing: power vergroten
o Maar werkelijk is het niet zo makkelijk
Oplossing: samenwerking op meerdere locaties
o Online platforms voor samenwerking
Ook oplossing voor hoge kwaliteit replicatie studies
o Replicatie studie meest informatief met hoge power en geen publicatie /
onderzoeksbias
Nog oplossing:
o Registered Replication Reports
Redelijk gelijk aan pre-registratie + element van samenwerking op
verschillende locaties
, Transparantie
Wordt vaak gesuggereerd voor verbeteren van kwaliteit van onderzoek
Veel vraag naar open data
o Mogelijkheid voor tweede analyse, beantwoorden nieuwe vragen, verifiëren
gepubliceerd werk, analyseren robuustheid originele analyses en onderzoeken
specifieke effectmaten voor meta-analyses
2 mogelijkheden
o 1: publiceren in onlinedatabase
o 2: publiceren data tijdschrift
Discussie
Onderzoekers kunnen en moeten met statistici overleggen tijdens planningsfase
Niet elke oplossing is nuttig voor elke onderzoeker of elk project
o Bijv. Moeilijk data delen als het gaat om sensitieve data of privacy gevoelige
informatie
o Bijv. Sommige onderzoeken hebben specifieke lokale participanten nodig waardoor
samenwerken moeilijk is
Crüwell, S., van Doorn, J., Etz, A., Makel, M. C., Moshontz, H., Niebaum, J. C., Orben, A.,
Parsons, S., & Schulte-Mecklenbeck, M. (2019). Seven easy steps to open science: An annotated
reading list. Zeitschrift für Psychologie, 227(4), 237–248.
https://doi.org/10.1027/2151-2604/a000387 Links to an external site.
Open science
Niet specifieke regels, maar verzameling van verschillende onderzoekspraktijken
= het proces van het transparant en toegankelijk maken van de inhoud en het proces van het
produceren van bewijsmateriaal en claims voor anderen
Reproduceerbaarheid = zelfde data, zelfde analyse, zelfde uitkomst
Repliceerbaarheid = onderzoek herhaalt, nieuwe data, zelfde uitkomst
Problemen met reproduceerbaarheid en repliceerbaarheid vaak direct herleidbaar naar geen
transparantie
Publicatie bias
o Publicatie hoofd valuta in onderzoek
o Kans groter dat wordt gepubliceerd als significant effect is
Belonen van vals positieven
Open access / vrije toegang
Tot publicatie en verspreidingsproces
= onbeperkte publieke toegang
Goude route: formele publicatie systeem
o Publicatie wordt openbaar op moment van publiceren
Groene route: auteurs zelfarchivering
o Publicatie wordt openbaar door onderzoeker zelf
2 specifieke effecten van open access
o 1: wordt vaker gebruikt door andere onderzoekers + vaker benoemd in nieuws
o 2: helpt meta-onderzoek doordat automatische zoekmachines erbij kunnen
Complexe economische gevolgen:
Hoorcollege 3: single case studies.......................................................................................................10
Hoorcollege 4: kwalitatief onderzoek..................................................................................................16
Hoorcollege 6: mixed methods............................................................................................................23
Hoorcollege 7: RCT..............................................................................................................................26
Hoorcollege 8: ethiek van RCT.............................................................................................................33
Hoorcollege 10: dissemineren.............................................................................................................36
, Hoorcollege 2: open science
Leerdoelen
Je kunt de ontstaansgeschiedenis en basisprincipes van de Open Science beweging uitleggen
Je kunt mechanismen benoemen die de repliceerbaarheid en reproduceerbaarheid van
onderzoeksbevindingen beïnvloeden
Je kunt knelpunten benoemen in Open Science onderzoek voor de pedagogische en
onderwijswetenschappen
Je kunt tools selecteren die bijdragen aan de repliceerbaarheid en reproduceerbaarheid van
jouw eigen onderzoek
Je kunt de de repliceerbaarheid en reproduceerbaarheid van bestaande studies kritisch
beoordelen en suggesties doen voor verbetering
Nuijten, M.B. (2019), Practical tools and strategies for researchers to increase replicability. Dev
Med Child Neurol, 61: 535-539. https://doi.org/10.1111/dmcn.14054Links to an external site.
In onderzoek is er veel problemen gevonden in bewijs zoals overschatte effectmaten, lage replicatie
mogelijkheden en statische fouten in veel onderzoeksgebieden.
1 van de grootste oorzaken lijkt publicatiebias te zijn.
= een fenomeen dat statistische significante bevindingen een grotere kans hebben om
gepubliceerd te worden
Maar ook andere problemen:
o Publicatiedruk
o Menselijke biases
o Inadequate statistische training en ervaring
Te weinig inzicht in deze problemen kan bijdragen aan de replicatiecrisis
Oplossingen
Sommige oplossingen moeten van bovenaf toegepast worden door:
o Tijdschrift bewerkers
o Financiers
o Beleidmakers
Dit artikel vooral concrete oplossingen voor onderzoekers zelf
Verbeteren statistische conclusies
Veel papers bevatten statistische fouten
o Maakt het niet repliceerbaar, want onbekend waar cijfers vandaan komen
o Vaak typfouten
Oplossing: gratis apps zoals statcheck
Controleert of gerapporteerde p-waarde match met de gerapporteerde
test statistieken en vrijheidsgraden
Of GRIM (granularity-related inconsistency of means)
Controleert of gerapporteerde gemiddelden samengaan met
steekproefgrote en hoeveelheid items
Discussie: null-hypothese testen is altijd gebrekkig
o Alternatieven
Focus op effectmaat en betrouwbaarheidsinterval
i.p.v. dichotome beslissing met p-waarde
, Gebruik maken van Bayesian statistieken
Een moderne tak van de statistiek die gebaseerd is op Bayesiaanse
kansrekening, een van de interpretaties van waarschijnlijkheid.
Daarbij worden kansen voortdurend herzien op basis van beschikbaar
gekomen nieuwe informatie.
Problemen: intimiderend voor onderzoekers met weinig training
Gebruik van JASP = een nieuw statistisch programma
Makkelijker dan SPSS
Gemaakt voor gebruik bij Bayesian statistiek
Discussie: niet het statistische kader is het probleem, maar het gebruik van vuistregels zonder
er kritisch over na te denken
o Bijv. een p-waarde kleiner dan 0.05 is significant
o Oplossing: verbeteren van kennis van statistiek --> aanbieden cursussen
Veel onderzoekers weinig training gehad in statistiek
Pre-registratie
Pre-registratie kan publicatiebias voorkomen
o Specificeer alle aspecten van het onderzoek voor het begin, zoals:
Onderzoeksvraag
Onderzoeksdesign
Plan voor steekproefverzameling
Analyse plan
o Ook pre-registratie mogelijk voor peer review
Tijdschriften hebben ook optie voor geregistreerde rapporten
o Als onderzoeksplan conceptueel en methodologisch juist zijn kan het een bevestiging
krijgen om gepubliceerd te worden voor het uitvoeren van het onderzoek ongeacht de
uitkomsten
Oplossing voor publicatiebias
o + makkelijker vinden van afwijking van originele plan
Duidelijk verschil tussen bevestigend onderzoek en verkennend onderzoek
Maar is alleen nuttig als er hoog level van details in de pre-registratie zitten
Samenwerking op meerdere locaties
Veel onderzoeken hebben te lage power
o Slecht want: vaak echte effecten worden niet gevonden
o Maar ook probleem voor: overschatting effecten
Want flexibiliteit van onderzoeker en publicatiebias wordt erger als power
laag is want meer vals positieve
Makkelijke oplossing: power vergroten
o Maar werkelijk is het niet zo makkelijk
Oplossing: samenwerking op meerdere locaties
o Online platforms voor samenwerking
Ook oplossing voor hoge kwaliteit replicatie studies
o Replicatie studie meest informatief met hoge power en geen publicatie /
onderzoeksbias
Nog oplossing:
o Registered Replication Reports
Redelijk gelijk aan pre-registratie + element van samenwerking op
verschillende locaties
, Transparantie
Wordt vaak gesuggereerd voor verbeteren van kwaliteit van onderzoek
Veel vraag naar open data
o Mogelijkheid voor tweede analyse, beantwoorden nieuwe vragen, verifiëren
gepubliceerd werk, analyseren robuustheid originele analyses en onderzoeken
specifieke effectmaten voor meta-analyses
2 mogelijkheden
o 1: publiceren in onlinedatabase
o 2: publiceren data tijdschrift
Discussie
Onderzoekers kunnen en moeten met statistici overleggen tijdens planningsfase
Niet elke oplossing is nuttig voor elke onderzoeker of elk project
o Bijv. Moeilijk data delen als het gaat om sensitieve data of privacy gevoelige
informatie
o Bijv. Sommige onderzoeken hebben specifieke lokale participanten nodig waardoor
samenwerken moeilijk is
Crüwell, S., van Doorn, J., Etz, A., Makel, M. C., Moshontz, H., Niebaum, J. C., Orben, A.,
Parsons, S., & Schulte-Mecklenbeck, M. (2019). Seven easy steps to open science: An annotated
reading list. Zeitschrift für Psychologie, 227(4), 237–248.
https://doi.org/10.1027/2151-2604/a000387 Links to an external site.
Open science
Niet specifieke regels, maar verzameling van verschillende onderzoekspraktijken
= het proces van het transparant en toegankelijk maken van de inhoud en het proces van het
produceren van bewijsmateriaal en claims voor anderen
Reproduceerbaarheid = zelfde data, zelfde analyse, zelfde uitkomst
Repliceerbaarheid = onderzoek herhaalt, nieuwe data, zelfde uitkomst
Problemen met reproduceerbaarheid en repliceerbaarheid vaak direct herleidbaar naar geen
transparantie
Publicatie bias
o Publicatie hoofd valuta in onderzoek
o Kans groter dat wordt gepubliceerd als significant effect is
Belonen van vals positieven
Open access / vrije toegang
Tot publicatie en verspreidingsproces
= onbeperkte publieke toegang
Goude route: formele publicatie systeem
o Publicatie wordt openbaar op moment van publiceren
Groene route: auteurs zelfarchivering
o Publicatie wordt openbaar door onderzoeker zelf
2 specifieke effecten van open access
o 1: wordt vaker gebruikt door andere onderzoekers + vaker benoemd in nieuws
o 2: helpt meta-onderzoek doordat automatische zoekmachines erbij kunnen
Complexe economische gevolgen:
