Inleiding Methodenleer Aantekeningen Blok 1&2
Inhoud
1.1 Inleiding methodenleer...................................................................................................................5
De wetenschappelijke methode........................................................................................................5
De empirische cyclus, Adriaan de Groot............................................................................................5
1.2 Falsificeerbaarheid...........................................................................................................................5
Grondigheid: de hele cyclus...............................................................................................................5
Onweerlegbare theorieën.................................................................................................................5
1.3 Groeiende kennis.............................................................................................................................6
Voorspelling formuleren....................................................................................................................6
Wat als die voorspelling uitkomt?.....................................................................................................6
Wat als een voorspelling niet uitkomt?.............................................................................................6
Wat kan er fout zijn gegaan?.............................................................................................................7
Kennis groeit langzaam......................................................................................................................7
2.1 Persoonlijke ervaring.......................................................................................................................7
2.2 Claims beoordelen...........................................................................................................................8
De empirische cyclus.........................................................................................................................8
3 claims, 4 validiteiten.......................................................................................................................8
3 claims..........................................................................................................................................8
4 validiteiten..................................................................................................................................8
3.1 Ethische behandeling van proefpersonen........................................................................................9
Etische vragen:...................................................................................................................................9
Informed consent:.............................................................................................................................9
Deception (misleiding):......................................................................................................................9
Debriefing (nabespreking):............................................................................................................9
Ethische commissie (IRB):................................................................................................................10
3.2 Wetenschappelijk wangedrag (Research misconduct)..................................................................10
Plagiaat........................................................................................................................................10
Falsificatie....................................................................................................................................10
Fabricatie.....................................................................................................................................10
Hoe gaan we om met falsificatie / fabricatie?.............................................................................10
Onduidelijke gevallen:.................................................................................................................10
Stap 1. Ontdekken:..........................................................................................................................10
Statistische problemen:...............................................................................................................10
Stap 2. Bepalen................................................................................................................................11
1
, Grijs gebied?:...............................................................................................................................11
Stap 3. Gevolgen..............................................................................................................................11
Retraction (terugtrekking)...........................................................................................................11
Samenvattend..................................................................................................................................11
4.1 Operationaliseren..........................................................................................................................11
Hoe kom je aan een variabele?........................................................................................................11
Een variabele “maken”....................................................................................................................11
Operationaliseren:...........................................................................................................................12
Samenvattend:.................................................................................................................................12
4.2 Intro: betrouwbaarheid en validiteit..............................................................................................12
Operationaliseren:...........................................................................................................................12
Betrouwbaarheid (reliability)...........................................................................................................13
Validiteit (Measurement validity)....................................................................................................13
Overgebleven vragen:......................................................................................................................13
4.3 Betrouwbaarheid vaststellen.........................................................................................................13
1. Meetfout:.....................................................................................................................................13
Toevallige meetfout:....................................................................................................................14
2. Meetfout vaststellen....................................................................................................................14
Correlatie.....................................................................................................................................15
Test-hertest betrouwbaarheid (test-retest reliability).................................................................15
4.4 Constructvaliditeit vaststellen.......................................................................................................15
Validiteit (measurement validity)....................................................................................................15
1. Criterion validiteit........................................................................................................................16
“Bekende groepen” paradigma (known-groups paradigm).........................................................16
2. Convergente validiteit..................................................................................................................16
3. Discriminante validiteit................................................................................................................16
4. Betrouwbaarheid en validiteit.....................................................................................................17
Samenvattend:.................................................................................................................................17
5.1 Soorten observationeel onderzoek................................................................................................17
Frequentieclaims:............................................................................................................................17
Observationeel onderzoek...............................................................................................................17
5.2 Betrouwbare en valide observaties...............................................................................................18
Observaties:.....................................................................................................................................18
Betrouwbare observaties:................................................................................................................18
Valide observaties:...........................................................................................................................18
Bedreigingen voor de validiteit van observaties zijn:...................................................................18
2
,5.3 Externe validiteit............................................................................................................................20
In wie zijn we geïnteresseerd als we een onderzoek uitvoeren?.....................................................20
Populatie:.........................................................................................................................................20
Steekproef (sample):........................................................................................................................20
Externe validiteit:.............................................................................................................................21
Sampling bias:..............................................................................................................................21
Externe validiteit en frequentieclaims.........................................................................................21
Vraag:...............................................................................................................................................21
Steekproeftrekking (sampling):...................................................................................................21
6.1 Statistische significantie.................................................................................................................22
Statistische significantie:..................................................................................................................22
Wanneer is een p-waarde laag genoeg om te zeggen dat de correlatie in de populatie
waarschijnlijk niet nul is?.............................................................................................................23
Waar hangt statistische significantie van af?...............................................................................23
6.2 Correlatie en causaliteit.................................................................................................................23
Conclusie van de onderzoekers:......................................................................................................23
Wat blijkt?.......................................................................................................................................24
Correlatie ≠ Causaliteit.....................................................................................................................24
Voorwaarden voor causaliteit..........................................................................................................24
7.1 Causale criteria..............................................................................................................................24
De 3 causale criteria:.......................................................................................................................25
7.2 Temporal precendence..................................................................................................................25
Zorgen voor temporal precence......................................................................................................25
Variabelen........................................................................................................................................25
7.3 Selectie effecten............................................................................................................................26
Zorgen voor interne validiteit..........................................................................................................26
Selectie effecten..........................................................................................................................26
Random toewijzing (random assignment).......................................................................................27
Random toewijzing vs. Random steekproef:....................................................................................27
Andere manieren om selectie te voorkomen..................................................................................28
Opgelost: selectie effecten..............................................................................................................28
7.4 Design confounds..........................................................................................................................28
Design confounds............................................................................................................................28
Het design en zijn design confounds................................................................................................28
Vermijd design confounds...............................................................................................................29
De resultaten...................................................................................................................................29
3
, De drie causale criteria....................................................................................................................29
8.1 Confounds......................................................................................................................................29
8.2 Obscuring factors...........................................................................................................................31
Statistische significantie...............................................................................................................31
Obscuring factors:............................................................................................................................32
8.3 Confound vs. Obscuring factors.....................................................................................................33
9.2 Factoriële designs..........................................................................................................................34
11.1 Introductie replicaties en generaliseerbaarheid..........................................................................35
11.2 Generalisatie modus....................................................................................................................37
11.3 Theoretische modus....................................................................................................................38
12.1 De replicatiecrisis.........................................................................................................................39
12.2 Open science................................................................................................................................40
4
,1.1 Inleiding methodenleer
De wetenschappelijke methode
- Wees bereid om je ideeën tegen observaties te toetsen
- Respecteer de observaties, ook als je ze je ideeën om zeep helpen
De empirische cyclus, Adriaan de Groot.
Observatie: verzamelen en groeperen van empirische feiten
Theorie: je bedenkt een bijpassende theorie
Voorspelling: leidt een toetsbare hypothese/voorspelling af uit je theorie
Toetsing: voer een onderzoek uit om je hypothese te testen
Evaluatie: wat betekenen de onderzoeksuitkomsten (de nieuwe observaties) voor de theorie?
De editor neemt de uiteindelijke beslissing over of een artikel gepubliceerd wordt in een
wetenschappelijk tijdschrift.
1.2 Falsificeerbaarheid
Grondigheid: de hele cyclus
Sommige theorieën onttrekken zich aan toetsing. Ze zijn in overeenstemming met alle mogelijke
observaties. Dit zorgt voor een short-cut in de cyclus.
Onweerlegbare theorieën
Bijvoorbeeld:
‘’Het brein wordt bestuurd door kleine groene mannetjes die zich verstoppen zodra je kijkt.’’
5
,Deze theorie is niet falsificeerbaar. Het is onmogelijk om bewijs te vinden tegen de theorie. Dit is
meteen dan een niet wetenschappelijke theorie.
- Ze kunnen niet bepalen welk van de meerdere theorieën de juiste is
- Wetenschappers komen niet dichter bij de verklaring van een fenomeen.
Een theorie kan falsificeerbaar zijn zonder dat er ooit een observatie tegen de theorie is gedaan.
Observaties tegen de theorie moeten mogelijk zijn.
1.3 Groeiende kennis
Met de resultaten van de toetsing (het onderzoek) evalueren we de theorie we de theorie
- Wat als je voorspelling uitkomt?
- Wat als de voorspelling niet uitkomt?
Voorspelling formuleren
- Een theorie is breed en niet direct toetsbaar
- We hebben een concrete voorspelling nodig om te kunnen toetsen
Bijvoorbeeld:
Theorie:
Meditatie verhoogt het concentratie vermogen (algemeen)
Voorspelling:
Studenten die een week voor een tentamen elke dag een kwartier een ademhalingsoefening
doen, zullen hoger scoren op het tentamen dan studenten die deze oefening niet doen.
(Specifiek)
Wat als die voorspelling uitkomt?
Hoe interpreteren we de resultaten in lijn met de theorie?
De theorie is niet weerlegd.
Het is vrijwel onmogelijk om een theorie te bewijzen omdat je
- Nooit alle alternatieve verklaringen kunt uitsluiten
- Slechts een concrete voorspelling nagaat, en een theorie er eigenlijk oneindig veel doet
Wat als een voorspelling niet uitkomt?
Hoe interpreteren we de resultaten die niet in lijn zitten met de locatie?
Dan is de theorie weerlegd.
Het is vrijwel onmogelijk om een theorie met 1 onderzoek te weerleggen, omdat er altijd iets fout
gegaan kan zijn.
6
, Wat kan er fout zijn gegaan?
- Misschien is de studie niet goed gegaan?
- Misschien klopt de voorspelling niet?
Je kan niet oneindig de theorie blijven plakken. Op gegeven moment loop je dan het risico dat je
theorie onfalsificeerbaar wordt.
Kennis groeit langzaam
- Een studie is geen studie
- Bewijs verzamelt zich over langere tijd
o Een theorie is eigenlijk nooit “bewezen”; we houden een theorie aan totdat er iets
beters langskomt.
2.1 Persoonlijke ervaring
Tips gebaseerd op persoonlijke ervaring zijn geen goede bronnen van informatie, want:
1. Geen vergelijkingsgroep
Cola en banaan bij een kater. Je voelt je beter om 16
uur, maar wat gebeurt er als je geen cola en banaan
neemt.
We proberen intuïtief te redeneren over onze
persoonlijke ervaringen
Een probleem van onze intuïtie is dat we teveel
focussen op de present-present cel
We hebben alle vier de cellen nodig voor een goede
conclusie
2. Alternatieve verklaringen
Wat kan het verband nog meer verklaren?
We zien: cola en banaan vaker om 16 uur hersteld van de kater
We concluderen mijn herstel wordt veroorzaakt door cola en banaan
Maar is er misschien iets systematisch anders aan de keren dat ik met cola en
banaan mijn kater te lijf ging?
Zijn er alternatieve verklaringen (confounds) te bedenken?
o Waarom ben ik vaker om 16 uur hersteld van mijn kater als ik cola drink en
een banaan eet?
1. De cola / banaan combi geneest mijn kater
2. Het effect komt niet specifiek door de cola / banaan combi maar
doordat ik vocht / zouten weer aanvul
3. Ik kan alleen cola / banaan wegkrijgen als mijn kater sowieso al niet
super erg was
In een wetenschappelijk onderzoek maken we systematische vergelijkingen onder gecontroleerde
omstandigheden en hebben we deze problemen niet (of minder).
7
Inhoud
1.1 Inleiding methodenleer...................................................................................................................5
De wetenschappelijke methode........................................................................................................5
De empirische cyclus, Adriaan de Groot............................................................................................5
1.2 Falsificeerbaarheid...........................................................................................................................5
Grondigheid: de hele cyclus...............................................................................................................5
Onweerlegbare theorieën.................................................................................................................5
1.3 Groeiende kennis.............................................................................................................................6
Voorspelling formuleren....................................................................................................................6
Wat als die voorspelling uitkomt?.....................................................................................................6
Wat als een voorspelling niet uitkomt?.............................................................................................6
Wat kan er fout zijn gegaan?.............................................................................................................7
Kennis groeit langzaam......................................................................................................................7
2.1 Persoonlijke ervaring.......................................................................................................................7
2.2 Claims beoordelen...........................................................................................................................8
De empirische cyclus.........................................................................................................................8
3 claims, 4 validiteiten.......................................................................................................................8
3 claims..........................................................................................................................................8
4 validiteiten..................................................................................................................................8
3.1 Ethische behandeling van proefpersonen........................................................................................9
Etische vragen:...................................................................................................................................9
Informed consent:.............................................................................................................................9
Deception (misleiding):......................................................................................................................9
Debriefing (nabespreking):............................................................................................................9
Ethische commissie (IRB):................................................................................................................10
3.2 Wetenschappelijk wangedrag (Research misconduct)..................................................................10
Plagiaat........................................................................................................................................10
Falsificatie....................................................................................................................................10
Fabricatie.....................................................................................................................................10
Hoe gaan we om met falsificatie / fabricatie?.............................................................................10
Onduidelijke gevallen:.................................................................................................................10
Stap 1. Ontdekken:..........................................................................................................................10
Statistische problemen:...............................................................................................................10
Stap 2. Bepalen................................................................................................................................11
1
, Grijs gebied?:...............................................................................................................................11
Stap 3. Gevolgen..............................................................................................................................11
Retraction (terugtrekking)...........................................................................................................11
Samenvattend..................................................................................................................................11
4.1 Operationaliseren..........................................................................................................................11
Hoe kom je aan een variabele?........................................................................................................11
Een variabele “maken”....................................................................................................................11
Operationaliseren:...........................................................................................................................12
Samenvattend:.................................................................................................................................12
4.2 Intro: betrouwbaarheid en validiteit..............................................................................................12
Operationaliseren:...........................................................................................................................12
Betrouwbaarheid (reliability)...........................................................................................................13
Validiteit (Measurement validity)....................................................................................................13
Overgebleven vragen:......................................................................................................................13
4.3 Betrouwbaarheid vaststellen.........................................................................................................13
1. Meetfout:.....................................................................................................................................13
Toevallige meetfout:....................................................................................................................14
2. Meetfout vaststellen....................................................................................................................14
Correlatie.....................................................................................................................................15
Test-hertest betrouwbaarheid (test-retest reliability).................................................................15
4.4 Constructvaliditeit vaststellen.......................................................................................................15
Validiteit (measurement validity)....................................................................................................15
1. Criterion validiteit........................................................................................................................16
“Bekende groepen” paradigma (known-groups paradigm).........................................................16
2. Convergente validiteit..................................................................................................................16
3. Discriminante validiteit................................................................................................................16
4. Betrouwbaarheid en validiteit.....................................................................................................17
Samenvattend:.................................................................................................................................17
5.1 Soorten observationeel onderzoek................................................................................................17
Frequentieclaims:............................................................................................................................17
Observationeel onderzoek...............................................................................................................17
5.2 Betrouwbare en valide observaties...............................................................................................18
Observaties:.....................................................................................................................................18
Betrouwbare observaties:................................................................................................................18
Valide observaties:...........................................................................................................................18
Bedreigingen voor de validiteit van observaties zijn:...................................................................18
2
,5.3 Externe validiteit............................................................................................................................20
In wie zijn we geïnteresseerd als we een onderzoek uitvoeren?.....................................................20
Populatie:.........................................................................................................................................20
Steekproef (sample):........................................................................................................................20
Externe validiteit:.............................................................................................................................21
Sampling bias:..............................................................................................................................21
Externe validiteit en frequentieclaims.........................................................................................21
Vraag:...............................................................................................................................................21
Steekproeftrekking (sampling):...................................................................................................21
6.1 Statistische significantie.................................................................................................................22
Statistische significantie:..................................................................................................................22
Wanneer is een p-waarde laag genoeg om te zeggen dat de correlatie in de populatie
waarschijnlijk niet nul is?.............................................................................................................23
Waar hangt statistische significantie van af?...............................................................................23
6.2 Correlatie en causaliteit.................................................................................................................23
Conclusie van de onderzoekers:......................................................................................................23
Wat blijkt?.......................................................................................................................................24
Correlatie ≠ Causaliteit.....................................................................................................................24
Voorwaarden voor causaliteit..........................................................................................................24
7.1 Causale criteria..............................................................................................................................24
De 3 causale criteria:.......................................................................................................................25
7.2 Temporal precendence..................................................................................................................25
Zorgen voor temporal precence......................................................................................................25
Variabelen........................................................................................................................................25
7.3 Selectie effecten............................................................................................................................26
Zorgen voor interne validiteit..........................................................................................................26
Selectie effecten..........................................................................................................................26
Random toewijzing (random assignment).......................................................................................27
Random toewijzing vs. Random steekproef:....................................................................................27
Andere manieren om selectie te voorkomen..................................................................................28
Opgelost: selectie effecten..............................................................................................................28
7.4 Design confounds..........................................................................................................................28
Design confounds............................................................................................................................28
Het design en zijn design confounds................................................................................................28
Vermijd design confounds...............................................................................................................29
De resultaten...................................................................................................................................29
3
, De drie causale criteria....................................................................................................................29
8.1 Confounds......................................................................................................................................29
8.2 Obscuring factors...........................................................................................................................31
Statistische significantie...............................................................................................................31
Obscuring factors:............................................................................................................................32
8.3 Confound vs. Obscuring factors.....................................................................................................33
9.2 Factoriële designs..........................................................................................................................34
11.1 Introductie replicaties en generaliseerbaarheid..........................................................................35
11.2 Generalisatie modus....................................................................................................................37
11.3 Theoretische modus....................................................................................................................38
12.1 De replicatiecrisis.........................................................................................................................39
12.2 Open science................................................................................................................................40
4
,1.1 Inleiding methodenleer
De wetenschappelijke methode
- Wees bereid om je ideeën tegen observaties te toetsen
- Respecteer de observaties, ook als je ze je ideeën om zeep helpen
De empirische cyclus, Adriaan de Groot.
Observatie: verzamelen en groeperen van empirische feiten
Theorie: je bedenkt een bijpassende theorie
Voorspelling: leidt een toetsbare hypothese/voorspelling af uit je theorie
Toetsing: voer een onderzoek uit om je hypothese te testen
Evaluatie: wat betekenen de onderzoeksuitkomsten (de nieuwe observaties) voor de theorie?
De editor neemt de uiteindelijke beslissing over of een artikel gepubliceerd wordt in een
wetenschappelijk tijdschrift.
1.2 Falsificeerbaarheid
Grondigheid: de hele cyclus
Sommige theorieën onttrekken zich aan toetsing. Ze zijn in overeenstemming met alle mogelijke
observaties. Dit zorgt voor een short-cut in de cyclus.
Onweerlegbare theorieën
Bijvoorbeeld:
‘’Het brein wordt bestuurd door kleine groene mannetjes die zich verstoppen zodra je kijkt.’’
5
,Deze theorie is niet falsificeerbaar. Het is onmogelijk om bewijs te vinden tegen de theorie. Dit is
meteen dan een niet wetenschappelijke theorie.
- Ze kunnen niet bepalen welk van de meerdere theorieën de juiste is
- Wetenschappers komen niet dichter bij de verklaring van een fenomeen.
Een theorie kan falsificeerbaar zijn zonder dat er ooit een observatie tegen de theorie is gedaan.
Observaties tegen de theorie moeten mogelijk zijn.
1.3 Groeiende kennis
Met de resultaten van de toetsing (het onderzoek) evalueren we de theorie we de theorie
- Wat als je voorspelling uitkomt?
- Wat als de voorspelling niet uitkomt?
Voorspelling formuleren
- Een theorie is breed en niet direct toetsbaar
- We hebben een concrete voorspelling nodig om te kunnen toetsen
Bijvoorbeeld:
Theorie:
Meditatie verhoogt het concentratie vermogen (algemeen)
Voorspelling:
Studenten die een week voor een tentamen elke dag een kwartier een ademhalingsoefening
doen, zullen hoger scoren op het tentamen dan studenten die deze oefening niet doen.
(Specifiek)
Wat als die voorspelling uitkomt?
Hoe interpreteren we de resultaten in lijn met de theorie?
De theorie is niet weerlegd.
Het is vrijwel onmogelijk om een theorie te bewijzen omdat je
- Nooit alle alternatieve verklaringen kunt uitsluiten
- Slechts een concrete voorspelling nagaat, en een theorie er eigenlijk oneindig veel doet
Wat als een voorspelling niet uitkomt?
Hoe interpreteren we de resultaten die niet in lijn zitten met de locatie?
Dan is de theorie weerlegd.
Het is vrijwel onmogelijk om een theorie met 1 onderzoek te weerleggen, omdat er altijd iets fout
gegaan kan zijn.
6
, Wat kan er fout zijn gegaan?
- Misschien is de studie niet goed gegaan?
- Misschien klopt de voorspelling niet?
Je kan niet oneindig de theorie blijven plakken. Op gegeven moment loop je dan het risico dat je
theorie onfalsificeerbaar wordt.
Kennis groeit langzaam
- Een studie is geen studie
- Bewijs verzamelt zich over langere tijd
o Een theorie is eigenlijk nooit “bewezen”; we houden een theorie aan totdat er iets
beters langskomt.
2.1 Persoonlijke ervaring
Tips gebaseerd op persoonlijke ervaring zijn geen goede bronnen van informatie, want:
1. Geen vergelijkingsgroep
Cola en banaan bij een kater. Je voelt je beter om 16
uur, maar wat gebeurt er als je geen cola en banaan
neemt.
We proberen intuïtief te redeneren over onze
persoonlijke ervaringen
Een probleem van onze intuïtie is dat we teveel
focussen op de present-present cel
We hebben alle vier de cellen nodig voor een goede
conclusie
2. Alternatieve verklaringen
Wat kan het verband nog meer verklaren?
We zien: cola en banaan vaker om 16 uur hersteld van de kater
We concluderen mijn herstel wordt veroorzaakt door cola en banaan
Maar is er misschien iets systematisch anders aan de keren dat ik met cola en
banaan mijn kater te lijf ging?
Zijn er alternatieve verklaringen (confounds) te bedenken?
o Waarom ben ik vaker om 16 uur hersteld van mijn kater als ik cola drink en
een banaan eet?
1. De cola / banaan combi geneest mijn kater
2. Het effect komt niet specifiek door de cola / banaan combi maar
doordat ik vocht / zouten weer aanvul
3. Ik kan alleen cola / banaan wegkrijgen als mijn kater sowieso al niet
super erg was
In een wetenschappelijk onderzoek maken we systematische vergelijkingen onder gecontroleerde
omstandigheden en hebben we deze problemen niet (of minder).
7
