SAMENVATTING: CORRELATIONELE ONDERZOEKSMETHODEN
HOORCOLLEGE 1: INLEIDING CORRELATIONEEL ONDERZOEK
2.1 Inleiding:
- Om statistische resultaten goed te begrijpen en te interpreteren, is basiskennis van
onderzoeksmethoden nodig. Het onderzoeksontwerp bepaalt in welke mate
onderzoekers controle hebben over de situatie (experimenteel vs niet-
experimenteel). Belangrijke begrippen zijn:
1. Data (= informatie, vaak numeriek, over meerdere gevallen/variabelen)
2. Variabelen (= kenmerken die verschillen per persoon/geval)
3. Steekproef en populatie (= een steekproef is een subset van de populatie)
4. Generaliseerbaarheid (= de mate waarin resultaten toepasbaar zijn op
andere groepen of situaties)
5. Interpretatiefouten (= onder andere te brede generalisaties, onterecht
causaliteit toeschrijven, en overschatten van methodes)
2.2 Type variabelen:
1. Categoriale variabelen (= geven aan tot welke groep iemand behoort, zoals geslacht,
waarin nummers slecht labels zijn en geen betekenis hebben)
2. Kwantitatieve variabelen (= maken duidelijk hoeveel van een kenmerk aanwezig is,
zoals lengte, getallen kunnen vergeleken worden en berekend)
2.3 Experimenteel onderzoeksdesign:
- Deelnemers worden verdeeld in groepen die verschillende behandelingen krijgen,
bijvoorbeeld wel of geen cafeïne. Het effect wordt gemeten door gemiddelden van de
afhankelijke variabele, Y, (bijv. hartslag) te vergelijken tussen groepen. Random
toewijzing voorkomt vooraf bestaande kenmerken en confounds. Onderzoekers
houden andere omstandigheden gelijk, ook om confounds te voorkomen. Als nog
kunnen er confounds optreden (verschil tussen de uitleg van de onderzoekers).
2.4 Niet-experimenteel onderzoeksdesign
- Dit is geen interventie, maar het meten van de bestaande variabelen, zoals
depressie. Hiermee kan samenhang, of voorspelling, tussen variabelen worden
aangetoond, maar geen causaliteit. Er zijn ook veel mogelijk confounds die het
moeilijk maken.
2.5 Quasi-experimenteel onderzoeksdesign
- Het lijkt op een experiment, maar onderzoekers hebben niet de volledige controle
(groepen bestaan bijvoorbeeld uit scholen). Hierdoor is het moeilijk confounds uit te
sluiten (bijvoorbeeld of gebeurtenissen tijdens de studie het effect tussen school 1 en
2 beïnvloeden).
- Varianten:
1. Nonequivalent control group design (= groepen zijn vooraf verschillend)
2. Pretest-posttest design (= een groep wordt voor en na interventie gemeten,
maar andere gebeurtenissen
kunnen verandering
verklaren)
2.6 Populaties en steekproeven
, - Ideale situatie. Populatie (= alle mogelijke gevallen, zoals alle producten van een
machine in een mand) en steekproef (= subset van die populatie). Ideale aannames:
Alle leden zijn identificeerbaar, kans op opname in de steekproef is gelijk (= random
selectie), vaak verondersteld dat de verdeling normaal is.
- Onderzoekssituaties die lijken op het ideale plaatje zijn kwaliteitscontrole (=
steekproef uit duidelijk omschreven populatie) en politieke peilingen (= moeilijker,
maar representativiteit wordt nagestreefd door complexere steekproefmethoden).
- Onderzoekssituaties die afwijken van het ideale plaatje zijn convenience samples (=
gemakkelijk toegankelijke deelnemers) en proximale similariteitsmodel (= resultaten
kunnen gegeneraliseerd worden naar een bredere populatie dan in eerste instantie
werd onderzocht, mits de steekproef representatief is).
- Stratified sampling (= de populatie wordt opgedeeld in strata, bijvoorbeeld leeftijd, en
binnen elk stratum wordt een volledig aselecte steekproef getrokken).
2.7.1 Veelvoorkomende problemen bij interpretatie:
1. Verbanden beschrijven als oorzakelijk zonder voldoende bewijs.
2. Te vergaande generalisaties naar andere populaties of situaties.
3. Beperkingen van onderzoeksdesign en analyses onderschatten.
- Lezers en onderzoekers moeten voorzichtig zijn met causaliteit,
generaliseerbaarheid en interpretatie van p-waarden.
2.7.2 Niveaus van meting:
1. Nominaal (= categorieën/labels, zoals geslacht, waarmee alleen vergeleken kan
worden)
2. Ordinaal (= rangorde, maar ongelijke intervallen, zoals een rang in een wedstrijd)
3. Interval (= gelijke intervallen, maar geen absoluut nulpunt, zoals temperatuur)
4. Ratio (= intervalniveau met absoluut nulpunt, zoals gewicht)
2.7.3 Likert-schalen en kwantitatief gebruik:
- Likert-scores liggen vaak tussen ordinaal en intervalniveau. Ook is er discussie of
parametrische tests (zoals ANOVA) toepasbaar zijn. Het is het best om normaal
verdeelde data te gebruiken.
Hoofdstuk 7
7.1 Beschrijvende versus inferentiële statistiek
- Beschrijvende statistiek (= gebruikt om data van steekproef samen te vatten,
bijvoorbeeld gemiddelde, mediaan en standaarddeviatie, waar de resultaten alleen
gelden voor de steekproef)
- Inferentiële statistiek (= gebruikt om uitspraken te doen over een hele populatie op
basis van een steekproef, bijvoorbeeld het schatten van de gemiddelde lengte van
alle hagedissen op een eiland)
- Belangrijke uitdagingen:
1. Representativiteit van de steekproef.
2. Steekproeffout (sampling error) = verschillende steekproeven geven meestal
verschillende gemiddelden.
7.2 Notatie voor steekproeven en populaties:
, - Steekproefstatistieken: M (gemiddelde), SD
(standaarddeviatie) variantie, mediaan en modus.
- Populatieparameters: μ (populatiegemiddelde), σ
(populatiestandaarddeviatie).
- Samplingverdeling van M: verdeling van gemiddelde waarden uit veel
steekproeven.
- Variatie in steekproefgemiddelden zou komen door steekproeffout.
7.3 Steekproef versus populatie:
- Representatieve steekproeven worden gebruikt in kwaliteitscontroles of
opiniepeilingen. Het doel is dat de steekproef lijkt op de populatie, bijvoorbeeld
willekeurige selectie van kiezers.
- Convenience samples worden vaak gebruikt in psychologie, geneeskunde of
onderwijs. Steekproeven zijn gemakkelijk toegankelijk, maar daardoor mogelijk niet
representatief. Generalisaties moeten beperkt blijven tot populaties die lijken op de
steekproef (= proximal similarity).
7.4 Confidence intervals (CI) berekenen:
Formule:
Voorbeeld:
- N = 25, M = 50, SD = 10 en C = 95%
1. SEM = 10 / √25 = 2
2. t-kritiek = 2,064
3. CI = [45,872 ; 54,128]
- Factoren die CI breder maken:
1. Hoger betrouwbaarheidsniveau (van 95% naar 99%)
2. Kleinere N
3. Grotere SD
4. Meer zekerheid, maar lage nauwkeurigheid.
- Factoren die CI smaller maken:
1. Lager betrouwbaarheidsniveau (van 99% naar 95%)
2. Grotere steekproef
3. Kleiner SD
4. Meer nauwkeurigheid, maar lagere zekerheid.
7.5 Interpretatie van confidence intervals:
- Belangrijk punt: een 95% CI heeft niet 95% kans om μ te bevatten, μ zit er wel of niet
in. De correcte interpretatie is als we duizende steekproeven trekken, zal ongeveer
95% van de CIs μ bevatten. De Cls variëren per steekproef, bijvoorbeeld in 16 van
de 18 steekproeven zit μ.
Hoofdstuk 9:
, 9.1 Voorbij p-waarden
- Problemen met p-waarden:
1. Veel studies focussen op p < .05 en interpreteren dit als “belangrijk” of
“succesvol”
2. NHST (null-hypothese statistische toetsing) kent vele aannames die vaak
worden geschonden, zoals onafhankelijkheid van observaties en
representatieve steekproeven. Stappenplan voor NHST:
a. Eerst formuleren we de nul- en alternatieve hypothese.
b. Als tweede maken we een beslisregel.
c. Als derde, berekenen we de t- en p-waarde aan de hand van de data.
d. En als laatste verwerpen we wel of niet de nulhypothese en trekken
we een conclusie.
3. P-hacking (= onderzoekers passen analyses aan, zoals outliers verwijderen,
om de juiste p-waarde te halen). Dit veroorzaakt kans op Type-I fouten.
4. Misinterpretatie. Termen zoals “hoog significant” kunnen misleiden, p-waarde
hangt ook af van steekproefgrootte.
- Belangrijke aandachtspunten:
1. Effectgrootte geeft de impact van een behandeling of variabele onafhankelijk
van N.
2. Statistische significantie is niet praktische of klinische relevantie.
3. N en effectgrootte beïnvloeden t- en p-waarden.
4. Statistische power helpt bepalen van minimale N voor detecteerbare
effecten.
5. Type I en II fouten.
6. Interpretatie van “niet-significante” (p > .05) en “significante” uitkomsten.
7. Richtlijnen voor rapportage en wat je niet zeggen.
9.2 Statistische significantie versus praktische relevantie
- Verschil in betekenis:
1. Statistische significantie = resultaat onwaarschijnlijk door toeval (NHST).
2. Praktische/klinische significantie = resultaat relevant of merkbaar in de echte
wereld.
- Voorbeelden: Wanneer er statische significantie gevonden wordt bij 1 kilo
gewichtsverlies, is dit in de praktijk niet relevant.
9.3 Statistische power
(= kans om H0 correct te verwerpen wanneer deze fout is)
- Een power van ≥ 80 wordt gezien als redelijk. Formule voor T is: t = d × √N, dus
wanneer N en d toenemen, neemt de kans op statistische significantie ook toe.
HOORCOLLEGE 1: INLEIDING CORRELATIONEEL ONDERZOEK
2.1 Inleiding:
- Om statistische resultaten goed te begrijpen en te interpreteren, is basiskennis van
onderzoeksmethoden nodig. Het onderzoeksontwerp bepaalt in welke mate
onderzoekers controle hebben over de situatie (experimenteel vs niet-
experimenteel). Belangrijke begrippen zijn:
1. Data (= informatie, vaak numeriek, over meerdere gevallen/variabelen)
2. Variabelen (= kenmerken die verschillen per persoon/geval)
3. Steekproef en populatie (= een steekproef is een subset van de populatie)
4. Generaliseerbaarheid (= de mate waarin resultaten toepasbaar zijn op
andere groepen of situaties)
5. Interpretatiefouten (= onder andere te brede generalisaties, onterecht
causaliteit toeschrijven, en overschatten van methodes)
2.2 Type variabelen:
1. Categoriale variabelen (= geven aan tot welke groep iemand behoort, zoals geslacht,
waarin nummers slecht labels zijn en geen betekenis hebben)
2. Kwantitatieve variabelen (= maken duidelijk hoeveel van een kenmerk aanwezig is,
zoals lengte, getallen kunnen vergeleken worden en berekend)
2.3 Experimenteel onderzoeksdesign:
- Deelnemers worden verdeeld in groepen die verschillende behandelingen krijgen,
bijvoorbeeld wel of geen cafeïne. Het effect wordt gemeten door gemiddelden van de
afhankelijke variabele, Y, (bijv. hartslag) te vergelijken tussen groepen. Random
toewijzing voorkomt vooraf bestaande kenmerken en confounds. Onderzoekers
houden andere omstandigheden gelijk, ook om confounds te voorkomen. Als nog
kunnen er confounds optreden (verschil tussen de uitleg van de onderzoekers).
2.4 Niet-experimenteel onderzoeksdesign
- Dit is geen interventie, maar het meten van de bestaande variabelen, zoals
depressie. Hiermee kan samenhang, of voorspelling, tussen variabelen worden
aangetoond, maar geen causaliteit. Er zijn ook veel mogelijk confounds die het
moeilijk maken.
2.5 Quasi-experimenteel onderzoeksdesign
- Het lijkt op een experiment, maar onderzoekers hebben niet de volledige controle
(groepen bestaan bijvoorbeeld uit scholen). Hierdoor is het moeilijk confounds uit te
sluiten (bijvoorbeeld of gebeurtenissen tijdens de studie het effect tussen school 1 en
2 beïnvloeden).
- Varianten:
1. Nonequivalent control group design (= groepen zijn vooraf verschillend)
2. Pretest-posttest design (= een groep wordt voor en na interventie gemeten,
maar andere gebeurtenissen
kunnen verandering
verklaren)
2.6 Populaties en steekproeven
, - Ideale situatie. Populatie (= alle mogelijke gevallen, zoals alle producten van een
machine in een mand) en steekproef (= subset van die populatie). Ideale aannames:
Alle leden zijn identificeerbaar, kans op opname in de steekproef is gelijk (= random
selectie), vaak verondersteld dat de verdeling normaal is.
- Onderzoekssituaties die lijken op het ideale plaatje zijn kwaliteitscontrole (=
steekproef uit duidelijk omschreven populatie) en politieke peilingen (= moeilijker,
maar representativiteit wordt nagestreefd door complexere steekproefmethoden).
- Onderzoekssituaties die afwijken van het ideale plaatje zijn convenience samples (=
gemakkelijk toegankelijke deelnemers) en proximale similariteitsmodel (= resultaten
kunnen gegeneraliseerd worden naar een bredere populatie dan in eerste instantie
werd onderzocht, mits de steekproef representatief is).
- Stratified sampling (= de populatie wordt opgedeeld in strata, bijvoorbeeld leeftijd, en
binnen elk stratum wordt een volledig aselecte steekproef getrokken).
2.7.1 Veelvoorkomende problemen bij interpretatie:
1. Verbanden beschrijven als oorzakelijk zonder voldoende bewijs.
2. Te vergaande generalisaties naar andere populaties of situaties.
3. Beperkingen van onderzoeksdesign en analyses onderschatten.
- Lezers en onderzoekers moeten voorzichtig zijn met causaliteit,
generaliseerbaarheid en interpretatie van p-waarden.
2.7.2 Niveaus van meting:
1. Nominaal (= categorieën/labels, zoals geslacht, waarmee alleen vergeleken kan
worden)
2. Ordinaal (= rangorde, maar ongelijke intervallen, zoals een rang in een wedstrijd)
3. Interval (= gelijke intervallen, maar geen absoluut nulpunt, zoals temperatuur)
4. Ratio (= intervalniveau met absoluut nulpunt, zoals gewicht)
2.7.3 Likert-schalen en kwantitatief gebruik:
- Likert-scores liggen vaak tussen ordinaal en intervalniveau. Ook is er discussie of
parametrische tests (zoals ANOVA) toepasbaar zijn. Het is het best om normaal
verdeelde data te gebruiken.
Hoofdstuk 7
7.1 Beschrijvende versus inferentiële statistiek
- Beschrijvende statistiek (= gebruikt om data van steekproef samen te vatten,
bijvoorbeeld gemiddelde, mediaan en standaarddeviatie, waar de resultaten alleen
gelden voor de steekproef)
- Inferentiële statistiek (= gebruikt om uitspraken te doen over een hele populatie op
basis van een steekproef, bijvoorbeeld het schatten van de gemiddelde lengte van
alle hagedissen op een eiland)
- Belangrijke uitdagingen:
1. Representativiteit van de steekproef.
2. Steekproeffout (sampling error) = verschillende steekproeven geven meestal
verschillende gemiddelden.
7.2 Notatie voor steekproeven en populaties:
, - Steekproefstatistieken: M (gemiddelde), SD
(standaarddeviatie) variantie, mediaan en modus.
- Populatieparameters: μ (populatiegemiddelde), σ
(populatiestandaarddeviatie).
- Samplingverdeling van M: verdeling van gemiddelde waarden uit veel
steekproeven.
- Variatie in steekproefgemiddelden zou komen door steekproeffout.
7.3 Steekproef versus populatie:
- Representatieve steekproeven worden gebruikt in kwaliteitscontroles of
opiniepeilingen. Het doel is dat de steekproef lijkt op de populatie, bijvoorbeeld
willekeurige selectie van kiezers.
- Convenience samples worden vaak gebruikt in psychologie, geneeskunde of
onderwijs. Steekproeven zijn gemakkelijk toegankelijk, maar daardoor mogelijk niet
representatief. Generalisaties moeten beperkt blijven tot populaties die lijken op de
steekproef (= proximal similarity).
7.4 Confidence intervals (CI) berekenen:
Formule:
Voorbeeld:
- N = 25, M = 50, SD = 10 en C = 95%
1. SEM = 10 / √25 = 2
2. t-kritiek = 2,064
3. CI = [45,872 ; 54,128]
- Factoren die CI breder maken:
1. Hoger betrouwbaarheidsniveau (van 95% naar 99%)
2. Kleinere N
3. Grotere SD
4. Meer zekerheid, maar lage nauwkeurigheid.
- Factoren die CI smaller maken:
1. Lager betrouwbaarheidsniveau (van 99% naar 95%)
2. Grotere steekproef
3. Kleiner SD
4. Meer nauwkeurigheid, maar lagere zekerheid.
7.5 Interpretatie van confidence intervals:
- Belangrijk punt: een 95% CI heeft niet 95% kans om μ te bevatten, μ zit er wel of niet
in. De correcte interpretatie is als we duizende steekproeven trekken, zal ongeveer
95% van de CIs μ bevatten. De Cls variëren per steekproef, bijvoorbeeld in 16 van
de 18 steekproeven zit μ.
Hoofdstuk 9:
, 9.1 Voorbij p-waarden
- Problemen met p-waarden:
1. Veel studies focussen op p < .05 en interpreteren dit als “belangrijk” of
“succesvol”
2. NHST (null-hypothese statistische toetsing) kent vele aannames die vaak
worden geschonden, zoals onafhankelijkheid van observaties en
representatieve steekproeven. Stappenplan voor NHST:
a. Eerst formuleren we de nul- en alternatieve hypothese.
b. Als tweede maken we een beslisregel.
c. Als derde, berekenen we de t- en p-waarde aan de hand van de data.
d. En als laatste verwerpen we wel of niet de nulhypothese en trekken
we een conclusie.
3. P-hacking (= onderzoekers passen analyses aan, zoals outliers verwijderen,
om de juiste p-waarde te halen). Dit veroorzaakt kans op Type-I fouten.
4. Misinterpretatie. Termen zoals “hoog significant” kunnen misleiden, p-waarde
hangt ook af van steekproefgrootte.
- Belangrijke aandachtspunten:
1. Effectgrootte geeft de impact van een behandeling of variabele onafhankelijk
van N.
2. Statistische significantie is niet praktische of klinische relevantie.
3. N en effectgrootte beïnvloeden t- en p-waarden.
4. Statistische power helpt bepalen van minimale N voor detecteerbare
effecten.
5. Type I en II fouten.
6. Interpretatie van “niet-significante” (p > .05) en “significante” uitkomsten.
7. Richtlijnen voor rapportage en wat je niet zeggen.
9.2 Statistische significantie versus praktische relevantie
- Verschil in betekenis:
1. Statistische significantie = resultaat onwaarschijnlijk door toeval (NHST).
2. Praktische/klinische significantie = resultaat relevant of merkbaar in de echte
wereld.
- Voorbeelden: Wanneer er statische significantie gevonden wordt bij 1 kilo
gewichtsverlies, is dit in de praktijk niet relevant.
9.3 Statistische power
(= kans om H0 correct te verwerpen wanneer deze fout is)
- Een power van ≥ 80 wordt gezien als redelijk. Formule voor T is: t = d × √N, dus
wanneer N en d toenemen, neemt de kans op statistische significantie ook toe.
