VOS: Grasple lessen
Voorkennis: Validiteit
We onderscheiden vier verschillende vormen van validiteit:
1. Begripsvaliditeit
De mate waarin de meetinstrumenten (operationele definitie) slagen in het meten
van de concepten/constructen en dus passen bij de conceptuele definitie. In
experimenteel onderzoek gaat het daarnaast om de mate waarin de bedoelde
manipulatie geslaagd is. Begripsvaliditeit gaat dus over de overeenstemming tussen
de operationalisatie (door middel van het meetinstrument) en het theoretisch begrip
(zoals beschreven in de conceptuele definitie).
Om de begripsvaliditeit van een wetenschappelijk onderzoek te beoordelen, kun je
dus bijvoorbeeld de volgende vragen stellen:
- Welke theoretische begrippen worden er gemeten of gemanipuleerd in het
onderzoek (conceptuele definitie)?
- Met welke meetinstrumenten worden de theoretische begrippen gemeten
(operationele definitie)?
- Meet het gekozen meetinstrument wel wat het beoogt te meten?
- Is er een betrouwbaarheidsanalyse uitgevoerd? Zo ja, wat is hiervan het resultaat?
2. Interne validiteit
De mate waarin de onderzoeksmethode alternatieve verklaringen voor een effect
kan uitsluiten. Dit ‘effect’ kan betrekking hebben op zowel een relatie tussen
variabelen als een verschil tussen groepen. Interne validiteit gaat dus over de
mogelijkheid om te bepalen of er sprake is van een causaal verband (oorzaak-
gevolgrelatie).
In voorgaande cursussen heb je geleerd dat er drie voorwaarden zijn om te kunnen
spreken van een causaal verband. Om te bepalen of aan deze voorwaarden wordt
voldaan kun je de volgende vragen stellen:
- Is er sprake van een relatie tussen twee of meer variabelen?
- Gaat de oorzaak vooraf aan het gevolg (in tijd)?
- Kunnen we andere verklaringen voor het gevonden verband uitsluiten?
3. Externe validiteit
De mate waarin de onderzoeksresultaten kunnen worden gegeneraliseerd naar
andere groepen, tijden en situaties. Externe validiteit gaat dus over de mogelijkheid
om op basis van de onderzoeksresultaten iets te zeggen over situaties buiten het
onderzoek, oftewel over situaties in een real-world setting.
Om de externe validiteit van een wetenschappelijk onderzoek te beoordelen, kun je
bijvoorbeeld de volgende vragen stellen:
- Welke populatie wordt er onderzocht?
- Welke steekproefmethode is er gebruikt?
- Hoe representatief is de steekproef voor de populatie?
- Wat kunnen we op basis van de onderzoeksresultaten zeggen over situaties in
een real-world setting?
, Als je een onderzoek met een grote steekproef gebruikt, is de externe validiteit niet
per se hoog. Ook al is de steekproef groot, dit maakt het niet representatief. De
representativiteit hangt af van de gebruikte steekproefmethode.
4. Statistische validiteit
De mate waarin de resultaten van een statistische analyse nauwkeurig en goed
gefundeerd zijn. Statistische validiteit gaat dus over de nauwkeurigheid en juistheid
van de statistische analyses.
Om de statistische validiteit van een wetenschappelijk onderzoek te beoordelen, kun
je bijvoorbeeld de volgende vragen stellen:
- Is de gekozen analysetechniek geschikt voor beantwoording van de onderzoeksvraag?
- Is er voldaan aan de voorwaarden/assumpties van de uitgevoerde analyse?
- Zijn de resultaten van de analyse op de juiste manier gerapporteerd en
geïnterpreteerd?
Je kan de statistische validiteit meten door de Pearson correlatie of de t-toets van
onafhankelijke groepen. De Pearson correlatie meet de samenhang tussen twee
variabelen en is niet geschikt om het verschil tussen twee groepen te meten. Voor
een Pearson correlatie moeten de onafhankelijke en de afhankelijke variabele allebei
van interval/ratio meetniveau zijn.
Deze vier vormen hebben ieder hun eigen focuspunten, maar ze haken ook op elkaar in. Dit
betekent dat binnen een onderzoek gemaakte keuzes soms positief kunnen uitpakken voor
de ene vorm van validiteit en tegelijkertijd negatief voor een andere vorm van validiteit.
Dit geldt met name voor de interne en de externe validiteit.
Wanneer er bijvoorbeeld bij een experiment (hoge interne validiteit) gebruikgemaakt wordt
van een labsetting of een (computer)simulatie, kunnen we op basis van de
onderzoeksresultaten minder zeggen over situaties buiten het onderzoek (lage externe
validiteit).
Dus; hoge interne validiteit = lage externe validiteit
Lage interne validiteit = hoge externe validiteit
Om de kwaliteit van een wetenschappelijk artikel te beoordelen kijken we naar de vier
validiteiten samen.
Voorkennis JASP & Bayes
VK00: Introductie JASP
Bij basis plots, heb je drie opties:
1. Distribution plots: denk hierbij aan een histogram om te zien hoe de scores op een
variabele verdeeld zijn
2. Correlation plots: denk hierbij een spreidingsdiagram (Scatterplot) die om te zien hoe
de relatie tussen twee variabelen eruitziet
3. Interval plots: grafieken waarmee je ook kunt zien hoe de scores op een variabele
verdeeld zijn
VK07: Bayesiaanse hypothese evaluatie en de Bayes Factor
In de klassieke statistische toets procedure volg je de volgende stappen:
,Onderzoeksvraag > Nulhypothese (H0) > Toets > Verwerpen H0 of niet verwerpen H0 (op
basis van p-waarde)
Dit is de procedure die bekend staat onder de naam Null Hypothesis Significance Testing
(NHST). NHST impliceert dat onderzoekers uiteindelijk concluderen "er is niets"
(als p > α en de nulhypothese niet wordt verworpen) of "er is iets" (als p <≤ α en de
nulhypothese wel wordt verworpen). En bij een "er is iets" spreken we van significant
resultaat. Vaak rapporteert men dan ook een effectgrootte (bijvoorbeeld r of Cohens’s d) als
schatting voor het effect waarin men geïnteresseerd is.
Met de Bayesiaanse procedure kan je meerdere hypotheses tegelijkertijd evalueren. Je kan
dan uitbreidingen van modellen met elkaar vergelijken om tot het best passende model te
komen. Hiervoor vergelijk je de Bayes Factoren voor elke hypothese met elkaar.
Bij Bayesiaanse hypothese toetsing gaan we na hoeveel ondersteuning, uitgaande van de
steekproefgegevens, er is voor de verschillende hypotheses. Deze maat voor relatieve steun
is de Bayes Factor (BF).
De Bayes Factor (BF) geeft aan hoeveel de ene hypothese meer steun krijgt in verhouding tot
een andere hypothese.
Stel we evalueren de nulhypothese H0: μ1=μ2H0: μ1=μ2 versus een alternatieve
hypothese HA: μ1≠μ2. De Bayes Factor die hierbij wordt berekend is BFH0 HA= 5.
Een BF = 5 betekent dan dat er vijf keer meer steun is voor H0 dan voor HA.
Een Bayes-factor van 1 betekent dat er evenveel steun is voor beide hypothesen.
Wat kunnen we dan concluderen bij een gevonden Bayes Factor van BFH0 HA=0.4BFH0 HA
=0.4?
Er is meer steun voor de alternatieve hypothese (HA) dan de nulhypothese (H0)
Bayes Factor = een maat voor de relatieve hoeveelheid steun voor de ene hypothese versus
de andere.
Wat betekent dat eigenlijk? Voor antwoord op deze vraag moeten we weten waar de steun
in de data voor een hypothese door bepaald wordt. De hoeveelheid steun die we vinden in
de data (steekproef) voor een hypothese is afhankelijk van twee zaken:
1. De fit van de hypothese voor de data, ofwel hoe goed past de hypothese bij de data,
en
2. De specificiteit van de hypothese, ofwel hoeveel mogelijkheden worden met de
hypothese uitgesloten.
Er zijn geen 'objectieve' grenswaarden zoals we die kennen bij het gebruik van p-waarden
voor het beoordelen van de hoeveelheid steun voor een hypothese.
We weten dat BFH0HA = 60 betekent dat er 60 keer meer steun is voor H0, en we weten
dat BFH0HA = 1.5 betekent dat er maar 1,5 keer meer steun is voor H0. De hypothese
waarvoor de BF = 60 is er dus meer steun dan voor de hypothese waarvoor de BF = 1.5
Voorkennis correlatie en regressie
VK01: Correlatie
Correlatie = de samenhang tussen twee variabelen. Voor de sterkte van de samenhang
kunnen we, afhankelijk van bepaalde kenmerken van de variabelen, verschillende statistische
, maten gebruiken. In deze les besteden we aandacht aan de correlatiecoëfficiënt die ook
bekend staat als de Pearson's r voor twee numerieke variabelen van minimaal interval
meetniveau. Er zijn ook andere maten voor samenhang tussen variabelen, maar deze
worden niet in deze les behandeld.
Correlatiecoëfficiënt = een gestandaardiseerde maat voor de sterkte van de lineaire relatie
tussen twee variabelen. Het is lastig om de sterkte van een relatie op het oog te beoordelen.
Het is daarom handig om de (lineaire) samenhang tussen twee variabelen van een
gestandaardiseerde waarde te voorzien. Met die waarde kun je dan de richting en de sterkte
van een lineaire relatie kwantificeren en beoordelen. Dit getal is voor de lineaire samenhang
de Pearson product-momentcorrelatiecoëfficiënt of kortweg de correlatiecoëfficiënt.
De correlatiecoëfficiënt r is een gestandaardiseerde maat en daarom kun je de correlaties
tussen variabelen vergelijken.
Hoe interpreteren we de correlatiecoëfficiënt?
- Een absolute waarde van 1 (+1 of -1) geeft de maximale sterkte van een lineaire
relatie tussen twee variabelen aan. Dit komt voor wanneer de punten van het
spreidingsdiagram allemaal precies op 1 rechte lijn liggen.
- Een waarde van 0 geeft aan dat er geen lineair verband is tussen de twee variabelen.
Een zwakke correlatie of een correlatie van 0 hoeft niet te betekenen dat er geen relatie is
tussen de twee variabelen. De relatie kan ook niet-lineair zijn.
De Pearson's r geeft de sterkte en richting van de lineaire relatie, ongeacht of de
daadwerkelijke relatie inderdaad lineair is.
Bijvoorbeeld: De plot hieronder toont een sterke relatie tussen X en Y, maar dit is geen
lineaire maar een kromlijnige (kwadratische) relatie. De best passende lineaire lijn voor deze
situatie zal horizontaal zijn en ons dus vertellen dat er geen lineaire (positieve of negatieve)
relatie is.
De les hierbij is: Vertrouw niet uitsluitend op
getallen (bijvoorbeeld r = 0), maar maak
plots en inspecteer je gegevens om de
waarde van, in dit geval, een
correlatiecoëfficiënt te bepalen.
Een veel voorkomend misverstand is dat men bij een gevonden correlatie tussen twee
variabelen ook denkt dat er sprake is van een oorzaak-gevolg relatie (= causaliteit). Het is
echter slechts onder bepaalde voorwaarden dat je kunt zeggen dat een correlatie
betekent dat de verandering in de ene variabele een verandering in de andere
variabele veroorzaakt.
Voorkennis: Validiteit
We onderscheiden vier verschillende vormen van validiteit:
1. Begripsvaliditeit
De mate waarin de meetinstrumenten (operationele definitie) slagen in het meten
van de concepten/constructen en dus passen bij de conceptuele definitie. In
experimenteel onderzoek gaat het daarnaast om de mate waarin de bedoelde
manipulatie geslaagd is. Begripsvaliditeit gaat dus over de overeenstemming tussen
de operationalisatie (door middel van het meetinstrument) en het theoretisch begrip
(zoals beschreven in de conceptuele definitie).
Om de begripsvaliditeit van een wetenschappelijk onderzoek te beoordelen, kun je
dus bijvoorbeeld de volgende vragen stellen:
- Welke theoretische begrippen worden er gemeten of gemanipuleerd in het
onderzoek (conceptuele definitie)?
- Met welke meetinstrumenten worden de theoretische begrippen gemeten
(operationele definitie)?
- Meet het gekozen meetinstrument wel wat het beoogt te meten?
- Is er een betrouwbaarheidsanalyse uitgevoerd? Zo ja, wat is hiervan het resultaat?
2. Interne validiteit
De mate waarin de onderzoeksmethode alternatieve verklaringen voor een effect
kan uitsluiten. Dit ‘effect’ kan betrekking hebben op zowel een relatie tussen
variabelen als een verschil tussen groepen. Interne validiteit gaat dus over de
mogelijkheid om te bepalen of er sprake is van een causaal verband (oorzaak-
gevolgrelatie).
In voorgaande cursussen heb je geleerd dat er drie voorwaarden zijn om te kunnen
spreken van een causaal verband. Om te bepalen of aan deze voorwaarden wordt
voldaan kun je de volgende vragen stellen:
- Is er sprake van een relatie tussen twee of meer variabelen?
- Gaat de oorzaak vooraf aan het gevolg (in tijd)?
- Kunnen we andere verklaringen voor het gevonden verband uitsluiten?
3. Externe validiteit
De mate waarin de onderzoeksresultaten kunnen worden gegeneraliseerd naar
andere groepen, tijden en situaties. Externe validiteit gaat dus over de mogelijkheid
om op basis van de onderzoeksresultaten iets te zeggen over situaties buiten het
onderzoek, oftewel over situaties in een real-world setting.
Om de externe validiteit van een wetenschappelijk onderzoek te beoordelen, kun je
bijvoorbeeld de volgende vragen stellen:
- Welke populatie wordt er onderzocht?
- Welke steekproefmethode is er gebruikt?
- Hoe representatief is de steekproef voor de populatie?
- Wat kunnen we op basis van de onderzoeksresultaten zeggen over situaties in
een real-world setting?
, Als je een onderzoek met een grote steekproef gebruikt, is de externe validiteit niet
per se hoog. Ook al is de steekproef groot, dit maakt het niet representatief. De
representativiteit hangt af van de gebruikte steekproefmethode.
4. Statistische validiteit
De mate waarin de resultaten van een statistische analyse nauwkeurig en goed
gefundeerd zijn. Statistische validiteit gaat dus over de nauwkeurigheid en juistheid
van de statistische analyses.
Om de statistische validiteit van een wetenschappelijk onderzoek te beoordelen, kun
je bijvoorbeeld de volgende vragen stellen:
- Is de gekozen analysetechniek geschikt voor beantwoording van de onderzoeksvraag?
- Is er voldaan aan de voorwaarden/assumpties van de uitgevoerde analyse?
- Zijn de resultaten van de analyse op de juiste manier gerapporteerd en
geïnterpreteerd?
Je kan de statistische validiteit meten door de Pearson correlatie of de t-toets van
onafhankelijke groepen. De Pearson correlatie meet de samenhang tussen twee
variabelen en is niet geschikt om het verschil tussen twee groepen te meten. Voor
een Pearson correlatie moeten de onafhankelijke en de afhankelijke variabele allebei
van interval/ratio meetniveau zijn.
Deze vier vormen hebben ieder hun eigen focuspunten, maar ze haken ook op elkaar in. Dit
betekent dat binnen een onderzoek gemaakte keuzes soms positief kunnen uitpakken voor
de ene vorm van validiteit en tegelijkertijd negatief voor een andere vorm van validiteit.
Dit geldt met name voor de interne en de externe validiteit.
Wanneer er bijvoorbeeld bij een experiment (hoge interne validiteit) gebruikgemaakt wordt
van een labsetting of een (computer)simulatie, kunnen we op basis van de
onderzoeksresultaten minder zeggen over situaties buiten het onderzoek (lage externe
validiteit).
Dus; hoge interne validiteit = lage externe validiteit
Lage interne validiteit = hoge externe validiteit
Om de kwaliteit van een wetenschappelijk artikel te beoordelen kijken we naar de vier
validiteiten samen.
Voorkennis JASP & Bayes
VK00: Introductie JASP
Bij basis plots, heb je drie opties:
1. Distribution plots: denk hierbij aan een histogram om te zien hoe de scores op een
variabele verdeeld zijn
2. Correlation plots: denk hierbij een spreidingsdiagram (Scatterplot) die om te zien hoe
de relatie tussen twee variabelen eruitziet
3. Interval plots: grafieken waarmee je ook kunt zien hoe de scores op een variabele
verdeeld zijn
VK07: Bayesiaanse hypothese evaluatie en de Bayes Factor
In de klassieke statistische toets procedure volg je de volgende stappen:
,Onderzoeksvraag > Nulhypothese (H0) > Toets > Verwerpen H0 of niet verwerpen H0 (op
basis van p-waarde)
Dit is de procedure die bekend staat onder de naam Null Hypothesis Significance Testing
(NHST). NHST impliceert dat onderzoekers uiteindelijk concluderen "er is niets"
(als p > α en de nulhypothese niet wordt verworpen) of "er is iets" (als p <≤ α en de
nulhypothese wel wordt verworpen). En bij een "er is iets" spreken we van significant
resultaat. Vaak rapporteert men dan ook een effectgrootte (bijvoorbeeld r of Cohens’s d) als
schatting voor het effect waarin men geïnteresseerd is.
Met de Bayesiaanse procedure kan je meerdere hypotheses tegelijkertijd evalueren. Je kan
dan uitbreidingen van modellen met elkaar vergelijken om tot het best passende model te
komen. Hiervoor vergelijk je de Bayes Factoren voor elke hypothese met elkaar.
Bij Bayesiaanse hypothese toetsing gaan we na hoeveel ondersteuning, uitgaande van de
steekproefgegevens, er is voor de verschillende hypotheses. Deze maat voor relatieve steun
is de Bayes Factor (BF).
De Bayes Factor (BF) geeft aan hoeveel de ene hypothese meer steun krijgt in verhouding tot
een andere hypothese.
Stel we evalueren de nulhypothese H0: μ1=μ2H0: μ1=μ2 versus een alternatieve
hypothese HA: μ1≠μ2. De Bayes Factor die hierbij wordt berekend is BFH0 HA= 5.
Een BF = 5 betekent dan dat er vijf keer meer steun is voor H0 dan voor HA.
Een Bayes-factor van 1 betekent dat er evenveel steun is voor beide hypothesen.
Wat kunnen we dan concluderen bij een gevonden Bayes Factor van BFH0 HA=0.4BFH0 HA
=0.4?
Er is meer steun voor de alternatieve hypothese (HA) dan de nulhypothese (H0)
Bayes Factor = een maat voor de relatieve hoeveelheid steun voor de ene hypothese versus
de andere.
Wat betekent dat eigenlijk? Voor antwoord op deze vraag moeten we weten waar de steun
in de data voor een hypothese door bepaald wordt. De hoeveelheid steun die we vinden in
de data (steekproef) voor een hypothese is afhankelijk van twee zaken:
1. De fit van de hypothese voor de data, ofwel hoe goed past de hypothese bij de data,
en
2. De specificiteit van de hypothese, ofwel hoeveel mogelijkheden worden met de
hypothese uitgesloten.
Er zijn geen 'objectieve' grenswaarden zoals we die kennen bij het gebruik van p-waarden
voor het beoordelen van de hoeveelheid steun voor een hypothese.
We weten dat BFH0HA = 60 betekent dat er 60 keer meer steun is voor H0, en we weten
dat BFH0HA = 1.5 betekent dat er maar 1,5 keer meer steun is voor H0. De hypothese
waarvoor de BF = 60 is er dus meer steun dan voor de hypothese waarvoor de BF = 1.5
Voorkennis correlatie en regressie
VK01: Correlatie
Correlatie = de samenhang tussen twee variabelen. Voor de sterkte van de samenhang
kunnen we, afhankelijk van bepaalde kenmerken van de variabelen, verschillende statistische
, maten gebruiken. In deze les besteden we aandacht aan de correlatiecoëfficiënt die ook
bekend staat als de Pearson's r voor twee numerieke variabelen van minimaal interval
meetniveau. Er zijn ook andere maten voor samenhang tussen variabelen, maar deze
worden niet in deze les behandeld.
Correlatiecoëfficiënt = een gestandaardiseerde maat voor de sterkte van de lineaire relatie
tussen twee variabelen. Het is lastig om de sterkte van een relatie op het oog te beoordelen.
Het is daarom handig om de (lineaire) samenhang tussen twee variabelen van een
gestandaardiseerde waarde te voorzien. Met die waarde kun je dan de richting en de sterkte
van een lineaire relatie kwantificeren en beoordelen. Dit getal is voor de lineaire samenhang
de Pearson product-momentcorrelatiecoëfficiënt of kortweg de correlatiecoëfficiënt.
De correlatiecoëfficiënt r is een gestandaardiseerde maat en daarom kun je de correlaties
tussen variabelen vergelijken.
Hoe interpreteren we de correlatiecoëfficiënt?
- Een absolute waarde van 1 (+1 of -1) geeft de maximale sterkte van een lineaire
relatie tussen twee variabelen aan. Dit komt voor wanneer de punten van het
spreidingsdiagram allemaal precies op 1 rechte lijn liggen.
- Een waarde van 0 geeft aan dat er geen lineair verband is tussen de twee variabelen.
Een zwakke correlatie of een correlatie van 0 hoeft niet te betekenen dat er geen relatie is
tussen de twee variabelen. De relatie kan ook niet-lineair zijn.
De Pearson's r geeft de sterkte en richting van de lineaire relatie, ongeacht of de
daadwerkelijke relatie inderdaad lineair is.
Bijvoorbeeld: De plot hieronder toont een sterke relatie tussen X en Y, maar dit is geen
lineaire maar een kromlijnige (kwadratische) relatie. De best passende lineaire lijn voor deze
situatie zal horizontaal zijn en ons dus vertellen dat er geen lineaire (positieve of negatieve)
relatie is.
De les hierbij is: Vertrouw niet uitsluitend op
getallen (bijvoorbeeld r = 0), maar maak
plots en inspecteer je gegevens om de
waarde van, in dit geval, een
correlatiecoëfficiënt te bepalen.
Een veel voorkomend misverstand is dat men bij een gevonden correlatie tussen twee
variabelen ook denkt dat er sprake is van een oorzaak-gevolg relatie (= causaliteit). Het is
echter slechts onder bepaalde voorwaarden dat je kunt zeggen dat een correlatie
betekent dat de verandering in de ene variabele een verandering in de andere
variabele veroorzaakt.
