Psychometrie – H8 en H9
Testscore = in hoeverre meet het testinstrument steeds hetzelfde als je het meerdere keren afneemt
→ Betrouwbaarheid (hoe groot is de systematische variantie). Het gaat om True Score.
Systematisch of niet systematisch
Is het stukje systematisch ook echt wat we willen weten → Validiteit
Wat is validiteit?
Hoe kunnen we validiteit meten?
Hoofdstuk 8
Validiteit = of hetgeen wat constant is tussen meerdere toetsen ook echt is wat je wilt weten en
meten met je meetinstrument. De interpretatie van de testscore zoals bedoelt vanuit de theorie.
Implicaties validiteit
➢ Een testscore is NIET hetzelfde als het onderliggende construct waarin je geïnteresseerd is.
Deze score moet een goede afspiegeling zijn van het construct.
Validiteit is niet valide of niet-valide: de interpretatie gaat om de scores die (niet) valide zijn
➢ Validiteit is een range (niet alles of niks op basis van één getal)
Validiteit bestaat uit meerdere subdelen en deze vergelijken om tot een conclusie te komen.
Voorbeeld: anders dan de Betrouwbaarheid (= correlatie tussen aantal metingen en wat
constant blijft is betrouwbaarheid).
➢ Een testinterpretatie is gebaseerd op bewijs en theorie
Operationalisme (= het construct wordt gemeten door het meetinstrument maar is geen
getal).
Lage betrouwbaarheid → Lage validiteit
Hoge betrouwbaarheid → Hoge validiteit
Het belang van Validiteit
Er is niet één soort validiteit.
Validiteit = de constructvaliditeit van een meetinstrument om te bepalen
of het meetinstrument meet wat we denken dat die meet.
5 elementen van de constructvaliditeit
1) Klopt de inhoud van de test
Komt de inhoud van de test overeen wat we theoretisch van een
construct weten.
2) De interne structuur van het meetinstrument
Het construct bestaat uit twee subelementen en dan moet het
meetinstrumenten dit aantal factoren meenemen. Anders wordt er niet gemeten wat je wilt
meten. Voorbeeld: welbevinden 3 factoren.
3) De samenhang met andere variabele
True score is nooit helemaal zichtbaar maar je wilt erachter komen dat wat je meet ook echt
is wat je wilt weten. Je bepaald zelf waarmee het construct kan samenhangen. De relatie met
andere variabele zoals je zou verwachten. Voorbeeld: intelligentie en jaarinkomen.
4) De antwoordprocessen die gebruikt worden voor de antwoorden op de toets
1
, 5) Consequenties voor het gebruik van de test
Deze 5 elementen moeten min of meer in orde zijn voor het meetinstrument.
→ Als het merendeel in orde is kunnen we zeggen dat het meetinstrument valide is.
→ Je meet niet alleen steeds hetzelfde maar ook hetgeen wat je wilt weten.
5 elementen van constructvaliditeit
1)De inhoud van de test (Test content validiteit) = inhoudsvaliditeit / contentvaliditeit = De match
tussen wat gevraagd wordt op een toets en de elementen die bij een construct horen die we willen
meten.
Je vraagt te veel of te weinig van het construct. Alle items moeten het construct dekken,
representatief en adequaat zijn en overeen komen met de inhoud.
Voorbeeld: rekentoets, optellen, vermenigvuldigen, aftrekken i.p.v. alleen tafels meenemen. →
Inhoudsvaliditeit is dan niet in orde.
- Heb je alle aspecten afgedekt, te veel of te weinig?
Theorie; de theorie van het meetinstrument moet sterk zijn voor de interpretatie.
Definieer duidelijk wat je onder het construct verstaat. Het moet alles dekkend zijn.
• Niet-relevante of relevante items; het meetinstrument geeft een niet-relevantie
representatie en de validiteit wordt onderuit gehaald door het verwijderen van items die
niet relevant lijken.
Eerder items weggooien uit een meetinstrument, op basis van de correlatie, door te
weinig samenhang → Hiermee wordt de betrouwbaarheid groter maar de validiteit
minder dus pas op! Sommige items lijken niet relevant maar zijn dat wel.
Maar het kan wel cruciaal zijn voor het construct dus het item toch behouden → Voor
de validiteit van het item omdat de items wel relevant zijn.
Voorbeeld: depressie en suïcidale gedachten.
Wie bepaald dat?
Experts bepalen dit omdat je het niet aan leken moet vragen! Checken door:
- Face validiteit: vragen aan Non-experts (leken) in hoeverre het meetinstrument lijkt
aan te sluiten bij het construct of het te meten. Dit zegt niet voldoende. Voorbeelden:
thematic apperception test, rorschach inkblok test.
Content validiteit is belangrijk maar vraag dit niet aan leken.
• Onder representatie; het construct moet dekkend zijn door de inhoud van het
meetinstrument. Anders is het meetinstrument een onderrepresentatie van het
onderliggende construct wat je wilt meten.
2)De interne structuur van het meetinstrument (Internal Structure of the Test) = interne structuur
moet kloppend zijn door in hoeverre de onderdelen van de test in relatie staan tot elkaar.
Internal structure of the test → Factoranalyse
De match tussen de huidige structuur en de structuur van de test volgens de theorie.
- Het aantal factoren uit de factoranalyse komt dat overeen met het aantal constructen dan
dat het zou moeten zijn.
Voorbeeld: 1 construct = 1 factor, 3 construct = 3 factoren etc.
2
, - De interpretatie van de factoren moet kloppen.
De factoren moeten logisch laden op de items die er zijn.
De factoren moeten weergeven van wat wij denken dat ze zijn en het item moet dus
correleren met een bijbehorende factor.
- De relaties tussen de factoren moeten kloppen
De twee factoren hangen met elkaar samen = als er uit de factoranalyse komt dat er ..
factoren zijn, deze factoren allebei apart correleren met de items van de test EN als deze ..
factoren positief/negatief met elkaar samenhangen. Negatieve of positieve correlaties zijn
goed als je ze ook verwacht.
De onderlinge samenhang moet kloppen.
Als deze punten van de interne structuur van een meetinstrument kloppen kan er pas gesproken
worden over Internal Structure of the test (validiteit).
3) De samenhang/relatie met andere variabele (convergente validiteit) = de match tussen het de
associaties van het meetinstrument met andere meeteenheden/constructen en de samenhang die
het meetinstrument zou moeten hebben met andere meeteenheden/constructen.
Betrouwbaarheid en proces 1 t/m 4 afgaan van de validiteit. Maar het construct is nog steeds
onzichtbaar.
Hoe onze testscores samenhangen met andere variabele die positief of negatief samenhangen met
het construct waarin wij geïnteresseerd zijn?
- Stel verwachtingen op en check deze verwachtingen → Nomologisch netwerk van een
construct (= andere constructen verzinnen, de correlatie
berekenen en klopt dit zoals je het verwachtte).
Voorbeeld: ADHD met 2 meetinstrumenten.
- Convergent validiteit = Hangt het samen waarmee het samen moet
hangen (afhankelijk).
Verwachting: de scores op het ene meetinstrument correleren positief met
de scores op het andere meetinstrument.
3 subtypes convergente validiteit
◼ Concurrent validiteit: correleert met waarmee het moet correleren nu op hetzelfde
moment, met een andere maat wanneer het op het exact zelfde moment/tijd is afgenomen.
Voorbeeld: twee meetinstrumenten op hetzelfde moment afnemen en de score die hieruit
komt zegt inhoudelijk hetzelfde.
◼ Predicitieve validiteit: correleert met waarmee het moet correleren in de toekomst. Kun je
een toekomstig iets voorspellen met de testscores? Voorbeeld: IQ en jaarinkomen over een
paar jaar.
◼ Incrementele validiteit: correleert met waarmee het moet correleren, helpt deze testscore
nog voor een andere voorspelling bovenop de andere twee vormen (hetzelfde moment en in
de toekomst)? Voorbeeld: een derde maat neem je mee en je bepaald of het zin heeft om
beide meetinstrumenten mee te nemen om iets op deze derde maat te voorspellen. De
vragenlijst geeft WEL een extra voorspelling. De vragenlijst heeft incrementele validiteit.
De samenhang tussen jouw maat en andere maten. Samenhang met iets nu, in de toekomst, of
tussen jouw maat en iets anders (als je al gecorrigeerd hebt voor iets anders).
3
Testscore = in hoeverre meet het testinstrument steeds hetzelfde als je het meerdere keren afneemt
→ Betrouwbaarheid (hoe groot is de systematische variantie). Het gaat om True Score.
Systematisch of niet systematisch
Is het stukje systematisch ook echt wat we willen weten → Validiteit
Wat is validiteit?
Hoe kunnen we validiteit meten?
Hoofdstuk 8
Validiteit = of hetgeen wat constant is tussen meerdere toetsen ook echt is wat je wilt weten en
meten met je meetinstrument. De interpretatie van de testscore zoals bedoelt vanuit de theorie.
Implicaties validiteit
➢ Een testscore is NIET hetzelfde als het onderliggende construct waarin je geïnteresseerd is.
Deze score moet een goede afspiegeling zijn van het construct.
Validiteit is niet valide of niet-valide: de interpretatie gaat om de scores die (niet) valide zijn
➢ Validiteit is een range (niet alles of niks op basis van één getal)
Validiteit bestaat uit meerdere subdelen en deze vergelijken om tot een conclusie te komen.
Voorbeeld: anders dan de Betrouwbaarheid (= correlatie tussen aantal metingen en wat
constant blijft is betrouwbaarheid).
➢ Een testinterpretatie is gebaseerd op bewijs en theorie
Operationalisme (= het construct wordt gemeten door het meetinstrument maar is geen
getal).
Lage betrouwbaarheid → Lage validiteit
Hoge betrouwbaarheid → Hoge validiteit
Het belang van Validiteit
Er is niet één soort validiteit.
Validiteit = de constructvaliditeit van een meetinstrument om te bepalen
of het meetinstrument meet wat we denken dat die meet.
5 elementen van de constructvaliditeit
1) Klopt de inhoud van de test
Komt de inhoud van de test overeen wat we theoretisch van een
construct weten.
2) De interne structuur van het meetinstrument
Het construct bestaat uit twee subelementen en dan moet het
meetinstrumenten dit aantal factoren meenemen. Anders wordt er niet gemeten wat je wilt
meten. Voorbeeld: welbevinden 3 factoren.
3) De samenhang met andere variabele
True score is nooit helemaal zichtbaar maar je wilt erachter komen dat wat je meet ook echt
is wat je wilt weten. Je bepaald zelf waarmee het construct kan samenhangen. De relatie met
andere variabele zoals je zou verwachten. Voorbeeld: intelligentie en jaarinkomen.
4) De antwoordprocessen die gebruikt worden voor de antwoorden op de toets
1
, 5) Consequenties voor het gebruik van de test
Deze 5 elementen moeten min of meer in orde zijn voor het meetinstrument.
→ Als het merendeel in orde is kunnen we zeggen dat het meetinstrument valide is.
→ Je meet niet alleen steeds hetzelfde maar ook hetgeen wat je wilt weten.
5 elementen van constructvaliditeit
1)De inhoud van de test (Test content validiteit) = inhoudsvaliditeit / contentvaliditeit = De match
tussen wat gevraagd wordt op een toets en de elementen die bij een construct horen die we willen
meten.
Je vraagt te veel of te weinig van het construct. Alle items moeten het construct dekken,
representatief en adequaat zijn en overeen komen met de inhoud.
Voorbeeld: rekentoets, optellen, vermenigvuldigen, aftrekken i.p.v. alleen tafels meenemen. →
Inhoudsvaliditeit is dan niet in orde.
- Heb je alle aspecten afgedekt, te veel of te weinig?
Theorie; de theorie van het meetinstrument moet sterk zijn voor de interpretatie.
Definieer duidelijk wat je onder het construct verstaat. Het moet alles dekkend zijn.
• Niet-relevante of relevante items; het meetinstrument geeft een niet-relevantie
representatie en de validiteit wordt onderuit gehaald door het verwijderen van items die
niet relevant lijken.
Eerder items weggooien uit een meetinstrument, op basis van de correlatie, door te
weinig samenhang → Hiermee wordt de betrouwbaarheid groter maar de validiteit
minder dus pas op! Sommige items lijken niet relevant maar zijn dat wel.
Maar het kan wel cruciaal zijn voor het construct dus het item toch behouden → Voor
de validiteit van het item omdat de items wel relevant zijn.
Voorbeeld: depressie en suïcidale gedachten.
Wie bepaald dat?
Experts bepalen dit omdat je het niet aan leken moet vragen! Checken door:
- Face validiteit: vragen aan Non-experts (leken) in hoeverre het meetinstrument lijkt
aan te sluiten bij het construct of het te meten. Dit zegt niet voldoende. Voorbeelden:
thematic apperception test, rorschach inkblok test.
Content validiteit is belangrijk maar vraag dit niet aan leken.
• Onder representatie; het construct moet dekkend zijn door de inhoud van het
meetinstrument. Anders is het meetinstrument een onderrepresentatie van het
onderliggende construct wat je wilt meten.
2)De interne structuur van het meetinstrument (Internal Structure of the Test) = interne structuur
moet kloppend zijn door in hoeverre de onderdelen van de test in relatie staan tot elkaar.
Internal structure of the test → Factoranalyse
De match tussen de huidige structuur en de structuur van de test volgens de theorie.
- Het aantal factoren uit de factoranalyse komt dat overeen met het aantal constructen dan
dat het zou moeten zijn.
Voorbeeld: 1 construct = 1 factor, 3 construct = 3 factoren etc.
2
, - De interpretatie van de factoren moet kloppen.
De factoren moeten logisch laden op de items die er zijn.
De factoren moeten weergeven van wat wij denken dat ze zijn en het item moet dus
correleren met een bijbehorende factor.
- De relaties tussen de factoren moeten kloppen
De twee factoren hangen met elkaar samen = als er uit de factoranalyse komt dat er ..
factoren zijn, deze factoren allebei apart correleren met de items van de test EN als deze ..
factoren positief/negatief met elkaar samenhangen. Negatieve of positieve correlaties zijn
goed als je ze ook verwacht.
De onderlinge samenhang moet kloppen.
Als deze punten van de interne structuur van een meetinstrument kloppen kan er pas gesproken
worden over Internal Structure of the test (validiteit).
3) De samenhang/relatie met andere variabele (convergente validiteit) = de match tussen het de
associaties van het meetinstrument met andere meeteenheden/constructen en de samenhang die
het meetinstrument zou moeten hebben met andere meeteenheden/constructen.
Betrouwbaarheid en proces 1 t/m 4 afgaan van de validiteit. Maar het construct is nog steeds
onzichtbaar.
Hoe onze testscores samenhangen met andere variabele die positief of negatief samenhangen met
het construct waarin wij geïnteresseerd zijn?
- Stel verwachtingen op en check deze verwachtingen → Nomologisch netwerk van een
construct (= andere constructen verzinnen, de correlatie
berekenen en klopt dit zoals je het verwachtte).
Voorbeeld: ADHD met 2 meetinstrumenten.
- Convergent validiteit = Hangt het samen waarmee het samen moet
hangen (afhankelijk).
Verwachting: de scores op het ene meetinstrument correleren positief met
de scores op het andere meetinstrument.
3 subtypes convergente validiteit
◼ Concurrent validiteit: correleert met waarmee het moet correleren nu op hetzelfde
moment, met een andere maat wanneer het op het exact zelfde moment/tijd is afgenomen.
Voorbeeld: twee meetinstrumenten op hetzelfde moment afnemen en de score die hieruit
komt zegt inhoudelijk hetzelfde.
◼ Predicitieve validiteit: correleert met waarmee het moet correleren in de toekomst. Kun je
een toekomstig iets voorspellen met de testscores? Voorbeeld: IQ en jaarinkomen over een
paar jaar.
◼ Incrementele validiteit: correleert met waarmee het moet correleren, helpt deze testscore
nog voor een andere voorspelling bovenop de andere twee vormen (hetzelfde moment en in
de toekomst)? Voorbeeld: een derde maat neem je mee en je bepaald of het zin heeft om
beide meetinstrumenten mee te nemen om iets op deze derde maat te voorspellen. De
vragenlijst geeft WEL een extra voorspelling. De vragenlijst heeft incrementele validiteit.
De samenhang tussen jouw maat en andere maten. Samenhang met iets nu, in de toekomst, of
tussen jouw maat en iets anders (als je al gecorrigeerd hebt voor iets anders).
3
