TiU: Testtheorie (2021/2022)
Shimara van den Elzen
TESTTHEORIE
SAMENVATTING VAN DE HOORCOLLEGES
Inhoudsopgave
Testtheorie .............................................................................................................................................. 1
Hoorcollege 1: Basiskennig statistiek .................................................................................................. 2
Hoorcollege 2: Eigenschappen van tests en items .............................................................................. 6
Hoorcollege 3: Bewerkte scores en normen ..................................................................................... 16
Hoorcollege 4: Betrouwbaarheid: Klassieke Testtheorie .................................................................. 25
Hoorcollege 5: Bepaling van de betrouwbaarheid in de praktijk ...................................................... 33
Hoorcollege 6: Invloeden op de betrouwbaarheid ........................................................................... 44
Hoorcollege 7: Betrouwbaarheid: verbeteren en gevolgen.............................................................. 52
Hoorcollege 8: Begripsvaliditeit ........................................................................................................ 64
Hoorcollege 9: Criteriumvaliditeit ..................................................................................................... 77
Hoorcollege 10: Introductie Item-responstheorie ............................................................................ 92
Hoorcollege 11: IRT in de praktijk ................................................................................................... 109
Hoorcollege 12: Test fairness & bias ............................................................................................... 120
1
, TiU: Testtheorie (2021/2022)
Shimara van den Elzen
HOORCOLLEGE 1: BASISKENNIG STATISTIEK
Zorgen voor goede psychologische tests is essentieel. Zonder goede tests is psychologie
nauwelijks een wetenschap en kan psychologie weinig bijdragen aan de maatschappij. Er is
een heel vakgebied binnen psychologie gewijd aan de vraag hoe we de kwaliteit van tests
kunnen onderzoeken en verbeteren: testtheorie (ook wel psychometrie genoemd). Vrijwel
alle psychologische theorieën zijn tot stand gekomen dankzij testtheorie (bijv. Big Five).
Voor het meten bij individuen gebruik je meestal een test met veel items. Je gebruikt deze
items als indicatoren voor een construct (niet direct te observeren psychologische
eigenschappen, bijv. perfectionisme). Het idee is dat de reactie van een proefpersoon op de
vragen (de indicatoren) een indicatie geven van het te meten construct. Stappen:
1. Aan antwoorden worden scores toegekend (itemscores).
2. Itemscores worden verwerkt tot testscore (meestal optellen).
3. Testscores worden geïnterpreteerd.
Wat kun je zeggen over iemands perfectionisme op basis van de testscores?
- Zijn de testscores zinvol te interpreteren?
- Meet de test wel perfectionisme? Hoe kom je daar achter?
- Zijn de vragen/opdrachten wel van goede kwaliteit?
- Zijn er wel genoeg vragen in de test?
- Iemand heeft een score 14 en een ander heeft een score 15. Is dit verschil groot
genoeg om te concluderen dat ze verschillen in perfectionisme?
Tests worden veel gebruikt om te meten in de psychologie, meestal de handigste manier om
aan gegevens te komen. Als je goed en nauwkeurig wilt meten heb je een goede test nodig,
anders doe je aan sloppy science! Voor het maken van een goede test zijn helaas geen
kant-en-klare regels. Het vereist voortdurend goed nadenken, goede kennis van de te meten
eigenschap, goed gebruik van statistische methoden. Er zijn wel handvatten: die worden
behandeld in testtheorie.
Variabele:
- Een variabele is iets wat meerdere waardes aan kan nemen. Het is letterlijk iets wat
varieert.
- In dit college wordt er gewerkt met een voorbeeld van scores van 5 respondenten op
3 tests (X, Y, W). Dit wordt weergegeven in een datamatrix.
o In de kolommen worden de variabelen weergegeven.
o In de rijen worden de respondenten (personen) weergegeven waarvoor je een
score op die variabele ziet.
2
, TiU: Testtheorie (2021/2022)
Shimara van den Elzen
Gemiddelde en deviatiescore:
- Gemiddelde: optellen van de scores en vervolgens delen door N.
6+9+7+10+8 40
o Bijvoorbeeld: 5
= 5 =8
- Deviatiescore: hierbij haal je het gemiddelde af van de score.
o Bijvoorbeeld: 6 − 8 = −2
- We hebben nu iets gedaan wat we vanuit inleiding statistiek al kennen onder een
andere naam. We hebben de verdeling gecentreerd. We hebben er namelijk voor
gezorgd dat de verdeling een gemiddelde krijgt van 0.
- Let op: de deviatiescores geven we meestal aan met een kleine letter, terwijl de
variabelen met een hoofdletter worden aangegeven.
Variantie en standaarddeviatie:
- Variantie: we tellen nu de gekwadrateerde afwijkingsscores bij elkaar op en deze
delen we door N. Variantie zegt ons iets over de mate waarin mensen variëren en de
mate waarin scores van elkaar afwijken. Als iedereen dezelfde score heeft, is er geen
afwijking ten opzichte van elkaar en heb je een variantie van 0.
o Bijvoorbeeld:
3
, TiU: Testtheorie (2021/2022)
Shimara van den Elzen
- Standaarddeviatie: we nemen de wortel van de variantie.
o Bijvoorbeeld:
- Let op: in dit vak is het zo dat er gewerkt wordt met ‘delen door N’ in plaats van ‘delen
door N – 1’.
Standaardscores (of z-scores):
- Z-score: we kijken naar de z-score van de afwijkingsscore (we gaan de
afwijkingsscore van X standaardiseren). We nemen de afwijkingsscore die we al
hadden en deze delen we door de standaarddeviatie.
−2
o Bijvoorbeeld: 1.41 = −1.41
- Z-scores zijn gestandaardiseerde scores (variabelen). Een z-score is een manier om
die afwijkingsscore, die al vertelt of je positief of negatief afwijkt ten opzichte van het
gemiddelde, op één gemeenschappelijke schaal te plaatsen, waarvan we weten dat
de standaarddeviatie altijd 1 is. Dit betekent dat we automatisch en direct een
interpretatie kunnen koppelen aan de score.
Covariantie en correlatie:
- Covariantie: we nemen voor iedere persoon het product van de afwijkingsscores van
x en y, dit tellen we dan op van alle personen samen en delen we vervolgens door N.
4
Shimara van den Elzen
TESTTHEORIE
SAMENVATTING VAN DE HOORCOLLEGES
Inhoudsopgave
Testtheorie .............................................................................................................................................. 1
Hoorcollege 1: Basiskennig statistiek .................................................................................................. 2
Hoorcollege 2: Eigenschappen van tests en items .............................................................................. 6
Hoorcollege 3: Bewerkte scores en normen ..................................................................................... 16
Hoorcollege 4: Betrouwbaarheid: Klassieke Testtheorie .................................................................. 25
Hoorcollege 5: Bepaling van de betrouwbaarheid in de praktijk ...................................................... 33
Hoorcollege 6: Invloeden op de betrouwbaarheid ........................................................................... 44
Hoorcollege 7: Betrouwbaarheid: verbeteren en gevolgen.............................................................. 52
Hoorcollege 8: Begripsvaliditeit ........................................................................................................ 64
Hoorcollege 9: Criteriumvaliditeit ..................................................................................................... 77
Hoorcollege 10: Introductie Item-responstheorie ............................................................................ 92
Hoorcollege 11: IRT in de praktijk ................................................................................................... 109
Hoorcollege 12: Test fairness & bias ............................................................................................... 120
1
, TiU: Testtheorie (2021/2022)
Shimara van den Elzen
HOORCOLLEGE 1: BASISKENNIG STATISTIEK
Zorgen voor goede psychologische tests is essentieel. Zonder goede tests is psychologie
nauwelijks een wetenschap en kan psychologie weinig bijdragen aan de maatschappij. Er is
een heel vakgebied binnen psychologie gewijd aan de vraag hoe we de kwaliteit van tests
kunnen onderzoeken en verbeteren: testtheorie (ook wel psychometrie genoemd). Vrijwel
alle psychologische theorieën zijn tot stand gekomen dankzij testtheorie (bijv. Big Five).
Voor het meten bij individuen gebruik je meestal een test met veel items. Je gebruikt deze
items als indicatoren voor een construct (niet direct te observeren psychologische
eigenschappen, bijv. perfectionisme). Het idee is dat de reactie van een proefpersoon op de
vragen (de indicatoren) een indicatie geven van het te meten construct. Stappen:
1. Aan antwoorden worden scores toegekend (itemscores).
2. Itemscores worden verwerkt tot testscore (meestal optellen).
3. Testscores worden geïnterpreteerd.
Wat kun je zeggen over iemands perfectionisme op basis van de testscores?
- Zijn de testscores zinvol te interpreteren?
- Meet de test wel perfectionisme? Hoe kom je daar achter?
- Zijn de vragen/opdrachten wel van goede kwaliteit?
- Zijn er wel genoeg vragen in de test?
- Iemand heeft een score 14 en een ander heeft een score 15. Is dit verschil groot
genoeg om te concluderen dat ze verschillen in perfectionisme?
Tests worden veel gebruikt om te meten in de psychologie, meestal de handigste manier om
aan gegevens te komen. Als je goed en nauwkeurig wilt meten heb je een goede test nodig,
anders doe je aan sloppy science! Voor het maken van een goede test zijn helaas geen
kant-en-klare regels. Het vereist voortdurend goed nadenken, goede kennis van de te meten
eigenschap, goed gebruik van statistische methoden. Er zijn wel handvatten: die worden
behandeld in testtheorie.
Variabele:
- Een variabele is iets wat meerdere waardes aan kan nemen. Het is letterlijk iets wat
varieert.
- In dit college wordt er gewerkt met een voorbeeld van scores van 5 respondenten op
3 tests (X, Y, W). Dit wordt weergegeven in een datamatrix.
o In de kolommen worden de variabelen weergegeven.
o In de rijen worden de respondenten (personen) weergegeven waarvoor je een
score op die variabele ziet.
2
, TiU: Testtheorie (2021/2022)
Shimara van den Elzen
Gemiddelde en deviatiescore:
- Gemiddelde: optellen van de scores en vervolgens delen door N.
6+9+7+10+8 40
o Bijvoorbeeld: 5
= 5 =8
- Deviatiescore: hierbij haal je het gemiddelde af van de score.
o Bijvoorbeeld: 6 − 8 = −2
- We hebben nu iets gedaan wat we vanuit inleiding statistiek al kennen onder een
andere naam. We hebben de verdeling gecentreerd. We hebben er namelijk voor
gezorgd dat de verdeling een gemiddelde krijgt van 0.
- Let op: de deviatiescores geven we meestal aan met een kleine letter, terwijl de
variabelen met een hoofdletter worden aangegeven.
Variantie en standaarddeviatie:
- Variantie: we tellen nu de gekwadrateerde afwijkingsscores bij elkaar op en deze
delen we door N. Variantie zegt ons iets over de mate waarin mensen variëren en de
mate waarin scores van elkaar afwijken. Als iedereen dezelfde score heeft, is er geen
afwijking ten opzichte van elkaar en heb je een variantie van 0.
o Bijvoorbeeld:
3
, TiU: Testtheorie (2021/2022)
Shimara van den Elzen
- Standaarddeviatie: we nemen de wortel van de variantie.
o Bijvoorbeeld:
- Let op: in dit vak is het zo dat er gewerkt wordt met ‘delen door N’ in plaats van ‘delen
door N – 1’.
Standaardscores (of z-scores):
- Z-score: we kijken naar de z-score van de afwijkingsscore (we gaan de
afwijkingsscore van X standaardiseren). We nemen de afwijkingsscore die we al
hadden en deze delen we door de standaarddeviatie.
−2
o Bijvoorbeeld: 1.41 = −1.41
- Z-scores zijn gestandaardiseerde scores (variabelen). Een z-score is een manier om
die afwijkingsscore, die al vertelt of je positief of negatief afwijkt ten opzichte van het
gemiddelde, op één gemeenschappelijke schaal te plaatsen, waarvan we weten dat
de standaarddeviatie altijd 1 is. Dit betekent dat we automatisch en direct een
interpretatie kunnen koppelen aan de score.
Covariantie en correlatie:
- Covariantie: we nemen voor iedere persoon het product van de afwijkingsscores van
x en y, dit tellen we dan op van alle personen samen en delen we vervolgens door N.
4
