Testtheorie
Inhoudsopgave
Hoorcollege 1.......................................................................................................................................................1
Inleiding en basiskennis statistiek...................................................................................................................1
Hoorcollege 2.......................................................................................................................................................3
Eigenschappen tests en items..............................................................................................................................3
Hoorcollege 3.......................................................................................................................................................9
Verweken testscores.......................................................................................................................................9
Hoorcollege 4.....................................................................................................................................................14
Betrouwbaarheid...........................................................................................................................................14
Hoorcollege 5.....................................................................................................................................................18
Betrouwbaarheid in de praktijk.....................................................................................................................18
Hoorcollege 6.....................................................................................................................................................25
Hoorcollege 7.....................................................................................................................................................30
Hoorcollege 8.....................................................................................................................................................35
Hoorcollege 9.....................................................................................................................................................39
Criteriumvaliditeit..........................................................................................................................................39
Hoorcollege 10...................................................................................................................................................45
item-respons theorie.....................................................................................................................................45
Hoorcollege 12...................................................................................................................................................51
Testfairness....................................................................................................................................................51
Hoorcollege 1
Inleiding en basiskennis statistiek
Psychologie is een empirische wetenschap, dus onderzoek draait om observaties
Als empirische wetenschap heeft het een groot probleem:
- Alles wat we interessant vinden is niet direct te observeren
Met psychologische tests hopen we toch te kunnen meten
Introductie
Voor het meten bij individuen gebruik je meestal een test met veel items.
Items als indicatoren voor een construct (bijv. perfectionisme)
1. Aan antwoorden worden scores toegekend (itemscores)
2. Itemscores worden verwerkt tot testscore (meestal optellen)
3. Testscores worden geïnterpreteerd
Wat kun je zeggen over iemands perfectionisme op basis van de testscores?
• Zijn de testscores zinvol te interpreteren?
• Meet de test wel perfectionisme? Hoe kom je daar achter?
• Zijn de vragen/opdrachten wel van goede kwaliteit?
• Zijn er wel genoeg vragen in de test?
, • Iemand heeft een score 14 en een ander heeft een score 15. Is dit verschil groot
genoeg om te concluderen dat ze verschillen in perfectionisme?
Herhaling basiskennis statistiek
Descriptieve statistiek: blijven bij wat we kunnen zien (dus gemeten) doen we nu!
(rood = deviatiescore)
Stap 1. Deviatiescore kwadrateren (als je deviatiescore bij elkaar optelt krijg je altijd 0)
Stap 2. Waardes bij elkaar optellen (= som)
Stap 3. Gekwadrateerde som delen door ppn (= variantie)
Stap 4: wortel van variantie (= standaarddeviatie)
Waarde : standaarddeviatie van waarde
, Covariantie: scoort een ppn die laag scoort op x ook laag op y?
Sxy = (x – sx) * (y – sy) : n
Covariantie: De covariantie is in de statistiek en kansrekening een parameter die bij twee
toevalsvariabelen aangeeft in welke mate de beide toevalsvariabelen met elkaar
samenhangen. De covariantie geeft aan of, en indirect in welke mate, de waarden van de
ene variabele toe- dan wel afnemen bij toenemende waarden van de andere.
Correlatie: Correlatie is de statistische samenhang tussen twee grootheden
als je de covariantietabel bij elkaar optelt heb je de totale variantie van alle
testscores
Hoorcollege 2
Eigenschappen tests en items
Wat is een psychologische test?
Cronbach (1960): ‘a systematic procedure for comparing the behavior of two or more
people’.
Zo’n ‘procedure’ kan vele vormen aannemen:
– Multiple choice vaardigheidstest
– Open-ended persoonlijkheidsvragenlijst
– Systematische gedragsobservatie
– Rorschach inktvlekkentest
3 cruciale eigenschappen:
- Gericht op gedragsmeting (observeerbaar)
- Systematisch (objectief)
- Vergelijken van verschillende personen (of van personen over tijd)
, Type tests (1)
Tests voor prestatieniveau vs gedragwijze:
– Maximum versus typical performance
– Prestatieniveautests voor meten vaardigheden
– Gedragswijzetests voor meten o.a. persoonlijkheidseigenschappen & attitudes
– Grote verschillen voor de aanpak bij de testontwikkeling
– Nauwelijks verschillen voor statistische analyse van testscores
Type test (2)
Twee type tests voor prestatieniveau:
– ‘Power’ en ‘speed’ tests
– Power tests meten vaardigheid zonder tijdsdruk
– Meer vaardige personen maken meer vragen goed
– Speed tests meten prestaties onder zware tijdsdruk
– Vragen zijn van triviale moeilijkheid
– Meer vaardige personen beantwoorden meer vragen
Type test (3)
Normgericht of criteriumgericht:
– Normgerichte tests vergelijken personen met de rest van de populatie
– Goede normgegevens over deze populatie van groot belang
– Criteriumgerichte tests vergelijken personen met een absolute standaard
– Testoordeel staat los van prestatieniveau in de populatie
– V.b.: Tentamen Testtheorie is criteriumgericht
Wat hoort er bij een psychologische test?
- Testmateriaal
- Testformulieren
- Testhandleiding
1. exacte testinstructie
2. verwerkingspocedure
3. normtabellen
4. bespreking van wetenschappelijke kwaliteiten
Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten construct: hogere
itemscore = ‘hoger’ op de eigenschap
Eigenschappen van de testscore
- Testscore is vaak optelsom van de itemscores
- Belangrijkste uitkomst van de test die gebruikt wordt
- Testhandleiding geeft instructies hoe de score ge ınterpreteerd
̈ moet worden
- Bij normgerichte tests zullen normgegevens geraadpleegd moeten worden
- B.v.: 30% van de jongens van 3 jaar hebben een score lager dan 3 (30e percentiel)
Meetniveau testscore
Interpretatie van dit getal hangt af van het meetniveau van de testscore:
– Nominaal (b.v. persoonlijkheidstypes)
Inhoudsopgave
Hoorcollege 1.......................................................................................................................................................1
Inleiding en basiskennis statistiek...................................................................................................................1
Hoorcollege 2.......................................................................................................................................................3
Eigenschappen tests en items..............................................................................................................................3
Hoorcollege 3.......................................................................................................................................................9
Verweken testscores.......................................................................................................................................9
Hoorcollege 4.....................................................................................................................................................14
Betrouwbaarheid...........................................................................................................................................14
Hoorcollege 5.....................................................................................................................................................18
Betrouwbaarheid in de praktijk.....................................................................................................................18
Hoorcollege 6.....................................................................................................................................................25
Hoorcollege 7.....................................................................................................................................................30
Hoorcollege 8.....................................................................................................................................................35
Hoorcollege 9.....................................................................................................................................................39
Criteriumvaliditeit..........................................................................................................................................39
Hoorcollege 10...................................................................................................................................................45
item-respons theorie.....................................................................................................................................45
Hoorcollege 12...................................................................................................................................................51
Testfairness....................................................................................................................................................51
Hoorcollege 1
Inleiding en basiskennis statistiek
Psychologie is een empirische wetenschap, dus onderzoek draait om observaties
Als empirische wetenschap heeft het een groot probleem:
- Alles wat we interessant vinden is niet direct te observeren
Met psychologische tests hopen we toch te kunnen meten
Introductie
Voor het meten bij individuen gebruik je meestal een test met veel items.
Items als indicatoren voor een construct (bijv. perfectionisme)
1. Aan antwoorden worden scores toegekend (itemscores)
2. Itemscores worden verwerkt tot testscore (meestal optellen)
3. Testscores worden geïnterpreteerd
Wat kun je zeggen over iemands perfectionisme op basis van de testscores?
• Zijn de testscores zinvol te interpreteren?
• Meet de test wel perfectionisme? Hoe kom je daar achter?
• Zijn de vragen/opdrachten wel van goede kwaliteit?
• Zijn er wel genoeg vragen in de test?
, • Iemand heeft een score 14 en een ander heeft een score 15. Is dit verschil groot
genoeg om te concluderen dat ze verschillen in perfectionisme?
Herhaling basiskennis statistiek
Descriptieve statistiek: blijven bij wat we kunnen zien (dus gemeten) doen we nu!
(rood = deviatiescore)
Stap 1. Deviatiescore kwadrateren (als je deviatiescore bij elkaar optelt krijg je altijd 0)
Stap 2. Waardes bij elkaar optellen (= som)
Stap 3. Gekwadrateerde som delen door ppn (= variantie)
Stap 4: wortel van variantie (= standaarddeviatie)
Waarde : standaarddeviatie van waarde
, Covariantie: scoort een ppn die laag scoort op x ook laag op y?
Sxy = (x – sx) * (y – sy) : n
Covariantie: De covariantie is in de statistiek en kansrekening een parameter die bij twee
toevalsvariabelen aangeeft in welke mate de beide toevalsvariabelen met elkaar
samenhangen. De covariantie geeft aan of, en indirect in welke mate, de waarden van de
ene variabele toe- dan wel afnemen bij toenemende waarden van de andere.
Correlatie: Correlatie is de statistische samenhang tussen twee grootheden
als je de covariantietabel bij elkaar optelt heb je de totale variantie van alle
testscores
Hoorcollege 2
Eigenschappen tests en items
Wat is een psychologische test?
Cronbach (1960): ‘a systematic procedure for comparing the behavior of two or more
people’.
Zo’n ‘procedure’ kan vele vormen aannemen:
– Multiple choice vaardigheidstest
– Open-ended persoonlijkheidsvragenlijst
– Systematische gedragsobservatie
– Rorschach inktvlekkentest
3 cruciale eigenschappen:
- Gericht op gedragsmeting (observeerbaar)
- Systematisch (objectief)
- Vergelijken van verschillende personen (of van personen over tijd)
, Type tests (1)
Tests voor prestatieniveau vs gedragwijze:
– Maximum versus typical performance
– Prestatieniveautests voor meten vaardigheden
– Gedragswijzetests voor meten o.a. persoonlijkheidseigenschappen & attitudes
– Grote verschillen voor de aanpak bij de testontwikkeling
– Nauwelijks verschillen voor statistische analyse van testscores
Type test (2)
Twee type tests voor prestatieniveau:
– ‘Power’ en ‘speed’ tests
– Power tests meten vaardigheid zonder tijdsdruk
– Meer vaardige personen maken meer vragen goed
– Speed tests meten prestaties onder zware tijdsdruk
– Vragen zijn van triviale moeilijkheid
– Meer vaardige personen beantwoorden meer vragen
Type test (3)
Normgericht of criteriumgericht:
– Normgerichte tests vergelijken personen met de rest van de populatie
– Goede normgegevens over deze populatie van groot belang
– Criteriumgerichte tests vergelijken personen met een absolute standaard
– Testoordeel staat los van prestatieniveau in de populatie
– V.b.: Tentamen Testtheorie is criteriumgericht
Wat hoort er bij een psychologische test?
- Testmateriaal
- Testformulieren
- Testhandleiding
1. exacte testinstructie
2. verwerkingspocedure
3. normtabellen
4. bespreking van wetenschappelijke kwaliteiten
Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten construct: hogere
itemscore = ‘hoger’ op de eigenschap
Eigenschappen van de testscore
- Testscore is vaak optelsom van de itemscores
- Belangrijkste uitkomst van de test die gebruikt wordt
- Testhandleiding geeft instructies hoe de score ge ınterpreteerd
̈ moet worden
- Bij normgerichte tests zullen normgegevens geraadpleegd moeten worden
- B.v.: 30% van de jongens van 3 jaar hebben een score lager dan 3 (30e percentiel)
Meetniveau testscore
Interpretatie van dit getal hangt af van het meetniveau van de testscore:
– Nominaal (b.v. persoonlijkheidstypes)
