Aantekening voor Testtheorie 500216-B-5
Inhoudsopgave
Hc 1 Basiskennis statistiek.............................................................................................................................. 2
Hc 2 Eigenschappen van test en items............................................................................................................ 3
Hc 3 Bewerkte scores & normen.................................................................................................................... 6
Hc 4: Betrouwbaarheid: Klassieke Testtheorie................................................................................................8
Hc 5: Bepaling van de betrouwbaarheid in de praktijk..................................................................................10
Hc 6: Invloeden op de betrouwbaarheid....................................................................................................... 14
Hc 7: Betrouwbaarheid: Verbeteren & Gevolgen..........................................................................................17
Hc 8: Begripsvaliditeit.................................................................................................................................. 22
Hc 9: Criteriumvaliditeit............................................................................................................................... 27
Hc 10: Introductie Item-responstheorie........................................................................................................ 32
Hc 11: IRT in de praktijk............................................................................................................................... 35
Hc 12: Test fairness & bias............................................................................................................................ 37
Formuleblad................................................................................................................................................ 40
1
,Hc 1 Basiskennis statistiek
Positiedriehoek over psychologische testen
1. Ongeïnteresseerd
2. Gelovige
3. Doemdenker
Psychologisch onderzoek gaat over niet direct observeerbare eigenschappen.
Statistische basiskennis
Gemiddelde, variantie, standaarddeviatie, z-score, covariantie en correlatie.
2
,Hc 2 Eigenschappen van test en items
Cronbach (1690): ‘a systematic procedure for comparing the behavior of two or more
people.’
-Multiple choice
-Open-ended
-Systematische gedragsobservaties
-Rorschach inktvlekkentest
3 cruciale eigenschappen:
1. Gericht op gedragsmeting (observeer baar)
2. Systematisch (objectief)
3. Vergelijk van verschillende personen (of van personen over tijd!)
Type test (1)
-Maximum vs. typical performance
-Presentatieniveau test voor meten vaardigheden
-Gedragswijzetest voor meten o.a. persoonlijkheidseigenschappen & attitudes
-Grote verschillen voor de aanpak bij testontwikkeling
-Nauwelijks verschillen voor statistieke analyse van testscores
Type test (2)
-Power en Speed test
-Power test meten vaardigheden zonder tijdsdruk
-Meer vaardige personen maken meer vragen goed
-Speeds test meten presentaties onder zware tijdsdruk
-Vragen zijn van triviale moeilijkheid
-Meer vaardige personen beantwoorden meer vragen goed
Type test (3) Normgericht/criteriumgericht
-Normgerichte tests vergelijken personen met de rest van de populatie
-Goede normgegevens over deze populatie van groot belang
-Criteriumgerichte test vergelijken personen met een absolute standaard
-Testvoordeel staat los van presentatieniveau in de populatie
-v.b. Tentamen Testtheorie is criteriumgericht
Wat hoort bij een psychologische test?
1. Testmateriaal
2. Testformulieren
3. Testhandleiding: exacte testinstructies, verwerkingsprocedure, normtabellen
4. Bespreking van wetenschappelijke kwaliteiten
3
, Meetniveau ’s
-Nominaal
-Ordinaal
-Interval
-Ratio
Voor praktisch/statistisch
gebruik doen we vaak alsof
de testscore van ordinaal
interval meetniveau is.
Maar dit is alleen goed te
verdedigen voor lange test
met een grote range aan
scores.
-Hoge variantie op de itemscores wenselijk
-Hoge covariantie tussen de itemscores wenselijk
Spreiding testscores (1)
X= x1+x2…
Spreiding testscores (2)
-Testscore-variantie omhoog als de itemscore-variantie toeneemt
-Goede samenhang tussen items ook belangrijk:
1. Sommige mensen scoren hoog op vrijwel alle items
2. Sommige mensen scoren laag op vrijwel alle items
3. Daarmee dus meer spreiding op de testscore
P-waarde = van een item geeft proportie correct aan
P= gemiddelde itemscore
q= 1-p proportie incorrecte antwoorde op het item
-Idealiter p=q=.5, want dan maximale itemscore-variantie
-p-waarde dient hoger te zijn dan iedere a-waarde
-Idealiter worden alle foute opties even vaak gekozen
-Idealiter hoge itemscore variantie, wat we bereiken als: p=q
Interbeoordelaarsbetrouwbaarheid
-Verschillende beoordelaars moeten zoveel mogelijk tot dezelfde conclusies komen
-Bij testscores van interval meetniveau: correlatie
4
Inhoudsopgave
Hc 1 Basiskennis statistiek.............................................................................................................................. 2
Hc 2 Eigenschappen van test en items............................................................................................................ 3
Hc 3 Bewerkte scores & normen.................................................................................................................... 6
Hc 4: Betrouwbaarheid: Klassieke Testtheorie................................................................................................8
Hc 5: Bepaling van de betrouwbaarheid in de praktijk..................................................................................10
Hc 6: Invloeden op de betrouwbaarheid....................................................................................................... 14
Hc 7: Betrouwbaarheid: Verbeteren & Gevolgen..........................................................................................17
Hc 8: Begripsvaliditeit.................................................................................................................................. 22
Hc 9: Criteriumvaliditeit............................................................................................................................... 27
Hc 10: Introductie Item-responstheorie........................................................................................................ 32
Hc 11: IRT in de praktijk............................................................................................................................... 35
Hc 12: Test fairness & bias............................................................................................................................ 37
Formuleblad................................................................................................................................................ 40
1
,Hc 1 Basiskennis statistiek
Positiedriehoek over psychologische testen
1. Ongeïnteresseerd
2. Gelovige
3. Doemdenker
Psychologisch onderzoek gaat over niet direct observeerbare eigenschappen.
Statistische basiskennis
Gemiddelde, variantie, standaarddeviatie, z-score, covariantie en correlatie.
2
,Hc 2 Eigenschappen van test en items
Cronbach (1690): ‘a systematic procedure for comparing the behavior of two or more
people.’
-Multiple choice
-Open-ended
-Systematische gedragsobservaties
-Rorschach inktvlekkentest
3 cruciale eigenschappen:
1. Gericht op gedragsmeting (observeer baar)
2. Systematisch (objectief)
3. Vergelijk van verschillende personen (of van personen over tijd!)
Type test (1)
-Maximum vs. typical performance
-Presentatieniveau test voor meten vaardigheden
-Gedragswijzetest voor meten o.a. persoonlijkheidseigenschappen & attitudes
-Grote verschillen voor de aanpak bij testontwikkeling
-Nauwelijks verschillen voor statistieke analyse van testscores
Type test (2)
-Power en Speed test
-Power test meten vaardigheden zonder tijdsdruk
-Meer vaardige personen maken meer vragen goed
-Speeds test meten presentaties onder zware tijdsdruk
-Vragen zijn van triviale moeilijkheid
-Meer vaardige personen beantwoorden meer vragen goed
Type test (3) Normgericht/criteriumgericht
-Normgerichte tests vergelijken personen met de rest van de populatie
-Goede normgegevens over deze populatie van groot belang
-Criteriumgerichte test vergelijken personen met een absolute standaard
-Testvoordeel staat los van presentatieniveau in de populatie
-v.b. Tentamen Testtheorie is criteriumgericht
Wat hoort bij een psychologische test?
1. Testmateriaal
2. Testformulieren
3. Testhandleiding: exacte testinstructies, verwerkingsprocedure, normtabellen
4. Bespreking van wetenschappelijke kwaliteiten
3
, Meetniveau ’s
-Nominaal
-Ordinaal
-Interval
-Ratio
Voor praktisch/statistisch
gebruik doen we vaak alsof
de testscore van ordinaal
interval meetniveau is.
Maar dit is alleen goed te
verdedigen voor lange test
met een grote range aan
scores.
-Hoge variantie op de itemscores wenselijk
-Hoge covariantie tussen de itemscores wenselijk
Spreiding testscores (1)
X= x1+x2…
Spreiding testscores (2)
-Testscore-variantie omhoog als de itemscore-variantie toeneemt
-Goede samenhang tussen items ook belangrijk:
1. Sommige mensen scoren hoog op vrijwel alle items
2. Sommige mensen scoren laag op vrijwel alle items
3. Daarmee dus meer spreiding op de testscore
P-waarde = van een item geeft proportie correct aan
P= gemiddelde itemscore
q= 1-p proportie incorrecte antwoorde op het item
-Idealiter p=q=.5, want dan maximale itemscore-variantie
-p-waarde dient hoger te zijn dan iedere a-waarde
-Idealiter worden alle foute opties even vaak gekozen
-Idealiter hoge itemscore variantie, wat we bereiken als: p=q
Interbeoordelaarsbetrouwbaarheid
-Verschillende beoordelaars moeten zoveel mogelijk tot dezelfde conclusies komen
-Bij testscores van interval meetniveau: correlatie
4
