Voorderhake, E. (Eline)
RADBOUD UNIVERSITEIT
Psychometrie
en besliskunde
Semester 1- 2024
Literatuur en hoorcollege
samenvatting
Voorderhake, E. (Eline)
RADBOUD UNIVERSITEIT
,Inhoudsopgave
HC 1 – BESLISKUNDE 1.......................................................................................6
WAT HOUDT DAT IN?................................................................................................................ 6
VAN BESLISKUNDE NAAR PSYCHOMETRIE......................................................................................6
BESLISKUNDE GEEFT REDEN VOOR PSYCHOMETRIE..........................................................................6
EMPIRISCHE BEVINDINGEN – HEURISTIEKEN........................................................6
Bekendste heuristieken:.................................................................................................7
Overige bevindingen...................................................................................................... 8
Maar heuristieken kunnen leiden tot:.............................................................................8
FEEDBACK............................................................................................................................. 8
ZORGVULDIG OORDELEN EN BESLISSEN........................................................................................ 8
BESLISPROCESSEN VAN CLINICI: NORMATIEF..................................................................................9
BESLISPROCESSEN VAN CLINICI: PRECRIPTIEF.................................................................................9
BESLISPROCESSEN VAN CLINICI: CONCLUSIE..................................................................................9
HC 2 – BESLISKUNDE 2.....................................................................................10
INTUÏTIEVE VS KWANTITATIEVE BENADERING................................................................................10
GESCHIEDENIS VAN DE CONTROVERSES......................................................................................10
VOORBEELD NEUROSE/ PSYCHOSE............................................................................................. 10
COMPLEXE(RE) MODELLEN...................................................................................................... 10
VOORBEELD VOORSPELLEN BEHANDELSUCCES.............................................................................10
BRUNSWIK’S LENSMODEL........................................................................................................ 11
Bij clinici....................................................................................................................... 11
Opbrengst..................................................................................................................... 11
CONCLUSIE.......................................................................................................................... 12
COTAN.............................................................................................................................. 12
Beoordelingssysteem................................................................................................... 12
Aspecten....................................................................................................................... 12
LITERATUUR BLOK 1 – BESLISKUNDE.................................................................13
WITTEMAN, C., & KWAADSTENIET, L. DE (2019). SYLLABUS KLINISCHE BESLISKUNDE. P. 1-17, 18, 29-
31..................................................................................................................................... 13
Hoofdstuk 1 – Wat is besliskunde?................................................................................13
Hoofdstuk 2 – Descriptieve benadering........................................................................13
Hoofdstuk 3 – Normatieve benadering.........................................................................15
Hoofdstuk 4 – Prescriptieve benadering.......................................................................15
DAWES ET AL. (1989). CLINICAL VERSUS ACTUARIAL JUDGMENT. SCIENCE, 243. P. 1668-1674.........16
Inleiding........................................................................................................................ 16
Beslissingsmethoden en vergelijkingsmiddelen............................................................16
Resultaten van vergelijkbare studies............................................................................16
Factoren die ten grondslag liggen aan de superioriteit van actuariële methoden........17
Toepassing van actuariële methoden: limieten, voordelen en implicaties....................17
EVERS ET AL. (2010). COTAN BEOORDELINGSSYSTEEM VOOR DE KWALITEIT VAN TESTS....................18
Inleiding........................................................................................................................ 18
Hoofdstuk 1 – Uitgangspunten van de testconstructie..................................................19
Hoofdstuk 2 – De kwaliteit van het testmateriaal.........................................................19
Hoofdstuk 3 0 De kwaliteit van de handleiding.............................................................19
Hoofdstuk 4 – Normen.................................................................................................. 19
Hoofdstuk 5 – Betrouwbaarheid....................................................................................20
Hoofdstuk 6 – Begripsvaliditeit.....................................................................................21
Hoofdstuk 7 – Criteriumvaliditeit..................................................................................21
HC 3 – ANALYSE TOETSITEMS...........................................................................22
TERMINOLOGIE...................................................................................................................... 22
ANALYSE TOETSITEMS............................................................................................................. 22
MOEILIJKHEIDSVRAAG............................................................................................................. 22
Gecorrigeerde moeilijkheidsgraad................................................................................23
1
, Gecorrigeerde moeilijkheidsgraad: normen..................................................................23
De kwaliteit van de ‘afleiders’......................................................................................23
DISCRIMINEREND VERMOGEN................................................................................................... 24
Belang van spreiding.................................................................................................... 24
Item-totaal-correlatie en item-rest-correlatie...............................................................24
Interpretatie................................................................................................................. 24
ITEM-CHARACTERISTIC CURVE (ICC).......................................................................................... 25
CORRELATIE TUSSEN ITEMS (PHI).............................................................................................. 25
Conclusies:................................................................................................................... 26
Interpretatie lage phi bij toetsitems..............................................................................27
SAMENGEVAT........................................................................................................................ 27
HC 4 – ANALYSE TESTITEMS, SCOREVERDELINGEN EN TRANSFORMATIES............28
ITEMANALYSE TESTITEMS:........................................................................................................ 28
Evocatiegraad............................................................................................................... 28
Discriminerend vermogen............................................................................................ 28
Item-characteristic curve (ICC).....................................................................................29
Correlatie tussen items................................................................................................. 30
SCOREVERDELINGEN.............................................................................................................. 30
(Afwijkingen van) De normale verdeling.......................................................................30
INTERPRETATIE SCORES SCORETRANSFORMATIES...........................................................................31
Wat betekend een bepaalde score?..............................................................................31
Wanneer is een score voldoende?................................................................................31
Wat betekent een ruwe of geobserveerde score?.........................................................32
Transformatiemethoden............................................................................................... 32
SAMENVATTING..................................................................................................................... 34
LITERATUUR BLOK 2 – ITEMS............................................................................35
CUSTOM PUBLICATION COMPILED BY LEX HENDRIKS, (2011). P.121-126........................................35
Hoofdstuk 4 – Validiteit en testontwikkeling.................................................................35
EGGEN ET AL. (1993). PSYCHOMETRIE IN DE PRAKTIJK. HOOFDSTUK 3. P46-50...............................36
Hoofdstuk 3 – Klassieke testtheorie en generaliseerbaarheidstheorie..........................36
CUSTOM PUBLICATION COMPILED BY LEX HENDRIKS, (2011). P.44-58...........................................37
Hoofdstuk 3 – Normen en betrouwbaarheid..................................................................37
CUSTOM PUBLICATION COMPILED BY LEX HENDRIKS, (2011). P.61-63...........................................39
Hoofdstuk 3 – Normen en betrouwbaarheid..................................................................39
HC 5 – BETROUWBAARHEID 1...........................................................................40
TESTTHEORIEËN.................................................................................................................... 41
KLASSIEKE TESTTHEORIE......................................................................................................... 41
Herhaalbaarheid van metingen....................................................................................42
Vuistregel betrouwbaarheid.......................................................................................... 44
Test- Toetsverlenging.................................................................................................... 44
SPSS................................................................................................................................. 44
Test-hertest en parallel vorm methode (aansturing).....................................................44
Split-halfmethode (aansturing).....................................................................................44
Interne consistentie (aansturing)..................................................................................45
HC 6 – BETROUWBAARHEID 2...........................................................................46
INTERNE CONSISTENTIE: NAAR CRONBACH’S ALPHA......................................................................46
INTERNE CONSISTENTIE: BETROUWBAARHEID VAN TOETSITEMS (KR20)............................................47
INTERNE CONSISTENTIE AANSTURING.........................................................................................47
INTERNE CONSISTENTIE OUTPUT............................................................................................... 47
VALKUILEN........................................................................................................................... 48
VRAGEN OVER BETROUWBAARHEID...........................................................................................48
BETROUWBAARHEID INTERPRETATIE SCORES................................................................................48
HERHALING BETROUWBAARHEID...............................................................................................48
STANDAARDMEETFOUT (STANDARD ERROR OF MEASUREMENT)........................................................49
BETROUWBAARHEIDSINTERVAL 1E SOORT....................................................................................49
Betekenis...................................................................................................................... 49
2
, BETROUWBAARHEIDSINTERVAL 2E SOORT....................................................................................50
Betekenis...................................................................................................................... 50
BETROUWBAAR VERSCHIL TUSSEN 2 METINGEN...........................................................................50
Twee keer dezelfde meting........................................................................................... 50
Twee verschillende metingen.......................................................................................51
OPMERKINGEN...................................................................................................................... 51
KRITIEK OP KTT.................................................................................................................... 51
HC 7 – ITEMRESPONSTHEORIE..........................................................................52
HERHALING KLASSIEKE TESTTHEORIE.........................................................................................52
MODERNE TESTTHEORIE (ITEMRESPONSTHEORIE: IRT)..................................................................52
ITEMRESPONSTHEORIE (IRT).................................................................................................... 52
Deterministisch model (Guttman).................................................................................53
Probabilistische modellen............................................................................................. 53
Aannames besproken in IRT model...............................................................................55
IRT-betrouwbaarheid..................................................................................................... 55
Stappen in het construeren en gebruiken van een IRT-schaal......................................55
Toepassingen................................................................................................................ 55
Beperkingen................................................................................................................. 55
HC 8 – INTERBEOORDELAARSOVEREENSTEMMING..............................................57
INTERBEOORDELAARSOVEREENSTEMMING...................................................................................57
MEETNIVEAU: NOMINAAL......................................................................................................... 57
Proportie overeenstemming......................................................................................... 57
Correctie voor toevalsovereenstemming......................................................................57
SPSS................................................................................................................................. 58
MEETNIVEAU: ORDINAAL......................................................................................................... 59
Partiële overeenstemming............................................................................................ 59
Gewichtenmatrix: eisen................................................................................................ 59
Gewichtenmatrix: soorten............................................................................................ 59
Lineair algoritme (soort IV)........................................................................................... 60
Meerdere beoordelaars (paarsgewijs)...........................................................................60
Meerdere beoordelaars (simultaan)..............................................................................60
Selectie beste beoordelaar........................................................................................... 60
Aantal benodigde observaties......................................................................................60
INTERVALNIVEAU................................................................................................................... 61
Verschillende spreidingsbronnen..................................................................................61
HC 9 – BEOORDELAARSOVEREENSTEMMING INTERVALDATA...............................62
MEETNIVEAU: INTERVAL.......................................................................................................... 62
VERSCHILLENDE SPREIDINGSBRONNEN.......................................................................................62
OVEREENSTEMMING VS. BETROUWBAARHEID...............................................................................62
OVEREENSTEMMING............................................................................................................... 63
Overeenstemming: spreidingsbronnen.........................................................................63
Overeenstemming: De coëfficiënt................................................................................63
BETROUWBAARHEID............................................................................................................... 64
Betrouwbaarheid: spreidingsbronnen...........................................................................64
Betrouwbaarheid: de coëfficiënt...................................................................................64
BEREKENEN OVEREENSTEMMING...............................................................................................64
Berekenen overeenstemming: Sum of Squares............................................................64
Berekenen overeenstemming: De variantiecomponenten............................................65
BEREKENING BEOORDELAARSBETROUWBAARHEIDS-COËFFICIËNT......................................................65
INTERPRETATIES BETROUWBAARHEIDSCOËFFICIËNT.......................................................................65
Samenhang met aantal beoordelaars...........................................................................66
Meer/ minder beoordelaars: berekend met algemene formule.....................................66
Meer/ minder beoordelaars: berekend met Spearman Brown formule..........................66
Benodigd aantal beoordelaars: Spearman Brown Herschreven....................................66
OVEREENSTEMMING VS. BETROUWBAARHEID..............................................................................66
Relatieve beslissingen.................................................................................................. 66
Absolute beslissingen................................................................................................... 67
3
RADBOUD UNIVERSITEIT
Psychometrie
en besliskunde
Semester 1- 2024
Literatuur en hoorcollege
samenvatting
Voorderhake, E. (Eline)
RADBOUD UNIVERSITEIT
,Inhoudsopgave
HC 1 – BESLISKUNDE 1.......................................................................................6
WAT HOUDT DAT IN?................................................................................................................ 6
VAN BESLISKUNDE NAAR PSYCHOMETRIE......................................................................................6
BESLISKUNDE GEEFT REDEN VOOR PSYCHOMETRIE..........................................................................6
EMPIRISCHE BEVINDINGEN – HEURISTIEKEN........................................................6
Bekendste heuristieken:.................................................................................................7
Overige bevindingen...................................................................................................... 8
Maar heuristieken kunnen leiden tot:.............................................................................8
FEEDBACK............................................................................................................................. 8
ZORGVULDIG OORDELEN EN BESLISSEN........................................................................................ 8
BESLISPROCESSEN VAN CLINICI: NORMATIEF..................................................................................9
BESLISPROCESSEN VAN CLINICI: PRECRIPTIEF.................................................................................9
BESLISPROCESSEN VAN CLINICI: CONCLUSIE..................................................................................9
HC 2 – BESLISKUNDE 2.....................................................................................10
INTUÏTIEVE VS KWANTITATIEVE BENADERING................................................................................10
GESCHIEDENIS VAN DE CONTROVERSES......................................................................................10
VOORBEELD NEUROSE/ PSYCHOSE............................................................................................. 10
COMPLEXE(RE) MODELLEN...................................................................................................... 10
VOORBEELD VOORSPELLEN BEHANDELSUCCES.............................................................................10
BRUNSWIK’S LENSMODEL........................................................................................................ 11
Bij clinici....................................................................................................................... 11
Opbrengst..................................................................................................................... 11
CONCLUSIE.......................................................................................................................... 12
COTAN.............................................................................................................................. 12
Beoordelingssysteem................................................................................................... 12
Aspecten....................................................................................................................... 12
LITERATUUR BLOK 1 – BESLISKUNDE.................................................................13
WITTEMAN, C., & KWAADSTENIET, L. DE (2019). SYLLABUS KLINISCHE BESLISKUNDE. P. 1-17, 18, 29-
31..................................................................................................................................... 13
Hoofdstuk 1 – Wat is besliskunde?................................................................................13
Hoofdstuk 2 – Descriptieve benadering........................................................................13
Hoofdstuk 3 – Normatieve benadering.........................................................................15
Hoofdstuk 4 – Prescriptieve benadering.......................................................................15
DAWES ET AL. (1989). CLINICAL VERSUS ACTUARIAL JUDGMENT. SCIENCE, 243. P. 1668-1674.........16
Inleiding........................................................................................................................ 16
Beslissingsmethoden en vergelijkingsmiddelen............................................................16
Resultaten van vergelijkbare studies............................................................................16
Factoren die ten grondslag liggen aan de superioriteit van actuariële methoden........17
Toepassing van actuariële methoden: limieten, voordelen en implicaties....................17
EVERS ET AL. (2010). COTAN BEOORDELINGSSYSTEEM VOOR DE KWALITEIT VAN TESTS....................18
Inleiding........................................................................................................................ 18
Hoofdstuk 1 – Uitgangspunten van de testconstructie..................................................19
Hoofdstuk 2 – De kwaliteit van het testmateriaal.........................................................19
Hoofdstuk 3 0 De kwaliteit van de handleiding.............................................................19
Hoofdstuk 4 – Normen.................................................................................................. 19
Hoofdstuk 5 – Betrouwbaarheid....................................................................................20
Hoofdstuk 6 – Begripsvaliditeit.....................................................................................21
Hoofdstuk 7 – Criteriumvaliditeit..................................................................................21
HC 3 – ANALYSE TOETSITEMS...........................................................................22
TERMINOLOGIE...................................................................................................................... 22
ANALYSE TOETSITEMS............................................................................................................. 22
MOEILIJKHEIDSVRAAG............................................................................................................. 22
Gecorrigeerde moeilijkheidsgraad................................................................................23
1
, Gecorrigeerde moeilijkheidsgraad: normen..................................................................23
De kwaliteit van de ‘afleiders’......................................................................................23
DISCRIMINEREND VERMOGEN................................................................................................... 24
Belang van spreiding.................................................................................................... 24
Item-totaal-correlatie en item-rest-correlatie...............................................................24
Interpretatie................................................................................................................. 24
ITEM-CHARACTERISTIC CURVE (ICC).......................................................................................... 25
CORRELATIE TUSSEN ITEMS (PHI).............................................................................................. 25
Conclusies:................................................................................................................... 26
Interpretatie lage phi bij toetsitems..............................................................................27
SAMENGEVAT........................................................................................................................ 27
HC 4 – ANALYSE TESTITEMS, SCOREVERDELINGEN EN TRANSFORMATIES............28
ITEMANALYSE TESTITEMS:........................................................................................................ 28
Evocatiegraad............................................................................................................... 28
Discriminerend vermogen............................................................................................ 28
Item-characteristic curve (ICC).....................................................................................29
Correlatie tussen items................................................................................................. 30
SCOREVERDELINGEN.............................................................................................................. 30
(Afwijkingen van) De normale verdeling.......................................................................30
INTERPRETATIE SCORES SCORETRANSFORMATIES...........................................................................31
Wat betekend een bepaalde score?..............................................................................31
Wanneer is een score voldoende?................................................................................31
Wat betekent een ruwe of geobserveerde score?.........................................................32
Transformatiemethoden............................................................................................... 32
SAMENVATTING..................................................................................................................... 34
LITERATUUR BLOK 2 – ITEMS............................................................................35
CUSTOM PUBLICATION COMPILED BY LEX HENDRIKS, (2011). P.121-126........................................35
Hoofdstuk 4 – Validiteit en testontwikkeling.................................................................35
EGGEN ET AL. (1993). PSYCHOMETRIE IN DE PRAKTIJK. HOOFDSTUK 3. P46-50...............................36
Hoofdstuk 3 – Klassieke testtheorie en generaliseerbaarheidstheorie..........................36
CUSTOM PUBLICATION COMPILED BY LEX HENDRIKS, (2011). P.44-58...........................................37
Hoofdstuk 3 – Normen en betrouwbaarheid..................................................................37
CUSTOM PUBLICATION COMPILED BY LEX HENDRIKS, (2011). P.61-63...........................................39
Hoofdstuk 3 – Normen en betrouwbaarheid..................................................................39
HC 5 – BETROUWBAARHEID 1...........................................................................40
TESTTHEORIEËN.................................................................................................................... 41
KLASSIEKE TESTTHEORIE......................................................................................................... 41
Herhaalbaarheid van metingen....................................................................................42
Vuistregel betrouwbaarheid.......................................................................................... 44
Test- Toetsverlenging.................................................................................................... 44
SPSS................................................................................................................................. 44
Test-hertest en parallel vorm methode (aansturing).....................................................44
Split-halfmethode (aansturing).....................................................................................44
Interne consistentie (aansturing)..................................................................................45
HC 6 – BETROUWBAARHEID 2...........................................................................46
INTERNE CONSISTENTIE: NAAR CRONBACH’S ALPHA......................................................................46
INTERNE CONSISTENTIE: BETROUWBAARHEID VAN TOETSITEMS (KR20)............................................47
INTERNE CONSISTENTIE AANSTURING.........................................................................................47
INTERNE CONSISTENTIE OUTPUT............................................................................................... 47
VALKUILEN........................................................................................................................... 48
VRAGEN OVER BETROUWBAARHEID...........................................................................................48
BETROUWBAARHEID INTERPRETATIE SCORES................................................................................48
HERHALING BETROUWBAARHEID...............................................................................................48
STANDAARDMEETFOUT (STANDARD ERROR OF MEASUREMENT)........................................................49
BETROUWBAARHEIDSINTERVAL 1E SOORT....................................................................................49
Betekenis...................................................................................................................... 49
2
, BETROUWBAARHEIDSINTERVAL 2E SOORT....................................................................................50
Betekenis...................................................................................................................... 50
BETROUWBAAR VERSCHIL TUSSEN 2 METINGEN...........................................................................50
Twee keer dezelfde meting........................................................................................... 50
Twee verschillende metingen.......................................................................................51
OPMERKINGEN...................................................................................................................... 51
KRITIEK OP KTT.................................................................................................................... 51
HC 7 – ITEMRESPONSTHEORIE..........................................................................52
HERHALING KLASSIEKE TESTTHEORIE.........................................................................................52
MODERNE TESTTHEORIE (ITEMRESPONSTHEORIE: IRT)..................................................................52
ITEMRESPONSTHEORIE (IRT).................................................................................................... 52
Deterministisch model (Guttman).................................................................................53
Probabilistische modellen............................................................................................. 53
Aannames besproken in IRT model...............................................................................55
IRT-betrouwbaarheid..................................................................................................... 55
Stappen in het construeren en gebruiken van een IRT-schaal......................................55
Toepassingen................................................................................................................ 55
Beperkingen................................................................................................................. 55
HC 8 – INTERBEOORDELAARSOVEREENSTEMMING..............................................57
INTERBEOORDELAARSOVEREENSTEMMING...................................................................................57
MEETNIVEAU: NOMINAAL......................................................................................................... 57
Proportie overeenstemming......................................................................................... 57
Correctie voor toevalsovereenstemming......................................................................57
SPSS................................................................................................................................. 58
MEETNIVEAU: ORDINAAL......................................................................................................... 59
Partiële overeenstemming............................................................................................ 59
Gewichtenmatrix: eisen................................................................................................ 59
Gewichtenmatrix: soorten............................................................................................ 59
Lineair algoritme (soort IV)........................................................................................... 60
Meerdere beoordelaars (paarsgewijs)...........................................................................60
Meerdere beoordelaars (simultaan)..............................................................................60
Selectie beste beoordelaar........................................................................................... 60
Aantal benodigde observaties......................................................................................60
INTERVALNIVEAU................................................................................................................... 61
Verschillende spreidingsbronnen..................................................................................61
HC 9 – BEOORDELAARSOVEREENSTEMMING INTERVALDATA...............................62
MEETNIVEAU: INTERVAL.......................................................................................................... 62
VERSCHILLENDE SPREIDINGSBRONNEN.......................................................................................62
OVEREENSTEMMING VS. BETROUWBAARHEID...............................................................................62
OVEREENSTEMMING............................................................................................................... 63
Overeenstemming: spreidingsbronnen.........................................................................63
Overeenstemming: De coëfficiënt................................................................................63
BETROUWBAARHEID............................................................................................................... 64
Betrouwbaarheid: spreidingsbronnen...........................................................................64
Betrouwbaarheid: de coëfficiënt...................................................................................64
BEREKENEN OVEREENSTEMMING...............................................................................................64
Berekenen overeenstemming: Sum of Squares............................................................64
Berekenen overeenstemming: De variantiecomponenten............................................65
BEREKENING BEOORDELAARSBETROUWBAARHEIDS-COËFFICIËNT......................................................65
INTERPRETATIES BETROUWBAARHEIDSCOËFFICIËNT.......................................................................65
Samenhang met aantal beoordelaars...........................................................................66
Meer/ minder beoordelaars: berekend met algemene formule.....................................66
Meer/ minder beoordelaars: berekend met Spearman Brown formule..........................66
Benodigd aantal beoordelaars: Spearman Brown Herschreven....................................66
OVEREENSTEMMING VS. BETROUWBAARHEID..............................................................................66
Relatieve beslissingen.................................................................................................. 66
Absolute beslissingen................................................................................................... 67
3
