PSYCHODIAGNOSTIEK 1
Psychodiagnostiek: Taak 1
PS: Hoe meet je betrouwbaarheid?
LD: 1) Leg de klassieke testtheorie en de item-respons theorie uit. Hoe worden ze
ontwikkeld?
Waarom worden deze testen gedaan?
2) Definitie van betrouwbaarheid.
3) Leg de soorten betrouwbaarheid uit (cronbach’s a, test-hertest, split-half).
E-reader: COTAN Beoordelingssysteem voor de Kwaliteit van Tests
(Evers).
Betrouwbaarheid
De mate van consistentie in een meting. Dit concept kan het beste gezien worden
als een continuüm lopende van minimaal consistentie (bijv. simpele reactietijd) tot
bijna perfecte herhaalbaarheid van de resultaten (bijv. gewicht).
Klassieke testtheorie ➜ Testscore (X) bestaat uit ware score/betrouwbare score (T) en
toevallige meetfouten (E). De testscore is de som van de betrouwbare score en de
meetfout: X = T + E.
Doel van de betrouwbaarheidsanalyse is om de invloed van meetfouten op de testscores
te schatten.
2
Variantie van de testscores in een groep van personen ( S X ) ➜ Betrouwbare variantie
S
2
(¿ ¿ T 2) en foutenvariantie ( S E ¿ . De variantie van de testscores in een groep
¿
2 2
personen is de som van de betrouwbare variantie en de foutenvariantie: S X = S T +
S 2E .
De foutenvariantie geeft de spreiding weer die het gevolg is van toevallige meetfouten,
zodat de betrouwbare variantie alle systematische verschillen tussen respondenten
weergeeft.
De betrouwbaarheid met vermelding van de foutenbron maken het mogelijk om over een
‘voor-een-bepaald-doel’ betrouwbare test te spreken. Met behulp van de traditionele
betrouwbaarheidsmaten wordt in feite de generaliseerbaarheid van scores over versies
(parallel-test betrouwbaarheid; betrouwbaarheidsschattingen op basis van inter-
itemrelaties), tijdstippen (test-hertest betrouwbaarheid) en beoordelaar (inter-
beoordelaarsbetrouwbaarheid) vastgesteld.
Dé betrouwbaarheid van een test bestaat niet: we onderscheiden vormen van
betrouwbaarheid naar de aard van de variantiebron die in het
betrouwbaarheidsonderzoek wordt geanalyseerd.
In dit beoordelingssysteem word betrouwbaarheid als een 5e criterium gezien en heeft het
3 subvragen.
5.1: “Worden er gegevens over de betrouwbaarheid
versterkt?”
Hierbij word er gedacht aan betrouwbaarheidscoëfficiënten en aan de resultaten van
generalisatieonderzoeken. Op basis van de item-responstheorie kan er een
betrouwbaarheidscoëfficiënt, tabel of figuur met standaardfouten/informatiefunctie
gerapporteerd worden.
, 5.2: “Zijn de resultaten voldoende, gelet op het beoogde
type beslissingen dat m.b.v. de test moet worden
genomen?”
Over de gewenste hoogte van een betrouwbaarheidscoëfficiënt of een vergelijkbare maat
kan geen algemene uitspraak worden gedaan (➜ doel van het testgebruik heeft hier een
invloed op).
Volgens Nunnally en Bernstein (1994) moet een test die gebruikt wordt voor belangrijke
beslissingen, een betrouwbaarheid van minstens 0.90 hebben. Met belangrijke
beslissingen wordt bedoeld: beslissingen die op basis van de testscores worden genomen,
die in principe, of op korte termijn, onomkeerbaar zijn, en die voor een belangrijk deel
buiten de geteste persoon om worden genomen.
Tests voor belangrijke beslissingen op individueel niveau (bv.
personeelsselectie, verwijzing naar speciaal onderwijs, opname/ontslag
kliniek).
Goed: r ≥ 0.90 Onvoldoende: r < 0.80 Voldoende: 0.80 ≤ r < 0.90
Test voor belangrijke beslissingen op individueel niveau (bv.
voortgangscontrole, in het algemeen beschrijvend gebruik zoals bij
beroepskeuzebegeleiding en therapie-indicatie).
Goed: r ≥ 0.80 Onvoldoende: r < 0.70 Voldoende: 0.70 ≤ r < 0.80
Tests voor onderzoek op groepsniveau (bv. meting van teamtevredenheid,
klimaat in de klas, of organisatiecultuur).
Goed: r ≥ 0.70 Onvoldoende: r < 0.60 Voldoende: 0.60 ≤ r < 0.70
5.2a: “Paralleltestbetrouwbaarheid”.
De betrouwbaarheid als verhouding van alle systematische variantie en de variantie van
de testscores kan worden geschat met behulp van de paralleltestbetrouwbaarheid.
Test zijn parallel wanneer hun testscores in dezelfde groep dezelfde gemiddelden,
varianties, en correlaties met andere variabelen hebben. Zijn deze kenmerken aanwezig,
dan is de correlatie tussen de testscores gelijk aan de betrouwbaarheid van de
afzonderlijke tests.
Als de testversies niet parallel zijn, geeft hun correlatie een onderschatting van de
paralleltestbetrouwbaarheid. Deze correlatie kan dan ook worden opgevat als een maat
voor de generaliseerbaarheid over verschillende, niet parallelle testversies.
5.2b: “Betrouwbaarheid op basis van inter-itemrelaties” (Cronbach’s
α ).
Cronbach’s α is gebaseerd op de covarianties tussen de items in de test en wordt
bijna standaard gebruikt om de betrouwbaarheid van de testscore te schatten.
Er zijn drie zaken van belang:
1. α is een ondergrens voor de paralleltest-betrouwbaarheid. De waarde van α is
dus lager dan de echte betrouwbaarheid van de test.
2. Er zijn veel alternatieve methoden die veel op α lijken en ook nog eens een
schatting van de betrouwbaarheid geven die daar dichter bij ligt dan α (bv.
Guttmans lambda2).
3. In een groot deel van de literatuur over testtheorie wordt er gerapporteerd dat α
een maat is voor de interne consistentie van de test. Vandaar de veel gebruikte
aanduiding van ‘interne-consistentiecoëfficiënt’. Dit betekent dat een hogere waarde
van α zou aangeven dat de items in hogere mate dezelfde eigenschap meten.
Voor de schatting van betrouwbaarheid wordt er ook wel eens een split-halfcoëfficiënt of
splitsinsbetrouwbaarheid gebruikt (➜ wordt afgeraden omdat de uitkomsten afhankelijk
Psychodiagnostiek: Taak 1
PS: Hoe meet je betrouwbaarheid?
LD: 1) Leg de klassieke testtheorie en de item-respons theorie uit. Hoe worden ze
ontwikkeld?
Waarom worden deze testen gedaan?
2) Definitie van betrouwbaarheid.
3) Leg de soorten betrouwbaarheid uit (cronbach’s a, test-hertest, split-half).
E-reader: COTAN Beoordelingssysteem voor de Kwaliteit van Tests
(Evers).
Betrouwbaarheid
De mate van consistentie in een meting. Dit concept kan het beste gezien worden
als een continuüm lopende van minimaal consistentie (bijv. simpele reactietijd) tot
bijna perfecte herhaalbaarheid van de resultaten (bijv. gewicht).
Klassieke testtheorie ➜ Testscore (X) bestaat uit ware score/betrouwbare score (T) en
toevallige meetfouten (E). De testscore is de som van de betrouwbare score en de
meetfout: X = T + E.
Doel van de betrouwbaarheidsanalyse is om de invloed van meetfouten op de testscores
te schatten.
2
Variantie van de testscores in een groep van personen ( S X ) ➜ Betrouwbare variantie
S
2
(¿ ¿ T 2) en foutenvariantie ( S E ¿ . De variantie van de testscores in een groep
¿
2 2
personen is de som van de betrouwbare variantie en de foutenvariantie: S X = S T +
S 2E .
De foutenvariantie geeft de spreiding weer die het gevolg is van toevallige meetfouten,
zodat de betrouwbare variantie alle systematische verschillen tussen respondenten
weergeeft.
De betrouwbaarheid met vermelding van de foutenbron maken het mogelijk om over een
‘voor-een-bepaald-doel’ betrouwbare test te spreken. Met behulp van de traditionele
betrouwbaarheidsmaten wordt in feite de generaliseerbaarheid van scores over versies
(parallel-test betrouwbaarheid; betrouwbaarheidsschattingen op basis van inter-
itemrelaties), tijdstippen (test-hertest betrouwbaarheid) en beoordelaar (inter-
beoordelaarsbetrouwbaarheid) vastgesteld.
Dé betrouwbaarheid van een test bestaat niet: we onderscheiden vormen van
betrouwbaarheid naar de aard van de variantiebron die in het
betrouwbaarheidsonderzoek wordt geanalyseerd.
In dit beoordelingssysteem word betrouwbaarheid als een 5e criterium gezien en heeft het
3 subvragen.
5.1: “Worden er gegevens over de betrouwbaarheid
versterkt?”
Hierbij word er gedacht aan betrouwbaarheidscoëfficiënten en aan de resultaten van
generalisatieonderzoeken. Op basis van de item-responstheorie kan er een
betrouwbaarheidscoëfficiënt, tabel of figuur met standaardfouten/informatiefunctie
gerapporteerd worden.
, 5.2: “Zijn de resultaten voldoende, gelet op het beoogde
type beslissingen dat m.b.v. de test moet worden
genomen?”
Over de gewenste hoogte van een betrouwbaarheidscoëfficiënt of een vergelijkbare maat
kan geen algemene uitspraak worden gedaan (➜ doel van het testgebruik heeft hier een
invloed op).
Volgens Nunnally en Bernstein (1994) moet een test die gebruikt wordt voor belangrijke
beslissingen, een betrouwbaarheid van minstens 0.90 hebben. Met belangrijke
beslissingen wordt bedoeld: beslissingen die op basis van de testscores worden genomen,
die in principe, of op korte termijn, onomkeerbaar zijn, en die voor een belangrijk deel
buiten de geteste persoon om worden genomen.
Tests voor belangrijke beslissingen op individueel niveau (bv.
personeelsselectie, verwijzing naar speciaal onderwijs, opname/ontslag
kliniek).
Goed: r ≥ 0.90 Onvoldoende: r < 0.80 Voldoende: 0.80 ≤ r < 0.90
Test voor belangrijke beslissingen op individueel niveau (bv.
voortgangscontrole, in het algemeen beschrijvend gebruik zoals bij
beroepskeuzebegeleiding en therapie-indicatie).
Goed: r ≥ 0.80 Onvoldoende: r < 0.70 Voldoende: 0.70 ≤ r < 0.80
Tests voor onderzoek op groepsniveau (bv. meting van teamtevredenheid,
klimaat in de klas, of organisatiecultuur).
Goed: r ≥ 0.70 Onvoldoende: r < 0.60 Voldoende: 0.60 ≤ r < 0.70
5.2a: “Paralleltestbetrouwbaarheid”.
De betrouwbaarheid als verhouding van alle systematische variantie en de variantie van
de testscores kan worden geschat met behulp van de paralleltestbetrouwbaarheid.
Test zijn parallel wanneer hun testscores in dezelfde groep dezelfde gemiddelden,
varianties, en correlaties met andere variabelen hebben. Zijn deze kenmerken aanwezig,
dan is de correlatie tussen de testscores gelijk aan de betrouwbaarheid van de
afzonderlijke tests.
Als de testversies niet parallel zijn, geeft hun correlatie een onderschatting van de
paralleltestbetrouwbaarheid. Deze correlatie kan dan ook worden opgevat als een maat
voor de generaliseerbaarheid over verschillende, niet parallelle testversies.
5.2b: “Betrouwbaarheid op basis van inter-itemrelaties” (Cronbach’s
α ).
Cronbach’s α is gebaseerd op de covarianties tussen de items in de test en wordt
bijna standaard gebruikt om de betrouwbaarheid van de testscore te schatten.
Er zijn drie zaken van belang:
1. α is een ondergrens voor de paralleltest-betrouwbaarheid. De waarde van α is
dus lager dan de echte betrouwbaarheid van de test.
2. Er zijn veel alternatieve methoden die veel op α lijken en ook nog eens een
schatting van de betrouwbaarheid geven die daar dichter bij ligt dan α (bv.
Guttmans lambda2).
3. In een groot deel van de literatuur over testtheorie wordt er gerapporteerd dat α
een maat is voor de interne consistentie van de test. Vandaar de veel gebruikte
aanduiding van ‘interne-consistentiecoëfficiënt’. Dit betekent dat een hogere waarde
van α zou aangeven dat de items in hogere mate dezelfde eigenschap meten.
Voor de schatting van betrouwbaarheid wordt er ook wel eens een split-halfcoëfficiënt of
splitsinsbetrouwbaarheid gebruikt (➜ wordt afgeraden omdat de uitkomsten afhankelijk
