Md3 individuele organisatiediagnose
College 1 inleiding betrouwbaarheid en validiteit
Gestructureerde interviews veel meer valide dan ongestructureerde interviews.
Bij een selectie interview wordt er in mindere mate gebruik gemaakt van dezelfde
vragen voor verschillende kandidaten en een formele beoordeling; terwijl dit juist heel
belangrijk is.
Grafologie (handschriftanalyse) bewezen dat het echt niks voorspelt. Maar wordt nog
steeds gebruikt in de praktijk.
Intelligentie test is meest voorspellende test als je een test inzet. Maar wordt toch weinig
gebruikt betrouwbaarheid van .51.
COTAN (onderdeel van het NIP). Evalueren test handleidingen van de testen die in
Nederland gebruikt worden.
Beoordeling kwaliteit van testmateriaal aan de hand van criteria ontleend aan de
klassieke testtheorie:
Uitgangspunten testconstructie
Kwaliteit testmateriaal en handleiding
Normen
Betrouwbaarheid
Begripsvaliditeit --> meet het te onderzochte begrip
Criteriumvaliditeit --> voorspellende waarde test
Betrouwbaarheid
De consistentie van metingen als de testprocedure herhaald wordt bij een persoon of bij
een steekproef.
X= T + E
Verschil in X bij herhaald meten klein--> test is betrouwbaar
T= ware score is niet bekend
E= error. --> toevallige meetfouten; Van invloed op betrouwbaarheid (onvoorspelbaar)
of systematische meetfouten ; niet per see van invloed betrouwbaarheid (want bij
iedereen deze fout) wel onderdeel error. (constant, consistent fout)
Er zijn verschillende bronnen van errorvariantie
- fouten bij testontwikkeling
- gebeurtenissen bij testafname
omgeving
kandidaat
examinator
- testscoring &- interpretatie
,betrouwbaarheidsinterval
Geeft de grenzen aan waarbinnen met een bepaald kanspercentage mag worden
aangenomen dat de ware score zal liggen.
BI= X+/- Z* SE
Z= .99 bij 68%
Z= 1.96 bij 95%
Z= 2.58 bij 99%
Standaardmeetfout (SE):
SD van ruwe scores rond de ware scores (SD van meetfouten). Is voor ieder persoon
gelijk.
Om dit uit te rekenen heb je de SD van de test nodig en de betrouwbaarheid van de
gebruikte test (Rxx)
SE= SD* √(1- Rxx)
Belangrijke soorten betrouwbaarheid
- test-hertest
- parallelle vormen
(bovenste twee dmv correlatie tussen twee afnamen)
- interne consistentie (split half, coëfficiënt alfa, KR-20 (dichotome items))
- interbeoordelaar
Coëfficiënt alfa
- Berust op een enkele afname van de test
- Varianties en covarianties van de items
- Het aantal items
- NIET geschikt voor tests die meerdere dimensies (constructen/ begrippen)
meten.
- Coëfficiënt alfa neemt toe als functie van testlengte. Dus je kan items toevoegen
om de alfa op te krikken. Het aantal items om toe te voegen ligt er aan hoe groot
je de alfa wil. Dit kan je dan uitrekenen .
COTAN acceptabele alfa:
Bij belangrijke beslissingen:
> rxx < .80 onvoldoende
> .80 ≤ rxx >.90 voldoende
> rxx ≥ .90 goed
Bij minder belangrijke beslissingen kan .70 (individueel) of .60 (groeps) als ondergrens
gehanteerd worden
Validiteit
Is de mate waarin een test aan zijn doel beantwoordt.
Indruksvaliditeit (face validity)
- wat meet de test op het eerste gezicht. Heeft de kandidaat het gevoel dat het
juiste wordt gemeten met de test.
, Begripsvaliditeit (construct validity)
In hoeverre is de test een goede meting van het onderliggende theoretische begrip. Meet
je het begrip dat je beoogt te meten?
o Inhoudsdomein
- Dekt de test het domein aan kennis, vaardigheden, gedragingen?
o Interne structuur
- Aantal dimensies
- Scoreverschillen tussen groepen
o Externe structuur
- convergente validiteit (zo hoog mogelijk) correlatie met begrip waarmee het
moet samenhangen
- divergente validiteit (zo laag mogelijk) correlatie met begrip waarmee het
niet moet samenhangen.
criterium validiteit
in welke mate voorspelt de test een bepaald criterium (bijv. werkprestatie) ?
- gelijktijdig, onmiddellijk
- tussentijds
- predictief, uiteindelijk
MMT matrix (multi method multi trait matrix)
Lage correlaties wil je binnen methode
Operationalisatie is begripsvaliditeit
Maximale criteriumvaliditeit is de wortel van de betrouwbaarheid. Dus een test die niet
betrouwbaar is kan niets voorspellen.
Op het moment dat validiteit wordt gerapporteerd in bevindingen op twee manieren
gecorrigeerd.
- correctie voor attenuatie
( je kijkt naar het verband op de ware scores tussen twee instrumenten)
alleen corrigeren voor attenuatie met juiste betrouwbaarheidsmaat, anders is er
sprake van overcorrectie.
> Metingen van predictor en criterium zijn niet
betrouwbaar (X = T + E)
> Validiteit wordt daarom onderschat
> Validiteit berekenen indien metingen wel perfect
betrouwbaar zijn (dus tussen de ware scores)
- correctie voor restriction of range
(groepsverband, gehele groep en geselecteerde groep)
Variantie in correlatiecoefficienten veroorzaakt door artefacten:
> Administratieve fouten
College 1 inleiding betrouwbaarheid en validiteit
Gestructureerde interviews veel meer valide dan ongestructureerde interviews.
Bij een selectie interview wordt er in mindere mate gebruik gemaakt van dezelfde
vragen voor verschillende kandidaten en een formele beoordeling; terwijl dit juist heel
belangrijk is.
Grafologie (handschriftanalyse) bewezen dat het echt niks voorspelt. Maar wordt nog
steeds gebruikt in de praktijk.
Intelligentie test is meest voorspellende test als je een test inzet. Maar wordt toch weinig
gebruikt betrouwbaarheid van .51.
COTAN (onderdeel van het NIP). Evalueren test handleidingen van de testen die in
Nederland gebruikt worden.
Beoordeling kwaliteit van testmateriaal aan de hand van criteria ontleend aan de
klassieke testtheorie:
Uitgangspunten testconstructie
Kwaliteit testmateriaal en handleiding
Normen
Betrouwbaarheid
Begripsvaliditeit --> meet het te onderzochte begrip
Criteriumvaliditeit --> voorspellende waarde test
Betrouwbaarheid
De consistentie van metingen als de testprocedure herhaald wordt bij een persoon of bij
een steekproef.
X= T + E
Verschil in X bij herhaald meten klein--> test is betrouwbaar
T= ware score is niet bekend
E= error. --> toevallige meetfouten; Van invloed op betrouwbaarheid (onvoorspelbaar)
of systematische meetfouten ; niet per see van invloed betrouwbaarheid (want bij
iedereen deze fout) wel onderdeel error. (constant, consistent fout)
Er zijn verschillende bronnen van errorvariantie
- fouten bij testontwikkeling
- gebeurtenissen bij testafname
omgeving
kandidaat
examinator
- testscoring &- interpretatie
,betrouwbaarheidsinterval
Geeft de grenzen aan waarbinnen met een bepaald kanspercentage mag worden
aangenomen dat de ware score zal liggen.
BI= X+/- Z* SE
Z= .99 bij 68%
Z= 1.96 bij 95%
Z= 2.58 bij 99%
Standaardmeetfout (SE):
SD van ruwe scores rond de ware scores (SD van meetfouten). Is voor ieder persoon
gelijk.
Om dit uit te rekenen heb je de SD van de test nodig en de betrouwbaarheid van de
gebruikte test (Rxx)
SE= SD* √(1- Rxx)
Belangrijke soorten betrouwbaarheid
- test-hertest
- parallelle vormen
(bovenste twee dmv correlatie tussen twee afnamen)
- interne consistentie (split half, coëfficiënt alfa, KR-20 (dichotome items))
- interbeoordelaar
Coëfficiënt alfa
- Berust op een enkele afname van de test
- Varianties en covarianties van de items
- Het aantal items
- NIET geschikt voor tests die meerdere dimensies (constructen/ begrippen)
meten.
- Coëfficiënt alfa neemt toe als functie van testlengte. Dus je kan items toevoegen
om de alfa op te krikken. Het aantal items om toe te voegen ligt er aan hoe groot
je de alfa wil. Dit kan je dan uitrekenen .
COTAN acceptabele alfa:
Bij belangrijke beslissingen:
> rxx < .80 onvoldoende
> .80 ≤ rxx >.90 voldoende
> rxx ≥ .90 goed
Bij minder belangrijke beslissingen kan .70 (individueel) of .60 (groeps) als ondergrens
gehanteerd worden
Validiteit
Is de mate waarin een test aan zijn doel beantwoordt.
Indruksvaliditeit (face validity)
- wat meet de test op het eerste gezicht. Heeft de kandidaat het gevoel dat het
juiste wordt gemeten met de test.
, Begripsvaliditeit (construct validity)
In hoeverre is de test een goede meting van het onderliggende theoretische begrip. Meet
je het begrip dat je beoogt te meten?
o Inhoudsdomein
- Dekt de test het domein aan kennis, vaardigheden, gedragingen?
o Interne structuur
- Aantal dimensies
- Scoreverschillen tussen groepen
o Externe structuur
- convergente validiteit (zo hoog mogelijk) correlatie met begrip waarmee het
moet samenhangen
- divergente validiteit (zo laag mogelijk) correlatie met begrip waarmee het
niet moet samenhangen.
criterium validiteit
in welke mate voorspelt de test een bepaald criterium (bijv. werkprestatie) ?
- gelijktijdig, onmiddellijk
- tussentijds
- predictief, uiteindelijk
MMT matrix (multi method multi trait matrix)
Lage correlaties wil je binnen methode
Operationalisatie is begripsvaliditeit
Maximale criteriumvaliditeit is de wortel van de betrouwbaarheid. Dus een test die niet
betrouwbaar is kan niets voorspellen.
Op het moment dat validiteit wordt gerapporteerd in bevindingen op twee manieren
gecorrigeerd.
- correctie voor attenuatie
( je kijkt naar het verband op de ware scores tussen twee instrumenten)
alleen corrigeren voor attenuatie met juiste betrouwbaarheidsmaat, anders is er
sprake van overcorrectie.
> Metingen van predictor en criterium zijn niet
betrouwbaar (X = T + E)
> Validiteit wordt daarom onderschat
> Validiteit berekenen indien metingen wel perfect
betrouwbaar zijn (dus tussen de ware scores)
- correctie voor restriction of range
(groepsverband, gehele groep en geselecteerde groep)
Variantie in correlatiecoefficienten veroorzaakt door artefacten:
> Administratieve fouten
