Hoorcollege 1 t/m 8 M&D 3: organisatiepsychologie

Hoorcollege aantekeningen Meten & Diagnostiek 3


College 1 Inleiding, betrouwbaarheid en validiteit
Inleiding op de diagnostiek

 In elke richting die je op gaat heb je te maken met vragenlijsten
 Waar een goede diagnosticus kennis van moet hebben:
- Inhoud
- Testtheorie
- Beschikbare methoden en tests
- Besliskunde: o.b. waarvan maak je een beslissing en welke gevolgen heeft dat?

Algemene Standaard Testgebruik

 ‘’Voor het doen van psychologische uitspraken over een persoon of groep personen
heeft het gebruik van psychodiagnostische instrumenten belangrijke voordelen boven
een ‘ongewapend oordeel. Deze instrumenten hebben echter ook hun beperkingen.
Tests horen dan ook thuis bij wetenschappelijk opgeleide professionals die zich van
zowel de voordelen als de beperkingen bewust zijn’’
 doel cursus: bijbrengen wat de voordelen zijn van het gebruik van instrumenten
maar ook er kritisch naar kunnen kijken en er een oordeel over geven

Aanpak selectie-interview
 meest gebruikte selectie middel

 Er worden zelden dezelfde vragen gesteld aan de kandidaten
 Vaak een persoonlijke conversatie
 Er is verbetering nodig, er moet kritischer georganiseerd worden

Grafologie

 Handschrift voorspelt niks!!
 Onderzoek Jalt & Uva
- Er zijn nog steeds instituten die dit in zetten (r = .02)
- Capaciteitentest beste voorspeller (r=.51)
 maar in 40% van de gevallen ingezet, vaker door managers (zwart) dan HR-
specialisten (blauw) terwijl je zou denken dat dit andersom zou zijn




1

,Hoorcollege aantekeningen Meten & Diagnostiek 3


COTAN
 onderdeel NIP

 Beoordeling kwaliteit a.d.h.v. criteria ontleend aan klassieke testtheorie
 beoordeeld door 2 anonieme personen (onderzoekers universiteit)
1. Uitgangpunten testconstructie: theorie die erachter zit (wetenschappelijke basis)
2. Kwaliteit testmateriaal en handleiding
3. Normen: groepen groot genoeg & representatief
4. Betrouwbaarheid
5. Begripsvaliditeit
6. Criteriumvaliditeit

Ter illustratie: MBTI

 Classificeert mensen in groepen/typen
 COTAN beoordeling:
- Geen wetenschappelijke basis (uitgangspunten testconstructie)
- Geen normen
- Begripsvaliditeit & criteriumvaliditeit onvoldoende
 Face validiteit: je denkt dat het klopt
 ongeveer 70% van de kandidaten heeft de neiging het eens te zijn met alle 4 de
letters van het gerapporteerde type en 90% is het eens met tenminste 3 letters

Betrouwbaarheid

 ‘’De consistentie van metingen als de testprocedure herhaald wordt bij een persoon
of bij een steekproef’’
 Consistentie: als je een meting herhaald, komt er dan hetzelfde resultaat uit?
- Het gaat er niet om of de score juist is, maar alleen of hij hetzelfde is
 Tweede meting nooit identiek
X=T+E
- T is niet bekend, we weten de ware score van een persoon niet omdat een deel
ook wordt bepaald door toevallige en systematische meetfouten
- Verschil in X bij herhaalde metingen klein, is een teken dat de test betrouwbaar is
 is vaak niet zo, dat verschil kan door 2 dingen worden veroorzaakt
1. Errorvariantie
a. Toevallige meetfouten: geen concentratie, slecht geslapen, fout bij
berekening score (is voor iedereen anders)  onvoorspelbaar
b. Systematische meetfouten: fout liniaal (tellen voor iedereen )  constant

2. Veranderingen in T
 mensen scoren echt anders door ervaringen (kijk naar situatie waarin je de
herhaalde meting afneemt)

Errorvariantie
 belangrijke bronnen

 Testontwikkeling
 Testafname
- Omgeving

2

, Hoorcollege aantekeningen Meten & Diagnostiek 3


- Kandidaat
- Examinator: observator
 Testscoring en – interpretatie

Voorbeelden: wat voor meetfout is het?

 Geen vragen over het hoofdstuk dat je niet geleerd hebt
- Toevallige meetfout: geldt niet voor elke persoon, alleen personen die het
hoofdstuk niet gelezen hebben er voordeel van (niet iedereen)
- Deze personen hebben geluk, en hebben een hogere score dan hun ware score
omdat ze eigenlijk niet genoeg kennis hebben, voor mensen die alles hebben
geleerd veranderd de score niet echt
- Oorzaak: testontwikkeling
 Afkijken bij het tentamen
- Toevallige meetfout
- Oorzaak: testafname - kandidaat
 Fout in het antwoord model
- Systematisch: geldt voor iedereen

Betrouwbaarheidsinterval

 Wat zegt een testscore? Scoor ik de volgende keer niet heel anders?
 BI geeft de grenzen aan, waarbinnen met een bepaald kanspercentage mag worden
aangenomen dat bij een volgende meting de score zal liggen

Berekening

 BI = X ± z * SE
- z = 0.99: de kans is 68% dat de score de volgende keer binnen interval valt
- z = 1.96: de kans is 95% dat de score de volgende keer binnen interval valt
- z = 2.58: de kans is 99% dat de score de volgende keer binnen interval valt
 Standaardmeetfout (SE)
- SD van ruwe scores rond de ware scores (SD van meetfouten)
- Voor iedere persoon gelijk
- Nodig voor SE:
 De SD (σ) van de test
 Betrouwbaarheid test (rxx)
 SE = σ * √(𝟏 − 𝐫𝐱𝐱)

Betrouwbaarheidscoëfficiënt
 belangrijkste soorten

 Test-hertest
 Parallele vormen
 Correlaties tussen 2 afnamen van een test
 Interne consistentie: split-half, coëfficiënt alfa, KR-20
 Interbeoordelaar

Coëfficiënt alfa

 Meest gebruikte betrouwbaarheidsmaat

3