Diagnostisch onderzoek
Psychodiagnostiek en assessment
Deel 1: wat is psychodiagnostiek?
Hoofdstuk 1 Diagnostiek: inschatten van mensen
Diagnostiek: het inschatten van gedrag en eigenschappen van mensen.
1.1 Besliskunde
Op een bepaalde manier zijn alle mensen psycholoog, iedereen heeft ideeën over hoe
andere mensen in elkaar steken.
Test en criterium
Twee variabelen spelen een rol in elk voorspellingsproces:
1. Beoordelingsmoment nu
2. Een beoordelingsmoment ergens in de toekomst
De mate waarin deze twee beoordelingen met elkaar overeenstemmen zegt iets over de
kwaliteit van je voorspellingen en je beoordelingsvermogen.
Predictieve validiteit: voorspelling over hoe goed je als voorspeller zal functioneren. Ook van
een psychologische test kunnen we de predictieve validiteit voorspellen.
Op basis van de twee beoordelingsmomenten worden er in de besliskunde vier soorten
beslissingen onderscheiden.
Wanneer we het voorspellingsmoment (vandaag) – het testmoment – en het toets moment
(morgen) – het criterium - in het kwadrant zetten, dan leidt dat tot een besliskundematrix.
FN VP
Ja
VN FP
Nee
Nee Ja
VP: Valid (waar) Positive (positief). De voorspelling was positief en bleek later ook waar te
zijn.
FP: False (niet waar) Positive (positief)
FN: False (niet waar) Negative (negatief)
VN: Valid (waar) Negative (negatief)
De kwaliteit van het voorspellend vermogen van een instrument of een voorspeller kan je
uitdrukken in een getal, weerman A heeft bijvoorbeeld 80% valide voorspellingen gedaan en
20% verkeerde.
1.2 Correlaties
Correlatiecoëfficiënt: een getal tussen de 0 en 1.00 dat de sterkte van de relatie tussen twee
variabelen aangeeft.
,Perfecte correlatie: alle meetpunten liggen op exact dezelfde rechte lijn -> in de
natuurkunde.
Niet-perfecte correlatie: puntenwolk -> in de menswetenschappen.
De platheid of bolheid van een puntenwolk kunnen we in een getal uitdrukken, namelijk de
correlatiecoëfficiënt: hoe boller de ellips hoe lager de correlatiecoëfficiënt.
o 1.00: strakke lijn
o 0.00: totaal geen relatie tussen twee variabelen
1.3 Fouten in ons beoordelingsvermogen
De sociale psychologie heeft ons gewezen op structurele mankementen in de manier waarop
we tot inschattingen en voorspellingen komen.
Meest voorkomende fouten:
1. Verstandige fouten: als een hert geritsel in de bosjes hoort, moet het de afweging
maken of het de wind is of een leeuw. In zo’n geval is een FN dodelijk, terwijl een FP
alleen een nutteloze renpartij kost. Niet alle fouten zijn dus even kostbaar.
De aftestgrens (de verticale middenlijn van de besliskundematrix) van zo’n hert ligt
dus extreem naar links.
2. Overschattingen van specifieke kansen: de kans dat bepaalde gebeurtenissen zich
voordoen of de kans dat iemand over een bepaalde eigenschap beschikt, wordt soms
verkeerd ingeschat.
3. Beschikbaarheidsheuristiek (availability heuristiek): van dingen waarover we snel
voorbeelden uit ons geheugen kunnen opdiepen, denken we ook dat ze vaker
voorkomen.
4. Regressie naar het gemiddelde: beoordelaars kunnen in een valkuil stappen doordat
ze geen rekening houden met de regressie naar het gemiddelde (effect van spontaan
herstel).
Extreme scores vallen meer op en wegen dus zwaarder mee.
5. Eerste en laatste indruk: we onthouden het best wat er aan het begin en het einde
gebeurt. (begin: fris en alert, einde: recent)
Primacy- en recency- effect
6. Voorbarige reductie van cognitieve dissonantie: mensen worden op een zeer
krachtige manier gedreven door een streven ideeën onderling en ideeën en hun
acties met elkaar in overeenstemming te houden.
Cognitieve dissonantie-reductietheorie
7. Horn- en halo-effecten: we zoeken naar een logisch samenhangend beeld.
Halo-effect: op basis van een aantal positieve zaken die we van iemand hebben
gezien nemen we aan dat die op andere vlakken ook bijzonder zal presteren. Horn
effect: vise versa.
1.4 Remedies tegen beoordelingsfouten
,Systematische psychodiagnostiek kun je beschouwen als één grote poging om menselijke
beoordelingsfouten tegen te gaan.
Menselijke beoordelingsproces in rechte banen leiden:
- Contrary evidence: als jij je mening vormt en je juist naar tegenbewijs opzoek gaat ->
lukt je dit dan moet je je mening bijstellen. In de wetenschapsfilosofie heet dit
falsificatie: je bedenkt experimenten die op een wetenschappelijke manier
onderuitgehaald kunnen worden.
- Multi-rater-methode: meerdere personen inschakelen om tot een eindoordeel te
komen.
Hoofdstuk 2 Kenmerken en kwaliteitseisen aan diagnostische instrumenten
2.1 Drie soorten diagnostische instrumenten
Wetenschappelijk onderbouwde methoden en instrumenten.
Drie diagnostische instrumenten:
- Interviewtechnieken
- Psychologische testen
- Observatiemethoden
De gouden drie: komen in allerlei vormen voor -> van sterk gestructureerd tot volledig
ongestructureerd.
2.2 wat maakt een test een goede test
COTAN- gecertificeerde testen: COTAN is een kwaliteitskeurmerk voor psychologische testen
dat is afgegeven door het NIP, de beroepsorganisatie van psychologen.
Goede testen:
1. Een professionele test wordt geconstrueerd uit een wetenschappelijke achtergrond.
2. Schalen zijn homogeen en zuiver.
3. Er is onderzoek gedaan naar de betrouwbaarheid en validiteit van de test.
4. De wijze waarop de test moet worden afgenomen is precies omschreven en in hoge
mate gestandaardiseerd.
5. Testscores moeten met voldoende grote en representatieve normgroepen
vergeleken worden.
6. Er is onderzoek gedaan naar meetpretenties.
Toegepast psycholoog of hrm: testgebruiker
Academisch psycholoog: testconstructeur
2.2.1 het wetenschappelijke fundament van diagnostische instrumenten
Wetenschappelijke en niet-wetenschappelijke ideeën hoeven inhoudelijk helemaal niet
zoveel van elkaar te verschillen, maar de manier waarop de ideeën tot stand zijn gekomen
en hoe ze verder evalueren is vaak wel scherp te onderscheiden.
Wetenschappelijk denken:
- Je mening is altijd een voorlopige mening.
- De wetenschap is een nooit eindigende discussie waarbij op basis van harde feiten
ideeën geaccepteerd of verworpen worden.
, Persoonlijkheidstheorie het Big 5-model: persoonlijkheidseigenschappen zijn teruggebracht
tot vijf basisdimensies: extraversie, altruïsme, consciëntieusheid, openheid en neuroticisme.
(Verderop meer)
2.2.2 gebruik van zuivere, homogene constructen
Factoranalyse: een methode om via een statistische benadering patronen en samenhang in
grote complexe hoeveelheden informatie te ontdekken.
Factor: bestaat uit items die allemaal hoog met elkaar correleren, dus eigenlijk allemaal
hetzelfde meten.
Met behulp van factoranalyse vinden we factoren.
Schalen en vragenlijsten zijn terug te voeren tot één gemeenschappelijke factor, zo’n schaal
noemen we dan zuiver of homogeen.
Big Data: de beperkingen van de menselijke geest worden in een hoog tempo
voorbijgestreefd door geavanceerde computers die zeer grote factoranalyses aankunnen.
2.2.2 betrouwbaarheid
Betrouwbaarheid: een intern kenmerk van een test of meetmethode.
Validiteit: de mate waarin een test aan zijn doel beantwoord. Validiteit is het belangrijkst en
bepaalt de finale waarde van een meetmethode.
De mate van betrouwbaarheid geeft aan wat het plafond van de validiteit van een
instrument kan zijn.
Betrouwbaarheid heeft dus betrekking op de afwezigheid van storende factoren die het
meetproces kunnen vertroebelen -> afwezigheid van ruis.
Methoden om in te schatten hoeveel ruis er is en hoe groot de invloed daarvan is:
- Normaalverdeling
o Gemiddelde = M
o Standaarddeviatie = SD. Deze kan veranderen per eigenschap.
Bij eenmalige metingen neem je altijd een foutmarge in acht. We gaan daarbij uit van de
aanname dat de score van de cliënt eenzelfde spreiding heeft als die van andere cliënten die
we eerder onderzocht hebben en waarvan we de spreiding berekend hebben.
Vier manieren om betrouwbaarheid van een instrument te meten:
1. Goede testen worden gekenmerkt door homogeniteit of zuiverheid. Dit betekent dat
alle items van de schaal -bijvoorbeeld extraversie- daadwerkelijk dit meet en
onderling hoog correleert.
Matrix: N (N-1):2
5 items -> 5x5 = 25 items -> -5 (elk item correleert volledig met zichzelf) ->
gedeeld door twee (correlatie van item 3 en 5 is hetzelfde als die tussen 5 en
3) ->
5(5 – 1):2 = 10
2. Splitsing methode: items worden in twee willekeurige groepen verdeeld en
hiertussen wordt de correlatie berekent.
Psychodiagnostiek en assessment
Deel 1: wat is psychodiagnostiek?
Hoofdstuk 1 Diagnostiek: inschatten van mensen
Diagnostiek: het inschatten van gedrag en eigenschappen van mensen.
1.1 Besliskunde
Op een bepaalde manier zijn alle mensen psycholoog, iedereen heeft ideeën over hoe
andere mensen in elkaar steken.
Test en criterium
Twee variabelen spelen een rol in elk voorspellingsproces:
1. Beoordelingsmoment nu
2. Een beoordelingsmoment ergens in de toekomst
De mate waarin deze twee beoordelingen met elkaar overeenstemmen zegt iets over de
kwaliteit van je voorspellingen en je beoordelingsvermogen.
Predictieve validiteit: voorspelling over hoe goed je als voorspeller zal functioneren. Ook van
een psychologische test kunnen we de predictieve validiteit voorspellen.
Op basis van de twee beoordelingsmomenten worden er in de besliskunde vier soorten
beslissingen onderscheiden.
Wanneer we het voorspellingsmoment (vandaag) – het testmoment – en het toets moment
(morgen) – het criterium - in het kwadrant zetten, dan leidt dat tot een besliskundematrix.
FN VP
Ja
VN FP
Nee
Nee Ja
VP: Valid (waar) Positive (positief). De voorspelling was positief en bleek later ook waar te
zijn.
FP: False (niet waar) Positive (positief)
FN: False (niet waar) Negative (negatief)
VN: Valid (waar) Negative (negatief)
De kwaliteit van het voorspellend vermogen van een instrument of een voorspeller kan je
uitdrukken in een getal, weerman A heeft bijvoorbeeld 80% valide voorspellingen gedaan en
20% verkeerde.
1.2 Correlaties
Correlatiecoëfficiënt: een getal tussen de 0 en 1.00 dat de sterkte van de relatie tussen twee
variabelen aangeeft.
,Perfecte correlatie: alle meetpunten liggen op exact dezelfde rechte lijn -> in de
natuurkunde.
Niet-perfecte correlatie: puntenwolk -> in de menswetenschappen.
De platheid of bolheid van een puntenwolk kunnen we in een getal uitdrukken, namelijk de
correlatiecoëfficiënt: hoe boller de ellips hoe lager de correlatiecoëfficiënt.
o 1.00: strakke lijn
o 0.00: totaal geen relatie tussen twee variabelen
1.3 Fouten in ons beoordelingsvermogen
De sociale psychologie heeft ons gewezen op structurele mankementen in de manier waarop
we tot inschattingen en voorspellingen komen.
Meest voorkomende fouten:
1. Verstandige fouten: als een hert geritsel in de bosjes hoort, moet het de afweging
maken of het de wind is of een leeuw. In zo’n geval is een FN dodelijk, terwijl een FP
alleen een nutteloze renpartij kost. Niet alle fouten zijn dus even kostbaar.
De aftestgrens (de verticale middenlijn van de besliskundematrix) van zo’n hert ligt
dus extreem naar links.
2. Overschattingen van specifieke kansen: de kans dat bepaalde gebeurtenissen zich
voordoen of de kans dat iemand over een bepaalde eigenschap beschikt, wordt soms
verkeerd ingeschat.
3. Beschikbaarheidsheuristiek (availability heuristiek): van dingen waarover we snel
voorbeelden uit ons geheugen kunnen opdiepen, denken we ook dat ze vaker
voorkomen.
4. Regressie naar het gemiddelde: beoordelaars kunnen in een valkuil stappen doordat
ze geen rekening houden met de regressie naar het gemiddelde (effect van spontaan
herstel).
Extreme scores vallen meer op en wegen dus zwaarder mee.
5. Eerste en laatste indruk: we onthouden het best wat er aan het begin en het einde
gebeurt. (begin: fris en alert, einde: recent)
Primacy- en recency- effect
6. Voorbarige reductie van cognitieve dissonantie: mensen worden op een zeer
krachtige manier gedreven door een streven ideeën onderling en ideeën en hun
acties met elkaar in overeenstemming te houden.
Cognitieve dissonantie-reductietheorie
7. Horn- en halo-effecten: we zoeken naar een logisch samenhangend beeld.
Halo-effect: op basis van een aantal positieve zaken die we van iemand hebben
gezien nemen we aan dat die op andere vlakken ook bijzonder zal presteren. Horn
effect: vise versa.
1.4 Remedies tegen beoordelingsfouten
,Systematische psychodiagnostiek kun je beschouwen als één grote poging om menselijke
beoordelingsfouten tegen te gaan.
Menselijke beoordelingsproces in rechte banen leiden:
- Contrary evidence: als jij je mening vormt en je juist naar tegenbewijs opzoek gaat ->
lukt je dit dan moet je je mening bijstellen. In de wetenschapsfilosofie heet dit
falsificatie: je bedenkt experimenten die op een wetenschappelijke manier
onderuitgehaald kunnen worden.
- Multi-rater-methode: meerdere personen inschakelen om tot een eindoordeel te
komen.
Hoofdstuk 2 Kenmerken en kwaliteitseisen aan diagnostische instrumenten
2.1 Drie soorten diagnostische instrumenten
Wetenschappelijk onderbouwde methoden en instrumenten.
Drie diagnostische instrumenten:
- Interviewtechnieken
- Psychologische testen
- Observatiemethoden
De gouden drie: komen in allerlei vormen voor -> van sterk gestructureerd tot volledig
ongestructureerd.
2.2 wat maakt een test een goede test
COTAN- gecertificeerde testen: COTAN is een kwaliteitskeurmerk voor psychologische testen
dat is afgegeven door het NIP, de beroepsorganisatie van psychologen.
Goede testen:
1. Een professionele test wordt geconstrueerd uit een wetenschappelijke achtergrond.
2. Schalen zijn homogeen en zuiver.
3. Er is onderzoek gedaan naar de betrouwbaarheid en validiteit van de test.
4. De wijze waarop de test moet worden afgenomen is precies omschreven en in hoge
mate gestandaardiseerd.
5. Testscores moeten met voldoende grote en representatieve normgroepen
vergeleken worden.
6. Er is onderzoek gedaan naar meetpretenties.
Toegepast psycholoog of hrm: testgebruiker
Academisch psycholoog: testconstructeur
2.2.1 het wetenschappelijke fundament van diagnostische instrumenten
Wetenschappelijke en niet-wetenschappelijke ideeën hoeven inhoudelijk helemaal niet
zoveel van elkaar te verschillen, maar de manier waarop de ideeën tot stand zijn gekomen
en hoe ze verder evalueren is vaak wel scherp te onderscheiden.
Wetenschappelijk denken:
- Je mening is altijd een voorlopige mening.
- De wetenschap is een nooit eindigende discussie waarbij op basis van harde feiten
ideeën geaccepteerd of verworpen worden.
, Persoonlijkheidstheorie het Big 5-model: persoonlijkheidseigenschappen zijn teruggebracht
tot vijf basisdimensies: extraversie, altruïsme, consciëntieusheid, openheid en neuroticisme.
(Verderop meer)
2.2.2 gebruik van zuivere, homogene constructen
Factoranalyse: een methode om via een statistische benadering patronen en samenhang in
grote complexe hoeveelheden informatie te ontdekken.
Factor: bestaat uit items die allemaal hoog met elkaar correleren, dus eigenlijk allemaal
hetzelfde meten.
Met behulp van factoranalyse vinden we factoren.
Schalen en vragenlijsten zijn terug te voeren tot één gemeenschappelijke factor, zo’n schaal
noemen we dan zuiver of homogeen.
Big Data: de beperkingen van de menselijke geest worden in een hoog tempo
voorbijgestreefd door geavanceerde computers die zeer grote factoranalyses aankunnen.
2.2.2 betrouwbaarheid
Betrouwbaarheid: een intern kenmerk van een test of meetmethode.
Validiteit: de mate waarin een test aan zijn doel beantwoord. Validiteit is het belangrijkst en
bepaalt de finale waarde van een meetmethode.
De mate van betrouwbaarheid geeft aan wat het plafond van de validiteit van een
instrument kan zijn.
Betrouwbaarheid heeft dus betrekking op de afwezigheid van storende factoren die het
meetproces kunnen vertroebelen -> afwezigheid van ruis.
Methoden om in te schatten hoeveel ruis er is en hoe groot de invloed daarvan is:
- Normaalverdeling
o Gemiddelde = M
o Standaarddeviatie = SD. Deze kan veranderen per eigenschap.
Bij eenmalige metingen neem je altijd een foutmarge in acht. We gaan daarbij uit van de
aanname dat de score van de cliënt eenzelfde spreiding heeft als die van andere cliënten die
we eerder onderzocht hebben en waarvan we de spreiding berekend hebben.
Vier manieren om betrouwbaarheid van een instrument te meten:
1. Goede testen worden gekenmerkt door homogeniteit of zuiverheid. Dit betekent dat
alle items van de schaal -bijvoorbeeld extraversie- daadwerkelijk dit meet en
onderling hoog correleert.
Matrix: N (N-1):2
5 items -> 5x5 = 25 items -> -5 (elk item correleert volledig met zichzelf) ->
gedeeld door twee (correlatie van item 3 en 5 is hetzelfde als die tussen 5 en
3) ->
5(5 – 1):2 = 10
2. Splitsing methode: items worden in twee willekeurige groepen verdeeld en
hiertussen wordt de correlatie berekent.
