Samenvatting Psychometrie & Besliskunde
College 1: introductie
Psychometrie en besliskunde; wat houdt dat in?
Besliskunde; onderzoek naar de kwaliteit van oordelen en beslissingen en
beslisproces; descriptief, normatief en prescriptief
Psychometrie; onderzoek naar kwaliteit van meetinstrumenten door het
analyseren van antwoorden van personen
Kwaliteit klinische oordelen en beslissingen (bij; interpretatie onderzoek, diagnosticeren,
keuze behandeling)
Constructie van een meetinstrument komt hier niet expliciet aan bod (zie AV2).
Drie hoofdvragen;
Betrouwbaarheid; hoe goed/nauwkeurig meet ik? Herhaalbaarheid?
Validiteit; wat meet ik? Meet ik het goede?
Normativiteit; interpreteer ik uitkomsten op de juiste wijze en neem ik de juiste
beslissing?
Opzet cursus
Blok 1 psychometrie en besliskunde
o Inleiding
o Besliskunde
o COTAN
Blok 2 itemanalyse
o Analyse toetsitems
o Analyse testitems
o Scoretransformaties en scoreverdelingen
Blok 3 betrouwbaarheid
o Meettheorieën
o Bepalen betrouwbaarheid
o Bepalen interbeoordelaarsovereenstemming
Blok 4 validiteit & interpretatie
o Soorten
Inhoudsvaliditeit
Begripsvaliditeit
Criteriumvaliditeit
o Interpretatie scores
Normtabellen
Betrouwbaarheidsintervallen
Meten van verandering
Besliskunde geeft reden voor psychometrie
Psychometrie is nodig om beter te kunnen beslissen, want het blijkt dat mensen dat uit
zichzelf niet goed kunnen. Dat inzicht volgt uit psychologische besliskunde.
,Besliskunde laat zien wat mensen moeilijk vinden, door hun beslissingen te beschrijven en te
vergelijken met normen, en ontwikkelt denkhulpmiddelen. Professionals die gebruik maken
van instrumenten kunnen beter beslissen.
Besliskunde; 3 benaderingen
Descriptief; beschrijven wat mensen doen. Hoe oordelen/beslissen mensen. Gaat
zowel om de uitkomsten van het beoordelingsproces, maar ook over hoe komen
ze tot die beslissingen.
Normatief; aangeven hoe het zou moeten. Wat zijn de juiste beste beoordelingen
zijn.
Prescriptief; recepten om norm te benaderen.
Psychologische besliskunde
Mensen maken bij oordelen en beslissen systematisch fouten - daar zijn plausibele redenen
voor.
Onderwijs van beschrijvende besliskunde (descriptieve benadering). Vastgesteld d.m.v.
empirisch onderzoek, in onder meer de 'heuristics and biases' traditie. Men dacht toen dat
mensen zouden beslissen op basis van de best verwachte waarde.
Empirische bevindingen
Het is voor mensen moeilijk veel informatie en veelsoortige informatie te integreren, dus men
laat een deel van de informatie buiten beschouwing gebruik heuristieken (= cognitieve
vereenvoudingtechnieken). Ze maken selectief gebruik van informatie, is een effectieve
denkvorm. Ze zijn praktisch efficiënt. Heuristieken zijn op ervaring gebaseerde vuistregels.
De bekendste heuristieken;
Representativiteit
Beschikbaarheid (availability)
Verankering en Aanpassing
Heuristieken gebruiken is slim en efficiënt – je slaat over wat belangrijk lijkt – maar juist door
dat overslaan is het ook riskant – misschien was het wèl belangrijk! Je bent vatbaar voor
‘biases’ = systematische vertekeningen.
Er zijn manieren om dat te verhelpen;
Stap 1 is zich daar bewust van zijn. Dit is cruciaal bij bijv.;
- Interpreteren van onderzoeksresultaten
- Beoordelen van tests
- Stellen van diagnose
- Keuze van behandeling
Representativiteitsheuristiek; beoordelen van waarschijnlijkheid dat A een B is op basis van
de gelijkenis van A met B's; hoe representatief lijkt A voor de populatie B's?
Vb. Linda; 20-jarige student houdt van feestjes geven en op stap gaan. Optie A Linda doet
opleiding PWO. Optie B Linda doet de opleiding PWO en is actief lid van Postelein.
Antwoord A is juist. 90% van de mensen doet dit verkeerd. B is nooit groter dan A.
, 'Conjunction Fallacy'.
Representativiteit- en dus?
Gebruik van de representativiteitsheuristiek kijkt niet naar 'base rate' informatie ('base rate
neglect'); frequentie van voorkomen van verschijnsel (één vs twee eigenschappen). Is wel
relevante informatie leidt tot fouten. Bekijk ook alternatieve mogelijkheid!
Bijv. A is een rusteloos kind - lijkt op B's; ADHD kinderen.
Beschikbaarheidsheuristiek; informatie die het meest beschikbaar is (het makkelijkst
herinnerd, toegankelijk, levendig) wordt gebruikt.
Bijv. door aandacht in de media, is de classificatie ADHD nu beschikbaar en wordt die aan
veel kinderen gegeven.
Wat voor jou beschikbaar is, is toevallig, het hangt van persoonlijke ervaringen kán correct
zijn, maar zeker is dat niet. Subjectieve (niet objectieve) oordelen, verkeerde kans
inschattingen.
Verankering en Aanpassing; onvoldoende afwijken van beginwaarde.
Vb. aan een groep studenten is gevraagd of ze een rekensom wilden schatten, niet uitrekenen.
De ene groep kreeg; 1x2x3x4x5x6x7x8=? Andere groep krijgt 8x7x6x5x4x3x2x1=? Het is
dezelfde som, met dezelfde uitkomst. 1e groep kwam uit op gemiddelde van 512. De 2e groep
kwam gemiddeld uit op 2250. De beginwaarde maakt dus aanzienlijk veel uit. Het
daadwerkelijke antwoord is 40.320. Er is dus onvoldoende aanpassing na begin (anker), het
probleem is niet per se het verankeren zelf.
Verankering - en dus?
Oordeel wordt beïnvloed door toevallig beginpunt. Kán terecht zijn, maar hangt af van de
juistheid beginpunt en mate van aanpassing, aanpassing blijkt vaak onvoldoende.
Klinisch voorbeeld; verwijsbrief waarin diagnose wordt gesuggereerd kan als anker dienen
(Spaanjaars et al, 2015). Huisarts geeft verwijsbrief van of angst of depressie. De
onderzoekers waren geneigd om dan datgene te diagnosticeren wat in de verwijsbrief stond.
In de reclame wordt gebruik gemaakt van verankeringseffect. Om deze beginsuggestie te
voorkomen moet je goed geïnformeerd zijn.
Meer bevindingen…
Confirmation bias; zoeken naar bevestigende informatie
Hindsight bias; achteraf, met kennis, lijken uitkomsten voorspelbaarder dan ze
waren. Koppel gaat scheiden, iemand zegt ja dat had ik wel zien aankomen.
Maar als je het een paar jaar eerder zou hebben gevraagd zouden ze het veel
minder goed kunnen voorspellen.
Illusory correlation; zien van verbanden die niet bestaan. Dit kan leiden tot
vooroordelen.
Overconfidence; meer en overmatig overtrouwen met meer ervaring, meer
informatie. Zowel ervaring als hoeveelheid informatie hangt niet samen met hoe
, vaak professionals het juist hebben. Dit vertrouwen is dus onterecht. Dit
vertrouwen wordt versterkt door bovenstaande biases.
Clinici's beslisprocessen
Het is belangrijk cognitieve processen van clinici te bestuderen, ten behoeve van
Controle kwaliteit
Begrijpen van klinische praktijk
Training
Ondersteunende computerprogramma's
Prescripties (± recepten, protocollen)
Clinici's beslisprocessen descriptief
In elke fase van het diagnostische proces;
1. Onderkennen (wat is het probleem?)
2. Verklaren (hoe kun je dit verklaren?)
3. Indicatiestelling (wat kun je eraan doen? Wat gebeurt er als we niets doen en wat
gebeurt er als we wel iets doen?)
Gebruiken clinici - noodgedwongen- heuristieken, en komen er dus mogelijk biases
(vertekeningen, fouten) voor.
1. Onderkennen/classificeren
a. Kan het beste met (semi)gestructureerde interviews, maar die
gebruiken clinici niet altijd - ze vragen naar wat bij hun beeld (hun
interne 'anker') past, kijken niet breder. Zonder zo'n gestructureerd
interview, identificeer je minder stoornissen en blijkt de
overeenstemming van de classificaties een stuk lager.
b. Zien (met name co-morbide) stoornissen over het hoofd
c. Lage overstemming (dus subjectief)
2. Verklaren
a. Heel moeilijk - erg lage betrouwbaarheid en validiteit - want
i. Vaak gebaseerd op wat cliënt zegt, maar weet die het
(nog) wel goed?
ii. Vaak niet gesteund door empirisch onderzoek maar
gebaseerd op informele observaties en wat
'beschikbaar' is
iii. Oorzaken van gedrag moeilijk te kennen, complex
b. Wel haalbaar is plausibele verklaring (te bedenken) waar therapeut
en cliënt het over een zijn. Kan behulpzaam zijn in het
hulpverleningsproces.
3. Indicatiestellen
a. Moeilijk want 'treatment utility' van diagnostiek is nog niet
duidelijk, dus onzeker op basis waarvan welke behandeling te
indiceren
b. Er komen steeds meer 'evidence-based treatment recommendations',
maar vaak worden die niet gevolgd- clinici weten beter, voor dit
individu, hebben we eigen behandelingen 'beschikbaar'. Ze gaan uit
van behandelingen die ze gewend zijn te gebruiken etc.
overconfidence en beschikbaarheidsheuristiek.
Clinici's beslisproces normatief
College 1: introductie
Psychometrie en besliskunde; wat houdt dat in?
Besliskunde; onderzoek naar de kwaliteit van oordelen en beslissingen en
beslisproces; descriptief, normatief en prescriptief
Psychometrie; onderzoek naar kwaliteit van meetinstrumenten door het
analyseren van antwoorden van personen
Kwaliteit klinische oordelen en beslissingen (bij; interpretatie onderzoek, diagnosticeren,
keuze behandeling)
Constructie van een meetinstrument komt hier niet expliciet aan bod (zie AV2).
Drie hoofdvragen;
Betrouwbaarheid; hoe goed/nauwkeurig meet ik? Herhaalbaarheid?
Validiteit; wat meet ik? Meet ik het goede?
Normativiteit; interpreteer ik uitkomsten op de juiste wijze en neem ik de juiste
beslissing?
Opzet cursus
Blok 1 psychometrie en besliskunde
o Inleiding
o Besliskunde
o COTAN
Blok 2 itemanalyse
o Analyse toetsitems
o Analyse testitems
o Scoretransformaties en scoreverdelingen
Blok 3 betrouwbaarheid
o Meettheorieën
o Bepalen betrouwbaarheid
o Bepalen interbeoordelaarsovereenstemming
Blok 4 validiteit & interpretatie
o Soorten
Inhoudsvaliditeit
Begripsvaliditeit
Criteriumvaliditeit
o Interpretatie scores
Normtabellen
Betrouwbaarheidsintervallen
Meten van verandering
Besliskunde geeft reden voor psychometrie
Psychometrie is nodig om beter te kunnen beslissen, want het blijkt dat mensen dat uit
zichzelf niet goed kunnen. Dat inzicht volgt uit psychologische besliskunde.
,Besliskunde laat zien wat mensen moeilijk vinden, door hun beslissingen te beschrijven en te
vergelijken met normen, en ontwikkelt denkhulpmiddelen. Professionals die gebruik maken
van instrumenten kunnen beter beslissen.
Besliskunde; 3 benaderingen
Descriptief; beschrijven wat mensen doen. Hoe oordelen/beslissen mensen. Gaat
zowel om de uitkomsten van het beoordelingsproces, maar ook over hoe komen
ze tot die beslissingen.
Normatief; aangeven hoe het zou moeten. Wat zijn de juiste beste beoordelingen
zijn.
Prescriptief; recepten om norm te benaderen.
Psychologische besliskunde
Mensen maken bij oordelen en beslissen systematisch fouten - daar zijn plausibele redenen
voor.
Onderwijs van beschrijvende besliskunde (descriptieve benadering). Vastgesteld d.m.v.
empirisch onderzoek, in onder meer de 'heuristics and biases' traditie. Men dacht toen dat
mensen zouden beslissen op basis van de best verwachte waarde.
Empirische bevindingen
Het is voor mensen moeilijk veel informatie en veelsoortige informatie te integreren, dus men
laat een deel van de informatie buiten beschouwing gebruik heuristieken (= cognitieve
vereenvoudingtechnieken). Ze maken selectief gebruik van informatie, is een effectieve
denkvorm. Ze zijn praktisch efficiënt. Heuristieken zijn op ervaring gebaseerde vuistregels.
De bekendste heuristieken;
Representativiteit
Beschikbaarheid (availability)
Verankering en Aanpassing
Heuristieken gebruiken is slim en efficiënt – je slaat over wat belangrijk lijkt – maar juist door
dat overslaan is het ook riskant – misschien was het wèl belangrijk! Je bent vatbaar voor
‘biases’ = systematische vertekeningen.
Er zijn manieren om dat te verhelpen;
Stap 1 is zich daar bewust van zijn. Dit is cruciaal bij bijv.;
- Interpreteren van onderzoeksresultaten
- Beoordelen van tests
- Stellen van diagnose
- Keuze van behandeling
Representativiteitsheuristiek; beoordelen van waarschijnlijkheid dat A een B is op basis van
de gelijkenis van A met B's; hoe representatief lijkt A voor de populatie B's?
Vb. Linda; 20-jarige student houdt van feestjes geven en op stap gaan. Optie A Linda doet
opleiding PWO. Optie B Linda doet de opleiding PWO en is actief lid van Postelein.
Antwoord A is juist. 90% van de mensen doet dit verkeerd. B is nooit groter dan A.
, 'Conjunction Fallacy'.
Representativiteit- en dus?
Gebruik van de representativiteitsheuristiek kijkt niet naar 'base rate' informatie ('base rate
neglect'); frequentie van voorkomen van verschijnsel (één vs twee eigenschappen). Is wel
relevante informatie leidt tot fouten. Bekijk ook alternatieve mogelijkheid!
Bijv. A is een rusteloos kind - lijkt op B's; ADHD kinderen.
Beschikbaarheidsheuristiek; informatie die het meest beschikbaar is (het makkelijkst
herinnerd, toegankelijk, levendig) wordt gebruikt.
Bijv. door aandacht in de media, is de classificatie ADHD nu beschikbaar en wordt die aan
veel kinderen gegeven.
Wat voor jou beschikbaar is, is toevallig, het hangt van persoonlijke ervaringen kán correct
zijn, maar zeker is dat niet. Subjectieve (niet objectieve) oordelen, verkeerde kans
inschattingen.
Verankering en Aanpassing; onvoldoende afwijken van beginwaarde.
Vb. aan een groep studenten is gevraagd of ze een rekensom wilden schatten, niet uitrekenen.
De ene groep kreeg; 1x2x3x4x5x6x7x8=? Andere groep krijgt 8x7x6x5x4x3x2x1=? Het is
dezelfde som, met dezelfde uitkomst. 1e groep kwam uit op gemiddelde van 512. De 2e groep
kwam gemiddeld uit op 2250. De beginwaarde maakt dus aanzienlijk veel uit. Het
daadwerkelijke antwoord is 40.320. Er is dus onvoldoende aanpassing na begin (anker), het
probleem is niet per se het verankeren zelf.
Verankering - en dus?
Oordeel wordt beïnvloed door toevallig beginpunt. Kán terecht zijn, maar hangt af van de
juistheid beginpunt en mate van aanpassing, aanpassing blijkt vaak onvoldoende.
Klinisch voorbeeld; verwijsbrief waarin diagnose wordt gesuggereerd kan als anker dienen
(Spaanjaars et al, 2015). Huisarts geeft verwijsbrief van of angst of depressie. De
onderzoekers waren geneigd om dan datgene te diagnosticeren wat in de verwijsbrief stond.
In de reclame wordt gebruik gemaakt van verankeringseffect. Om deze beginsuggestie te
voorkomen moet je goed geïnformeerd zijn.
Meer bevindingen…
Confirmation bias; zoeken naar bevestigende informatie
Hindsight bias; achteraf, met kennis, lijken uitkomsten voorspelbaarder dan ze
waren. Koppel gaat scheiden, iemand zegt ja dat had ik wel zien aankomen.
Maar als je het een paar jaar eerder zou hebben gevraagd zouden ze het veel
minder goed kunnen voorspellen.
Illusory correlation; zien van verbanden die niet bestaan. Dit kan leiden tot
vooroordelen.
Overconfidence; meer en overmatig overtrouwen met meer ervaring, meer
informatie. Zowel ervaring als hoeveelheid informatie hangt niet samen met hoe
, vaak professionals het juist hebben. Dit vertrouwen is dus onterecht. Dit
vertrouwen wordt versterkt door bovenstaande biases.
Clinici's beslisprocessen
Het is belangrijk cognitieve processen van clinici te bestuderen, ten behoeve van
Controle kwaliteit
Begrijpen van klinische praktijk
Training
Ondersteunende computerprogramma's
Prescripties (± recepten, protocollen)
Clinici's beslisprocessen descriptief
In elke fase van het diagnostische proces;
1. Onderkennen (wat is het probleem?)
2. Verklaren (hoe kun je dit verklaren?)
3. Indicatiestelling (wat kun je eraan doen? Wat gebeurt er als we niets doen en wat
gebeurt er als we wel iets doen?)
Gebruiken clinici - noodgedwongen- heuristieken, en komen er dus mogelijk biases
(vertekeningen, fouten) voor.
1. Onderkennen/classificeren
a. Kan het beste met (semi)gestructureerde interviews, maar die
gebruiken clinici niet altijd - ze vragen naar wat bij hun beeld (hun
interne 'anker') past, kijken niet breder. Zonder zo'n gestructureerd
interview, identificeer je minder stoornissen en blijkt de
overeenstemming van de classificaties een stuk lager.
b. Zien (met name co-morbide) stoornissen over het hoofd
c. Lage overstemming (dus subjectief)
2. Verklaren
a. Heel moeilijk - erg lage betrouwbaarheid en validiteit - want
i. Vaak gebaseerd op wat cliënt zegt, maar weet die het
(nog) wel goed?
ii. Vaak niet gesteund door empirisch onderzoek maar
gebaseerd op informele observaties en wat
'beschikbaar' is
iii. Oorzaken van gedrag moeilijk te kennen, complex
b. Wel haalbaar is plausibele verklaring (te bedenken) waar therapeut
en cliënt het over een zijn. Kan behulpzaam zijn in het
hulpverleningsproces.
3. Indicatiestellen
a. Moeilijk want 'treatment utility' van diagnostiek is nog niet
duidelijk, dus onzeker op basis waarvan welke behandeling te
indiceren
b. Er komen steeds meer 'evidence-based treatment recommendations',
maar vaak worden die niet gevolgd- clinici weten beter, voor dit
individu, hebben we eigen behandelingen 'beschikbaar'. Ze gaan uit
van behandelingen die ze gewend zijn te gebruiken etc.
overconfidence en beschikbaarheidsheuristiek.
Clinici's beslisproces normatief
