Hoorcollege 1 – Meten en Testen
Mail:
Diagnostiek Het door en door leren kennen van een situatie met als doel een beslissing te kunnen
nemen, bijvoorbeeld of een kind naar een plusklas kan.
Psychodiagnostiek Onderzoek op het gebied van psychosociaal functioneren
- Betrouwbare en valide beschrijving.
- Mogelijke verklaringen.
Wetenschappelijke diagnostiek (Psychodiagnostiek) is:
- idealiter Herhaalbaar
- idealiter De werkelijkheid.
Inter-rater betrouwbaarheid. Hierbij kan je beter werken met gestandaardiseerde interviews en
tests. De betrouwbaarheid ligt namelijk tussen de 60 en 70%. Wanneer dit niet gestandaardiseerd is,
ligt de betrouwbaarheid tussen de 0 en 50%.
Diagnostische tests
Diagnostiek is moeilijk, want het zijn vaak complexe constructen, er is een beperkte tijd om te
onderzoeken en je hebt vaak een confirmation bias (Neiging om nieuw bewijs te interpreteren als
bevestiging van bestaande overtuiging/ theorie Je had het van tevoren verwacht) en
beschikbaarheidsheuristiek (Neiging om te focussen op alleen die symptomen die verband houden
met hoog prevalente aandoeningen Denkt dat het ADHD is, gaat hierop letten, dat zal het wel
zijn).
De tests moeten:
- Wetenschappelijk verantwoord zijn,
- Betrouwbaar zijn,
- Objectief zijn.
Stappenplan voor een diagnose:
1. Probleemanalyse
2. Classificatie en diagnosestelling
3. Planning behandeling
4. Evaluatie van behandeling
5. Zelfkennis
6. Kennisvergaring wetenschappelijk onderzoek.
Hoofddoelen: Intelligentie in kaart brengen (IQ), aanleg (ergens goed in), prestatie (hoe goed kan),
creativiteit (divergent denken), persoonlijkheid, interesse, gedrag, neuropsychologie/ cognitie.
Belangrijke vaardigheid: op de hoogte zijn van psychometrische waarde en op ethische manier
inzetten.
Gevaar testgebruik Tests steeds grotere rol in maatschappij, mentale eigenschappen objectiveren
(kunnen we niet altijd allemaal weten).
- Meet een test wat deze beoogt te meten?, - Hoe en onder welke omstandigheden moet een test
afgenomen te worden?, - Is een verkorte versie van een test (even) betrouwbaar?, - Hoe is de
referentiegroep bepaald?
Kan niet aan de hand van 1 bepaling, een diagnose stellen voor een grotere groep.
1
,Meten en testen
Test gestandaardiseerde procedure voor het nemen van een steekproef van gedrag, beschreven
in categorieën of scores (bijvoorbeeld een IQ test). Elke testscore bevat meetfouten.
X = T + e Test score X = daadwerkelijke score T + meetfout e
Alle instrumenten bevatten meetfouten:
- Veel psychologische/ pedagogische concepten niet perfect gedefinieerd.
- Vragen worden verkeerd gelezen/ geïnterpreteerd (telefoondraad bij 10-jarige).
- Sociaal wenselijk antwoorden/ context.
- Handleiding niet precies gevolgd.
Standaardisatie is belangrijk om de meetfouten te beperken.
Testeigenschappen, standaardisatie:
1. Herhaalbaarheid Je moet steeds tot dezelfde score kunnen komen (mits het construct gelijk
blijft), betrouwbaar
2. Steekproef van gedrag Volledigheid, beperkt aantal items.
3. Gebruik van scores of categorieën
4. Gebruik van norm of standaard Ruwe score, Vergelijking met een afkapwaarde (je kan het wel
of niet) of vergelijking met normgroep (boven de 10 is een probleem).
5. Predictie van non-test gedrag Testscore voorspelt/ beschrijft bepaald gedrag, validiteit (Bepaalt
IQ test studiesucces?.
Testgebruik in Nederland
COTAN Zijn de instrumenten goed genoeg om te kunnen testen om zo een valide uitkomst te
krijgen?, eisen instrumenten.
- Testgebruikers informeren over de kwaliteit van instrumenten
- Testmakers feedback geven over de kwaliteit van hun instrumenten.
Criteria COTAN
1. Uitgangspunten van de testconstructie (Meetpretentie, doelgroep, functie).
2. Standaardisatie (Kwaliteit testmateriaal en duidelijkheid handleiding).
3. Normen (Representatieve vergelijkingsgroep, verschillende opleidingsniveau, doelgroep etc.).
4. Betrouwbaarheid.
5. Validiteit (Representatief naar de werkelijkheid).
Doel: Verantwoordelijk, integer, respectvol en deskundig behandelen.
- Relevant (kort mogelijk afnemen),
- Afname door bevoegden,
- Respect voor psychische en lichamelijke integriteit,
- Geheimhoudingsplicht,
- Informatieplicht naar cliënt,
- Onafhankelijk en objectief oordeel.
2
,Hoorcollege 3 – Betrouwbaarheid
Definitie betrouwbaarheid
Implicaties van onderzoeksresultaten voor individuele testscores, wat betekent het voor de persoon
waar jij onderzoek over doet.
Klassieke test theorie: ‘Theorie van ware scores en meetfouten’ X = T + e
De betrouwbaarheid wordt gemeten met een score tussen 0 en 1 (relatie tussen scores op een test
bij herhaalde afname). Je kijkt dus tussen de gelijkwaardigheid van verschillende testen. Het
construct moet dus zo gelijk mogelijk blijven Verhouding tussen daadwerkelijk gedrag T en
testscore X
Meetfouten
Door meetfouten kan een score verschillen.
X > T e is positief.
- Bijvoorbeeld doordat je enthousiast wordt gemaakt door een psycholoog.
X<T e is negatief.
- Bijvoorbeeld door een psycholoog die erg negatief is.
X is altijd een benadering van de testscore T.
Bronnen van meetfouten kan komen door:
- Daadwerkelijk verschil (kind ander gedrag op school dan thuis). Gedrag = situationeel
- Meetfouten Item selectie (neemt niet gehele gedrag mee, maar steekproef van gedrag, zou
kunnen dat deze niet goed geselecteerd zijn). Testafname (proefpersoon, proefleider, omgeving).
Testscore (MC, makkelijker te zien, vs open vragen, semigestructureerd). Systematische fouten =
es (een fout in een handleiding).
Systematische fouten = es Een systematische fout is altijd positief of negatief. Een score kan dus
hoger zijn of lager zijn. Zo’n fout geldt voor iedereen en is bij iedereen waarschijnlijk hetzelfde. Er
kan dus nooit uitgemiddeld worden tot 0. Fout in testconstructie/ inconsistentie van construct.
Maat voor validiteit (meten wat je wilt meten)
Niet-systematische meetfout = eu Random, kunnen zowel positief als negatief zijn. Is voor
iedereen een beetje anders. Gemiddelde meetfout = 0, want het kan alle kanten opgaan. Moet hier
wel genoeg aantal mensen voor toetsen. Geen samenhang met T (achtergrondgeluiden bij IQ test
zullen geen lagere of hogere score geven).
Maat voor betrouwbaarheid (hoe herhaalbaar is het onderzoek).
Klassieke testtheorie
Nut = Theorie van ware score en meetfouten. Overeenkomst ware score T en gemeten score X.
Schatting meetfout e. Deze zou je moeten minimaliseren en daarom gaat de klassieke testtheorie
over de niet-systematische meetfout. De systematische fout is er dus niet.
Uiteindelijk kan je het betrouwbaarheidsinterval bepalen.
Meetfouten zijn niet gerelateerd aan T, niet gerelateerd aan elkaar en zijn normaal verdeeld.
Meetfout Variabiliteit van geobserveerde scores, variantie.
3
, Gebruikt voor
betrouwbaarheidsinterval
In algehele populatie: (gaat niet heel Nederland testen, maar een steekproef van een
interessegroep)
- µ Gemiddelde populatie - M Gemiddelde steekproef
- σ Standaarddeviatie populatie - SD Standaarddeviatie steekproef
- σ2 Variantie populatie - SD2 Variantie steekproef
Dit zijn reflecties van een percentage wat binnen dat gedeelte valt.
Midden is het gemiddelde. 1 standaarddeviatie naar de
zijkant.
Kijkt naar het gemiddelde,
uitgedrukt in
standaarddeviatie. Meetfout is normaal
verdeeld.
Kijk naar het rode stuk: 68.2% van testscores X heeft meetfout e van max 1 SDe boven of onder T.
Kijk naar het groene stuk: 95.4% van testscores X heeft meetfout e van max 2 SDe boven of onder T.
Kijk naar het blauwe stuk: 99.7% van testscores X heeft meetfout e van max 3 SDe boven of onder T.
Gemiddelde (random) meetfout e = 0
- X = T + e µX + µ T + 0
Gemiddelde testscore X = Gemiddelde ware score T
Variabiliteit van testscore
- Variantie in testscores X = Variantie ware scores T + Variantie meetfout e
X = T + e σ2X = σ2T + σ2e
V O O R B E E L D: T = 60 kg
Gewicht: 57,8 – 62,5 e =0
- na 1000x :60kg, SD = 1 Variantie van e = σ2, dus SD2
SD = 1, dus SD 2 = 1
Betrouwbaarheid = mate van consistentie over metingen (r).
Verhoudingen: daadwerkelijk gedrag T/ testscore X.
Des te meer de geobserveerde score uit jouw test en de daadwerkelijke test van de persoon, bij
elkaar liggen, hoe hoger de betrouwbaarheid. (T nadert X hogere r)
4
, VOORBEELD:
- Testscore = 16
- Ware score = 15 15/16 = 0,9375 = reability
T
Dit bereken je door: r = , waarbij T= ware score en X = testscore
X
Variantie testscore door variantie in ware score en variantie in meetfout:
σ2X = Variantie testscore X
σ2T = Variantie ware score T
σ2e = Variantie meetfout e
Dus betrouwbaarheidscoëfficiënt:
T
r= , waarbij r = betrouwbaarheid, T= ware score en X = testscore
X
σ 2T
rxx= , waarbij rxx = betrouwbaarheid testscore X, σ2T = variantie ware score en σ2X =
σ2 X
variantie testscore X
o ‘σ2X = σ2T + σ2e’ is hetzelfde.
σ 2T
rxx=
σ 2T +σ 2 X
Belang - Betrouwbaarheid en meetfout statistisch gerelateerd,
- Verschillende manieren betrouwbaarheid schatten (schatting van de meetfout).
Implicaties (on)betrouwbaarheid
4 schalen voor gedragsproblemen bij kinderen:
- Aandachtsproblemen
- Hyperactiviteit Bij een score van hoger dan 18, zijn er problemen
- Opstandig gedrag op dat gebied.
- Agressief gedrag Bijvoorbeeld: Aandachtsproblemen = 20, hier
heeft het kind dus problemen.
Als je een kind bijvoorbeeld door wilt verwijzen naar een arts, moet je kijken naar de
betrouwbaarheid van je onderzoek. Is de betrouwbaarheid bijvoorbeeld 1.0, is het erg betrouwbaar,
maar een score van 0.2 dus niet.
Echter, er is meer info nodig dan testscore!
Testscore bestaat uit ware score + meetfout. Je moet dus de betrouwbaarheid en de meetfout
weten.
Maar hoe schat je deze?
Schatten van betrouwbaarheid
Lineaire samenhang tussen 2 factoren:
Tussen -1,0 en + 1,0 Hierbij is er een duidelijke lijn te zien.
Bij 0 geen samenhang Hierbij liggen de punten random en is er lastig een lijn te trekken.
5
Mail:
Diagnostiek Het door en door leren kennen van een situatie met als doel een beslissing te kunnen
nemen, bijvoorbeeld of een kind naar een plusklas kan.
Psychodiagnostiek Onderzoek op het gebied van psychosociaal functioneren
- Betrouwbare en valide beschrijving.
- Mogelijke verklaringen.
Wetenschappelijke diagnostiek (Psychodiagnostiek) is:
- idealiter Herhaalbaar
- idealiter De werkelijkheid.
Inter-rater betrouwbaarheid. Hierbij kan je beter werken met gestandaardiseerde interviews en
tests. De betrouwbaarheid ligt namelijk tussen de 60 en 70%. Wanneer dit niet gestandaardiseerd is,
ligt de betrouwbaarheid tussen de 0 en 50%.
Diagnostische tests
Diagnostiek is moeilijk, want het zijn vaak complexe constructen, er is een beperkte tijd om te
onderzoeken en je hebt vaak een confirmation bias (Neiging om nieuw bewijs te interpreteren als
bevestiging van bestaande overtuiging/ theorie Je had het van tevoren verwacht) en
beschikbaarheidsheuristiek (Neiging om te focussen op alleen die symptomen die verband houden
met hoog prevalente aandoeningen Denkt dat het ADHD is, gaat hierop letten, dat zal het wel
zijn).
De tests moeten:
- Wetenschappelijk verantwoord zijn,
- Betrouwbaar zijn,
- Objectief zijn.
Stappenplan voor een diagnose:
1. Probleemanalyse
2. Classificatie en diagnosestelling
3. Planning behandeling
4. Evaluatie van behandeling
5. Zelfkennis
6. Kennisvergaring wetenschappelijk onderzoek.
Hoofddoelen: Intelligentie in kaart brengen (IQ), aanleg (ergens goed in), prestatie (hoe goed kan),
creativiteit (divergent denken), persoonlijkheid, interesse, gedrag, neuropsychologie/ cognitie.
Belangrijke vaardigheid: op de hoogte zijn van psychometrische waarde en op ethische manier
inzetten.
Gevaar testgebruik Tests steeds grotere rol in maatschappij, mentale eigenschappen objectiveren
(kunnen we niet altijd allemaal weten).
- Meet een test wat deze beoogt te meten?, - Hoe en onder welke omstandigheden moet een test
afgenomen te worden?, - Is een verkorte versie van een test (even) betrouwbaar?, - Hoe is de
referentiegroep bepaald?
Kan niet aan de hand van 1 bepaling, een diagnose stellen voor een grotere groep.
1
,Meten en testen
Test gestandaardiseerde procedure voor het nemen van een steekproef van gedrag, beschreven
in categorieën of scores (bijvoorbeeld een IQ test). Elke testscore bevat meetfouten.
X = T + e Test score X = daadwerkelijke score T + meetfout e
Alle instrumenten bevatten meetfouten:
- Veel psychologische/ pedagogische concepten niet perfect gedefinieerd.
- Vragen worden verkeerd gelezen/ geïnterpreteerd (telefoondraad bij 10-jarige).
- Sociaal wenselijk antwoorden/ context.
- Handleiding niet precies gevolgd.
Standaardisatie is belangrijk om de meetfouten te beperken.
Testeigenschappen, standaardisatie:
1. Herhaalbaarheid Je moet steeds tot dezelfde score kunnen komen (mits het construct gelijk
blijft), betrouwbaar
2. Steekproef van gedrag Volledigheid, beperkt aantal items.
3. Gebruik van scores of categorieën
4. Gebruik van norm of standaard Ruwe score, Vergelijking met een afkapwaarde (je kan het wel
of niet) of vergelijking met normgroep (boven de 10 is een probleem).
5. Predictie van non-test gedrag Testscore voorspelt/ beschrijft bepaald gedrag, validiteit (Bepaalt
IQ test studiesucces?.
Testgebruik in Nederland
COTAN Zijn de instrumenten goed genoeg om te kunnen testen om zo een valide uitkomst te
krijgen?, eisen instrumenten.
- Testgebruikers informeren over de kwaliteit van instrumenten
- Testmakers feedback geven over de kwaliteit van hun instrumenten.
Criteria COTAN
1. Uitgangspunten van de testconstructie (Meetpretentie, doelgroep, functie).
2. Standaardisatie (Kwaliteit testmateriaal en duidelijkheid handleiding).
3. Normen (Representatieve vergelijkingsgroep, verschillende opleidingsniveau, doelgroep etc.).
4. Betrouwbaarheid.
5. Validiteit (Representatief naar de werkelijkheid).
Doel: Verantwoordelijk, integer, respectvol en deskundig behandelen.
- Relevant (kort mogelijk afnemen),
- Afname door bevoegden,
- Respect voor psychische en lichamelijke integriteit,
- Geheimhoudingsplicht,
- Informatieplicht naar cliënt,
- Onafhankelijk en objectief oordeel.
2
,Hoorcollege 3 – Betrouwbaarheid
Definitie betrouwbaarheid
Implicaties van onderzoeksresultaten voor individuele testscores, wat betekent het voor de persoon
waar jij onderzoek over doet.
Klassieke test theorie: ‘Theorie van ware scores en meetfouten’ X = T + e
De betrouwbaarheid wordt gemeten met een score tussen 0 en 1 (relatie tussen scores op een test
bij herhaalde afname). Je kijkt dus tussen de gelijkwaardigheid van verschillende testen. Het
construct moet dus zo gelijk mogelijk blijven Verhouding tussen daadwerkelijk gedrag T en
testscore X
Meetfouten
Door meetfouten kan een score verschillen.
X > T e is positief.
- Bijvoorbeeld doordat je enthousiast wordt gemaakt door een psycholoog.
X<T e is negatief.
- Bijvoorbeeld door een psycholoog die erg negatief is.
X is altijd een benadering van de testscore T.
Bronnen van meetfouten kan komen door:
- Daadwerkelijk verschil (kind ander gedrag op school dan thuis). Gedrag = situationeel
- Meetfouten Item selectie (neemt niet gehele gedrag mee, maar steekproef van gedrag, zou
kunnen dat deze niet goed geselecteerd zijn). Testafname (proefpersoon, proefleider, omgeving).
Testscore (MC, makkelijker te zien, vs open vragen, semigestructureerd). Systematische fouten =
es (een fout in een handleiding).
Systematische fouten = es Een systematische fout is altijd positief of negatief. Een score kan dus
hoger zijn of lager zijn. Zo’n fout geldt voor iedereen en is bij iedereen waarschijnlijk hetzelfde. Er
kan dus nooit uitgemiddeld worden tot 0. Fout in testconstructie/ inconsistentie van construct.
Maat voor validiteit (meten wat je wilt meten)
Niet-systematische meetfout = eu Random, kunnen zowel positief als negatief zijn. Is voor
iedereen een beetje anders. Gemiddelde meetfout = 0, want het kan alle kanten opgaan. Moet hier
wel genoeg aantal mensen voor toetsen. Geen samenhang met T (achtergrondgeluiden bij IQ test
zullen geen lagere of hogere score geven).
Maat voor betrouwbaarheid (hoe herhaalbaar is het onderzoek).
Klassieke testtheorie
Nut = Theorie van ware score en meetfouten. Overeenkomst ware score T en gemeten score X.
Schatting meetfout e. Deze zou je moeten minimaliseren en daarom gaat de klassieke testtheorie
over de niet-systematische meetfout. De systematische fout is er dus niet.
Uiteindelijk kan je het betrouwbaarheidsinterval bepalen.
Meetfouten zijn niet gerelateerd aan T, niet gerelateerd aan elkaar en zijn normaal verdeeld.
Meetfout Variabiliteit van geobserveerde scores, variantie.
3
, Gebruikt voor
betrouwbaarheidsinterval
In algehele populatie: (gaat niet heel Nederland testen, maar een steekproef van een
interessegroep)
- µ Gemiddelde populatie - M Gemiddelde steekproef
- σ Standaarddeviatie populatie - SD Standaarddeviatie steekproef
- σ2 Variantie populatie - SD2 Variantie steekproef
Dit zijn reflecties van een percentage wat binnen dat gedeelte valt.
Midden is het gemiddelde. 1 standaarddeviatie naar de
zijkant.
Kijkt naar het gemiddelde,
uitgedrukt in
standaarddeviatie. Meetfout is normaal
verdeeld.
Kijk naar het rode stuk: 68.2% van testscores X heeft meetfout e van max 1 SDe boven of onder T.
Kijk naar het groene stuk: 95.4% van testscores X heeft meetfout e van max 2 SDe boven of onder T.
Kijk naar het blauwe stuk: 99.7% van testscores X heeft meetfout e van max 3 SDe boven of onder T.
Gemiddelde (random) meetfout e = 0
- X = T + e µX + µ T + 0
Gemiddelde testscore X = Gemiddelde ware score T
Variabiliteit van testscore
- Variantie in testscores X = Variantie ware scores T + Variantie meetfout e
X = T + e σ2X = σ2T + σ2e
V O O R B E E L D: T = 60 kg
Gewicht: 57,8 – 62,5 e =0
- na 1000x :60kg, SD = 1 Variantie van e = σ2, dus SD2
SD = 1, dus SD 2 = 1
Betrouwbaarheid = mate van consistentie over metingen (r).
Verhoudingen: daadwerkelijk gedrag T/ testscore X.
Des te meer de geobserveerde score uit jouw test en de daadwerkelijke test van de persoon, bij
elkaar liggen, hoe hoger de betrouwbaarheid. (T nadert X hogere r)
4
, VOORBEELD:
- Testscore = 16
- Ware score = 15 15/16 = 0,9375 = reability
T
Dit bereken je door: r = , waarbij T= ware score en X = testscore
X
Variantie testscore door variantie in ware score en variantie in meetfout:
σ2X = Variantie testscore X
σ2T = Variantie ware score T
σ2e = Variantie meetfout e
Dus betrouwbaarheidscoëfficiënt:
T
r= , waarbij r = betrouwbaarheid, T= ware score en X = testscore
X
σ 2T
rxx= , waarbij rxx = betrouwbaarheid testscore X, σ2T = variantie ware score en σ2X =
σ2 X
variantie testscore X
o ‘σ2X = σ2T + σ2e’ is hetzelfde.
σ 2T
rxx=
σ 2T +σ 2 X
Belang - Betrouwbaarheid en meetfout statistisch gerelateerd,
- Verschillende manieren betrouwbaarheid schatten (schatting van de meetfout).
Implicaties (on)betrouwbaarheid
4 schalen voor gedragsproblemen bij kinderen:
- Aandachtsproblemen
- Hyperactiviteit Bij een score van hoger dan 18, zijn er problemen
- Opstandig gedrag op dat gebied.
- Agressief gedrag Bijvoorbeeld: Aandachtsproblemen = 20, hier
heeft het kind dus problemen.
Als je een kind bijvoorbeeld door wilt verwijzen naar een arts, moet je kijken naar de
betrouwbaarheid van je onderzoek. Is de betrouwbaarheid bijvoorbeeld 1.0, is het erg betrouwbaar,
maar een score van 0.2 dus niet.
Echter, er is meer info nodig dan testscore!
Testscore bestaat uit ware score + meetfout. Je moet dus de betrouwbaarheid en de meetfout
weten.
Maar hoe schat je deze?
Schatten van betrouwbaarheid
Lineaire samenhang tussen 2 factoren:
Tussen -1,0 en + 1,0 Hierbij is er een duidelijke lijn te zien.
Bij 0 geen samenhang Hierbij liggen de punten random en is er lastig een lijn te trekken.
5
