Samenvatting meten en diagnostiek
Hoorcollege 1: Introductie en ethiek
Diagnostiek is het leren van de situatie met als doel een beslissing te kunnen nemen
Betrouwbaarheid: De score die je krijgt is daadwerkelijk de score van het gedrag
Diagnostiek is idealiter herhaalbaar, het maakt niet uit op welke dag je het bijv. meet
Diagnostiek is idealiter de werkelijkheid, het vertelt iets over het gedrag en of diegene jou
aardig vond heeft geen invloed op het resultaat
Diagnostiek als wetenschapsbedrijving
- Verschillende constructen en beperkte tijd
- Confirmation bias; neiging om nieuw bewijs te interpreteren als bevestiging van
bestaande overtuiging
- Beschikbaarheidsheuristiek: neiging om te focussen op de symptomen die verband
houden met een veelvoorkomende aandoening
Test is een gestandaardiseerde procedure voor het nemen van een steekproef van gedrag
moet wetenschappelijk verantwoord zijn, betrouwbaar en objectief beslissing nemen.
Zorgt ervoor dat de examinator de testen elke keer op dezelfde manier afnemen
Meetfouten kunnen komen door:
- De vraag is niet goed gedefineerd
- Vragen worden verkeerd gelezen/geinterpreteerd (dubbele ontkenningen of
subjectief gesteld ‘vaak’)
- Sociaal gewenste antwoorden
- Handleiding niet precies gevolgd
Is de grote van de meetfout te overzien?
Testeigenschappen gestandaardiseerde test (dan heb je zo min mogelijk meetfouten)
1. Herhaalbaarheid: je moet steeds tot dezelfde score komen (zonder dat er training is
geweest) betrouwbaarheid: consistent/herhaalbaar
2. Volledigheid: je kan niet alles uitvragen, maar je moet wel alle relevante dingen
vragen
3. Scores: constructen uitdrukken in getallen
4. Interpretatie scores: je wil de score vergelijken met andere personen.
- Afkapwaarde: boven de 10 is wel depressie, onder de 10 niet
- Vergelijken met normgroep: meer een spectrum; licht, niet of wel depressief
5. Predictie non-test gedrag: testscore voorspelt gedrag in het dagelijks leven en niet
alleen tijdens de test valide: meet een test wat het beoogt te meten?
Testgebruik in Nederland voor controle ethisch:
- Nederlands Instituut van Psychologen: gaat kijken naar of de test afgenomen is door
een bevoegde en voldoet aan de geheimhoudingsplicht, informed consent en een
objectief oordeel geeft. Ethisch?
, - Nederlandse Vereniging van Pedagogen en Onderwijskundigen. Psychometrisch?
Kwaliteitsbewaking
- Registraties
- Heb je wel voldoende opleiding/kennis
- COTAN controle psychometrisch
Commissie Test Aangelegenheden Nederland
- Testgebruikers informeren over kwaliteit van het instrument en feedback geven
- Meetpretentie: waarom is deze test nuttig
- Hoelang kan de test mee en handleiding
- Representatieve vergelijkingsgroep?
- Betrouwbaar en valide?
Er zijn heel veel testen, maar er worden er maar een paar gebruikt
Vroeger waren het vaak meer subjectieve testen (tekenen hoe je je je voelt) nu meer
objectief
Aspecten persoon die invloed hebben op de uitkomst van de test
- Motivatie; wil de proefpersoon een bepaald doel bereiken
- Angst voor testen, minder goede score behalen
- Mogelijke functiebeperkingen, zoals gehoor etc
, Hoorcollege 3: Klassieke testtheorie
Klassieke test theorie (Charles Edward Spearman) Theorie van ware score en meetfouten
- X (testscore) = T (daadwerkelijke score/true score) + e (meetfout/error)
- T is consistent. e is inconsistent
Score tussen 0 en 1:
- Correlatie tussen scores op een test bij herhaalde afname of tussen items van een
test
- Mate waarin scores constant/te reproduceren zijn
- Zegt wat over de verhouding tussen daadwerkelijke gedrag T en testscore X
X > T e is positief, dus je krijgt een hogere testscore dan je daadwerkelijk bent
X < T e is negatief, dus je krijgt een lagere testscore
Bronnen van meetfout:
Daadwerkelijke verschil
- Gedrag: iemand kan bijvoorbeeld zijn baan zijn verloren en daarna de jackpot hebben
gewonnen
Meetfout:
- Itemselectie: je kan niet alles vragen
- Testafname: proefleider heeft een bias
- Testscoring: MC (vaak objectief) en open vragen (vaak subjectief)
Systematische fouten = e s
Niet-systematische fouten = e u
Altijd in dezelfde richting: + of - Random meetfout, door bijvoorbeeld af te
kijken. Zowel + als -
Gemiddelde meetfout is niet gelijk aan 0 Gemiddelde meetfout is gelijk aan 0
Bijvoorbeeld fout in handleiding Geen samenhang met T. Maakt niet uit hoe
depressief je bent. Als je afgeleid bent, komt
er een andere waarde uit
Maat voor validiteit, wel constant maar je Maat voor betrouwbaarheid, beïnvloed de
meet niet wat je wil meten consistentie van het instrument
Meetfouten niet gerelateerd aan elkaar
Normaal verdeeld
Klassieke test theorie vertelt je wat over hoeveel de invloed is van de niet-systematische
meetfout. Systematische meetfouten zijn zelf op te lossen, dus hier niet naar kijken
- In hoeverre komt T overeen met X
Met een normaalverdeling kan je iets zeggen over hoe vaak een bepaalde score voorkomt
- 68% van testscore X heeft meetfout e van max 1 SD boven of onder T. Dus 100 keer
een test afnemen, geeft 68 keer een score tussen -1 SD en +1 SD
Bij een groot genoegen steekproef wordt e = 0, dus X = T
Variantie in testscore x = variantie T + variantie e
Bij een groot genoegen steekproef kan je alsnog SDe berekenen door de SD in het kwadraat
te doen. Het wordt dus niet 0!
Hoorcollege 1: Introductie en ethiek
Diagnostiek is het leren van de situatie met als doel een beslissing te kunnen nemen
Betrouwbaarheid: De score die je krijgt is daadwerkelijk de score van het gedrag
Diagnostiek is idealiter herhaalbaar, het maakt niet uit op welke dag je het bijv. meet
Diagnostiek is idealiter de werkelijkheid, het vertelt iets over het gedrag en of diegene jou
aardig vond heeft geen invloed op het resultaat
Diagnostiek als wetenschapsbedrijving
- Verschillende constructen en beperkte tijd
- Confirmation bias; neiging om nieuw bewijs te interpreteren als bevestiging van
bestaande overtuiging
- Beschikbaarheidsheuristiek: neiging om te focussen op de symptomen die verband
houden met een veelvoorkomende aandoening
Test is een gestandaardiseerde procedure voor het nemen van een steekproef van gedrag
moet wetenschappelijk verantwoord zijn, betrouwbaar en objectief beslissing nemen.
Zorgt ervoor dat de examinator de testen elke keer op dezelfde manier afnemen
Meetfouten kunnen komen door:
- De vraag is niet goed gedefineerd
- Vragen worden verkeerd gelezen/geinterpreteerd (dubbele ontkenningen of
subjectief gesteld ‘vaak’)
- Sociaal gewenste antwoorden
- Handleiding niet precies gevolgd
Is de grote van de meetfout te overzien?
Testeigenschappen gestandaardiseerde test (dan heb je zo min mogelijk meetfouten)
1. Herhaalbaarheid: je moet steeds tot dezelfde score komen (zonder dat er training is
geweest) betrouwbaarheid: consistent/herhaalbaar
2. Volledigheid: je kan niet alles uitvragen, maar je moet wel alle relevante dingen
vragen
3. Scores: constructen uitdrukken in getallen
4. Interpretatie scores: je wil de score vergelijken met andere personen.
- Afkapwaarde: boven de 10 is wel depressie, onder de 10 niet
- Vergelijken met normgroep: meer een spectrum; licht, niet of wel depressief
5. Predictie non-test gedrag: testscore voorspelt gedrag in het dagelijks leven en niet
alleen tijdens de test valide: meet een test wat het beoogt te meten?
Testgebruik in Nederland voor controle ethisch:
- Nederlands Instituut van Psychologen: gaat kijken naar of de test afgenomen is door
een bevoegde en voldoet aan de geheimhoudingsplicht, informed consent en een
objectief oordeel geeft. Ethisch?
, - Nederlandse Vereniging van Pedagogen en Onderwijskundigen. Psychometrisch?
Kwaliteitsbewaking
- Registraties
- Heb je wel voldoende opleiding/kennis
- COTAN controle psychometrisch
Commissie Test Aangelegenheden Nederland
- Testgebruikers informeren over kwaliteit van het instrument en feedback geven
- Meetpretentie: waarom is deze test nuttig
- Hoelang kan de test mee en handleiding
- Representatieve vergelijkingsgroep?
- Betrouwbaar en valide?
Er zijn heel veel testen, maar er worden er maar een paar gebruikt
Vroeger waren het vaak meer subjectieve testen (tekenen hoe je je je voelt) nu meer
objectief
Aspecten persoon die invloed hebben op de uitkomst van de test
- Motivatie; wil de proefpersoon een bepaald doel bereiken
- Angst voor testen, minder goede score behalen
- Mogelijke functiebeperkingen, zoals gehoor etc
, Hoorcollege 3: Klassieke testtheorie
Klassieke test theorie (Charles Edward Spearman) Theorie van ware score en meetfouten
- X (testscore) = T (daadwerkelijke score/true score) + e (meetfout/error)
- T is consistent. e is inconsistent
Score tussen 0 en 1:
- Correlatie tussen scores op een test bij herhaalde afname of tussen items van een
test
- Mate waarin scores constant/te reproduceren zijn
- Zegt wat over de verhouding tussen daadwerkelijke gedrag T en testscore X
X > T e is positief, dus je krijgt een hogere testscore dan je daadwerkelijk bent
X < T e is negatief, dus je krijgt een lagere testscore
Bronnen van meetfout:
Daadwerkelijke verschil
- Gedrag: iemand kan bijvoorbeeld zijn baan zijn verloren en daarna de jackpot hebben
gewonnen
Meetfout:
- Itemselectie: je kan niet alles vragen
- Testafname: proefleider heeft een bias
- Testscoring: MC (vaak objectief) en open vragen (vaak subjectief)
Systematische fouten = e s
Niet-systematische fouten = e u
Altijd in dezelfde richting: + of - Random meetfout, door bijvoorbeeld af te
kijken. Zowel + als -
Gemiddelde meetfout is niet gelijk aan 0 Gemiddelde meetfout is gelijk aan 0
Bijvoorbeeld fout in handleiding Geen samenhang met T. Maakt niet uit hoe
depressief je bent. Als je afgeleid bent, komt
er een andere waarde uit
Maat voor validiteit, wel constant maar je Maat voor betrouwbaarheid, beïnvloed de
meet niet wat je wil meten consistentie van het instrument
Meetfouten niet gerelateerd aan elkaar
Normaal verdeeld
Klassieke test theorie vertelt je wat over hoeveel de invloed is van de niet-systematische
meetfout. Systematische meetfouten zijn zelf op te lossen, dus hier niet naar kijken
- In hoeverre komt T overeen met X
Met een normaalverdeling kan je iets zeggen over hoe vaak een bepaalde score voorkomt
- 68% van testscore X heeft meetfout e van max 1 SD boven of onder T. Dus 100 keer
een test afnemen, geeft 68 keer een score tussen -1 SD en +1 SD
Bij een groot genoegen steekproef wordt e = 0, dus X = T
Variantie in testscore x = variantie T + variantie e
Bij een groot genoegen steekproef kan je alsnog SDe berekenen door de SD in het kwadraat
te doen. Het wordt dus niet 0!
