Hoorcollege 1
Diagnostiek
Diagnostiek heeft het doel een beslissing te kunnen nemen over een
situatie. Dit wordt gedaan door die situatie goed te leren kennen.
Bij psychodiagnostiek wordt onderzoek gedaan op het gebied van
psychosociaal functioneren. Er wordt hierbij gezocht naar mogelijke
verklaringen voor problemen, deze verklaringen kunnen getoetst worden
en er wordt gezocht naar een betrouwbare en valide beschrijving van de
psychosociale werkelijkheid. Bij wetenschappelijke diagnostiek is het
idealiter herhaalbaar. Dit houdt in dat als het gedrag niet veranderd, dat
er dan hetzelfde resultaat uit de test zou moeten komen. Daarnaast zou
wetenschappelijke diagnostiek idealiter de werkelijkheid naderen.
Bij een psychiatrische diagnose wordt er gebruikgemaakt van inter-
beoordelaars betrouwbaarheid. Hierbij wordt dezelfde situatie door
meerdere mensen beoordeeld om te kijken of zij ongeveer op hetzelfde
uitkomen. Bij niet-gestandaardiseerde interviews en tests is de inter-
beoordelaars betrouwbaarheid tussen de 0% en 50%. Met
gestandaardiseerde interviews en testen ligt dit percentage iets hoger, dit
is namelijk 60% tot 70%.
Diagnostiek als wetenschapsbedrijf brengt ook een aantal uitdagingen met
zich mee. Het is namelijk een lastige vorm van wetenschapsbedrijf, omdat
er vaak gewerkt wordt met complexe constructen. Bij intelligentie
bijvoorbeeld zijn er meerdere meningen over wat het construct precies
inhoudt. Daarnaast is er vaak beperkte tijd. Een aantal persoonlijke
valkuilen waar iedereen last van heeft zijn:
- Confirmation bias: Dit is de neiging om nieuw bewijs te
interpreteren als bevestiging van een bestaande theorie of
overtuiging. Informatie die de theorie of overtuiging tegenspreekt,
wordt hierbij vaak genegeerd.
- Beschikbaarheidsheuristiek: In deze context gaat dit om de
neiging om de focus te leggen op enkel de symptomen die verband
houden met veel voorkomende (hoog prevalente) aandoeningen. Dit
is de makkelijkst beschikbare optie.
Diagnostische tests
Tests zijn een wetenschappelijk verantwoorde, betrouwbare en objectieve
manier om informatie te verkrijgen omtrent het diagnostische beeld, om
zo een beslissing te kunnen maken. Diagnostische tests kunnen
verschillende hoofddoelen hebben om te meten, voorbeelden hiervan zijn:
aanleg, intelligentie, creativiteit, prestatie, interesse, persoonlijkheid,
cognitie en gedrag. Deze test willen meten hoe gedrag voorkomt in het
dagelijks leven en hiermee kun je geen conclusies trekken over welke
hersengebieden beschadigd zijn. Het proces van een diagnostische test
verloopt in zes stappen:
, - Het analyseren van het probleem.
- Classificeren en een diagnose stellen.
- Het plannen van een behandeling.
- De behandeling evalueren (is het gedrag verbeterd).
- Gebruikmaken van zelfkennis.
- Kennis vergaren door middel van wetenschappelijk onderzoek.
De gevaren van testgebruik
Tests krijgen een steeds grotere rol in de maatschappij. Deze zijn bedoeld
om mentale eigenschappen te objectiveren. Het is echter ook belangrijk
om kennis te hebben over de psychometrische eigenschappen van een
test, bijvoorbeeld:
- Of de test wel meet wat het beoogt te meten (validiteit).
- Onder welke omstandigheden de test afgenomen moet worden.
- Hoe de referentiegroep is bepaald (de referentiegroep is belangrijk
om goede conclusies te kunnen trekken).
- Of een verkorte versie wel betrouwbaar is.
Op basis van de resultaten van een test worden namelijk vaak belangrijke
beslissingen genomen, dus het is belangrijk dat dit nauwkeurig uitgevoerd
wordt.
Testen en meten
Een test is een gestandaardiseerde procedure voor het nemen van een
steekproef van gedrag, beschreven in categorieën of scores. De score van
elke test bevat meetfouten. De formule voor de klassieke testtheorie is X
= T + e. Test score X = daadwerkelijke score T + meetfout e. De test is
betrouwbaar wanneer de X dicht bij de T ligt. Er zijn verschillende
oorzaken van meetfouten:
- Veel concepten zijn niet perfect gedefinieerd
- Vragen worden verkeerd gelezen of geïnterpreteerd
- Sociaal wenselijk antwoorden / context
- Handleiding niet precies gevolgd: hoe de test wordt afgenomen
moet geen invloed hebben op de resultaten.
Standaardisering
Standaardisatie van een test houdt in dat een test zo wordt ontwikkeld
en uitgevoerd dat de resultaten betrouwbaar en vergelijkbaar zijn voor alle
deelnemers. Standaardisering bestaat uit vijf onderdelen:
- Herhaalbaarheid: Dit houdt in dat indien het gemeten construct
hetzelfde blijft (het gedrag hetzelfde blijft), er steeds tot dezelfde
score gekomen moet worden. Dit is belangrijk voor de
betrouwbaarheid.
- Steekproef van gedrag: Hierbij is het belangrijk dat de test volledig
is, dus alle onderdelen van het construct meet, maar het aantal
, items beperkt is. Elk onderdeel van het construct wordt meestal met
een item getest.
- Gebruik van scores of categorieën: Hierbij worden de constructen
uitgedrukt in een getal.
- Gebruik van een norm of standaard: De ruwe score die uit de test
komt kan vergeleken worden met:
Een afkapwaarde: iemand met een score boven de 12 heeft
depressie, hier is het antwoord ja of nee.
Een normgroep: de ruwe score wordt vergeleken met meerdere
onderzochten, hier krijg je meer informatie over de ernst van de
problematiek. Iemand met een score tussen de 12 en 14 heeft milde
depressie en iemand met een score tussen de 14 en 16 matige
depressie.
- Predictie van non-test gedrag: Met de test score moet bepaald
gedrag voorspeld kunnen worden. Dit is belangrijk voor de validiteit.
Testen in Nederland
De twee organisaties die belangrijk zijn bij het testgebruik in Nederland
zijn de Nederlandse Vereniging van Pedagogen en Onderwijskundigen
(NVO) en het Nederlands Instituut van Psychologen (NIP). Er is sprake van
beroepsethiek. Dit zijn morele principes en regels die bepalen hoe
professionals zich moeten gedragen. Dit kan bijvoorbeeld gaan om
vertrouwelijkheid, gelijkheid en verantwoordelijkheid.
Daarnaast is er sprake van kwaliteitsbewaking door middel van
registraties, opleidingen en COTAN. COTAN staat voor Commissie test
aangelegenheden Nederland en is voor de psychometrische criteria. Deze
commissie informeert testgebruikers over de kwaliteit van hun
instrumenten en geeft testmakers feedback over de kwaliteit van hun
instrumenten. De COTAN kijkt naar verschillende onderdelen:
1. Er wordt gekeken naar de uitgangspunten van de testconstructie.
Dit heeft betrekking op de doelgroep, de functie (wat kan je met de
uitkomst) en de meetpretentie. De meetpretentie verwijst naar het
doel van het meten in een bepaald onderzoek of context. Het gaat
om wat er geprobeerd wordt te meten en hoe dat bereikt gaat
worden. Er wordt ook gekeken naar standaardisatie, dus naar de
kwaliteit van het testmateriaal en de daarbij behorende handleiding.
2. Wat betreft normen wordt er gecontroleerd of er een
representatieve vergelijkingsgroep is. Ten slotte wordt de
betrouwbaarheid en de validiteit onderzocht. De beoordeling die de
COTAN aan instrumenten gegeven heeft, is online in te zien via hun
website.
In de praktijk zijn er in Nederland ongeveer 800 verschillende testen en is
50% van die tests maar door 1% van de gebruikers ingezet. Deze testen
zijn vaak niet onderzocht op hun kwaliteit. Er zijn al veel ontwikkelingen
geweest wat betreft testgebruik. Vroeger werd er voornamelijk
gebruikgemaakt van projectieve (subjectieve) technieken, tegenwoordig is
er overgestapt naar IQ-testen en persoonlijkheidsvragenlijsten (deze test
, kunnen objectief geïnterpreteerd worden want deze zijn
gestandaardiseerd). De kwaliteit is al een stuk beter dan voorheen, maar
er is zeker nog verbetering mogelijk. Van de twintig meest gebruikte tests
scoort bijvoorbeeld maar 23% “goed” op betrouwbaarheid en maar 14%
scoort “goed” op criteriumvaliditeit.
In Nederland is er voor het ethisch gebruik van instrumenten een
algemene standaard voor testgebruik. Het doel hiervan is om
verantwoordelijk, respectvol, deskundig en integer te handelen. Hierbij zijn
er een aantal standaarden:
- Een test moet relevant zijn.
- Een test moet afgenomen worden door bevoegden.
- Er moet respect zijn voor psychische en lichamelijke integriteit.
- Er geldt een geheimhoudingsplicht
- Er moet informed consent zijn
- Er moet een onafhankelijk en objectief oordeel gegeven worden,
welke begrijpelijk is voor mensen buiten het vakgebied (dus zonder
jargon).
Hoorcollege 3
Definities
- Methodologie: Systematische wijze van hoe je (empirisch)
onderzoek zou moeten uitvoeren.
- Statistiek: Het instrument om empirisch onderzoek uit te kunnen
voeren.
- Meten en diagnostiek: Voegt deze twee samen. Het richt zich op
de implicaties van onderzoeksresultaten voor individuele testscores.
De Klassieke Testtheorie (“Theorie van ware scores en meetfouten”): X
= T + e.
- X = geobserveerde testscore.
- T (ware score) = de echte eigenschap die wordt gemeten. Dit staat
voor de consistente meting van het construct.
- E (meetfout) = toevallige factoren die de meting beïnvloeden.
Oftewel alle inconsistente factoren die invloed hebben op de
testscore.
De Klassieke Testtheorie werd mede ontwikkeld door Charles Edward
Spearman (1863-1945), een invloedrijke psycholoog die zich bezighield
met statistische methoden en betrouwbaarheidsonderzoek.
Betrouwbaarheid wordt uitgedrukt als een score tussen 0 en 1,
waarbij 1 een perfecte betrouwbaarheid aangeeft en 0 betekent dat de
test volledig inconsistente resultaten oplevert. De betrouwbaarheid gaat
over de mate waarin scores constant/te reproduceren zijn. Hoe hoger de
betrouwbaarheid, hoe beter de test een echte eigenschap of vaardigheid
meet zonder beïnvloeding door meetfouten.
Diagnostiek
Diagnostiek heeft het doel een beslissing te kunnen nemen over een
situatie. Dit wordt gedaan door die situatie goed te leren kennen.
Bij psychodiagnostiek wordt onderzoek gedaan op het gebied van
psychosociaal functioneren. Er wordt hierbij gezocht naar mogelijke
verklaringen voor problemen, deze verklaringen kunnen getoetst worden
en er wordt gezocht naar een betrouwbare en valide beschrijving van de
psychosociale werkelijkheid. Bij wetenschappelijke diagnostiek is het
idealiter herhaalbaar. Dit houdt in dat als het gedrag niet veranderd, dat
er dan hetzelfde resultaat uit de test zou moeten komen. Daarnaast zou
wetenschappelijke diagnostiek idealiter de werkelijkheid naderen.
Bij een psychiatrische diagnose wordt er gebruikgemaakt van inter-
beoordelaars betrouwbaarheid. Hierbij wordt dezelfde situatie door
meerdere mensen beoordeeld om te kijken of zij ongeveer op hetzelfde
uitkomen. Bij niet-gestandaardiseerde interviews en tests is de inter-
beoordelaars betrouwbaarheid tussen de 0% en 50%. Met
gestandaardiseerde interviews en testen ligt dit percentage iets hoger, dit
is namelijk 60% tot 70%.
Diagnostiek als wetenschapsbedrijf brengt ook een aantal uitdagingen met
zich mee. Het is namelijk een lastige vorm van wetenschapsbedrijf, omdat
er vaak gewerkt wordt met complexe constructen. Bij intelligentie
bijvoorbeeld zijn er meerdere meningen over wat het construct precies
inhoudt. Daarnaast is er vaak beperkte tijd. Een aantal persoonlijke
valkuilen waar iedereen last van heeft zijn:
- Confirmation bias: Dit is de neiging om nieuw bewijs te
interpreteren als bevestiging van een bestaande theorie of
overtuiging. Informatie die de theorie of overtuiging tegenspreekt,
wordt hierbij vaak genegeerd.
- Beschikbaarheidsheuristiek: In deze context gaat dit om de
neiging om de focus te leggen op enkel de symptomen die verband
houden met veel voorkomende (hoog prevalente) aandoeningen. Dit
is de makkelijkst beschikbare optie.
Diagnostische tests
Tests zijn een wetenschappelijk verantwoorde, betrouwbare en objectieve
manier om informatie te verkrijgen omtrent het diagnostische beeld, om
zo een beslissing te kunnen maken. Diagnostische tests kunnen
verschillende hoofddoelen hebben om te meten, voorbeelden hiervan zijn:
aanleg, intelligentie, creativiteit, prestatie, interesse, persoonlijkheid,
cognitie en gedrag. Deze test willen meten hoe gedrag voorkomt in het
dagelijks leven en hiermee kun je geen conclusies trekken over welke
hersengebieden beschadigd zijn. Het proces van een diagnostische test
verloopt in zes stappen:
, - Het analyseren van het probleem.
- Classificeren en een diagnose stellen.
- Het plannen van een behandeling.
- De behandeling evalueren (is het gedrag verbeterd).
- Gebruikmaken van zelfkennis.
- Kennis vergaren door middel van wetenschappelijk onderzoek.
De gevaren van testgebruik
Tests krijgen een steeds grotere rol in de maatschappij. Deze zijn bedoeld
om mentale eigenschappen te objectiveren. Het is echter ook belangrijk
om kennis te hebben over de psychometrische eigenschappen van een
test, bijvoorbeeld:
- Of de test wel meet wat het beoogt te meten (validiteit).
- Onder welke omstandigheden de test afgenomen moet worden.
- Hoe de referentiegroep is bepaald (de referentiegroep is belangrijk
om goede conclusies te kunnen trekken).
- Of een verkorte versie wel betrouwbaar is.
Op basis van de resultaten van een test worden namelijk vaak belangrijke
beslissingen genomen, dus het is belangrijk dat dit nauwkeurig uitgevoerd
wordt.
Testen en meten
Een test is een gestandaardiseerde procedure voor het nemen van een
steekproef van gedrag, beschreven in categorieën of scores. De score van
elke test bevat meetfouten. De formule voor de klassieke testtheorie is X
= T + e. Test score X = daadwerkelijke score T + meetfout e. De test is
betrouwbaar wanneer de X dicht bij de T ligt. Er zijn verschillende
oorzaken van meetfouten:
- Veel concepten zijn niet perfect gedefinieerd
- Vragen worden verkeerd gelezen of geïnterpreteerd
- Sociaal wenselijk antwoorden / context
- Handleiding niet precies gevolgd: hoe de test wordt afgenomen
moet geen invloed hebben op de resultaten.
Standaardisering
Standaardisatie van een test houdt in dat een test zo wordt ontwikkeld
en uitgevoerd dat de resultaten betrouwbaar en vergelijkbaar zijn voor alle
deelnemers. Standaardisering bestaat uit vijf onderdelen:
- Herhaalbaarheid: Dit houdt in dat indien het gemeten construct
hetzelfde blijft (het gedrag hetzelfde blijft), er steeds tot dezelfde
score gekomen moet worden. Dit is belangrijk voor de
betrouwbaarheid.
- Steekproef van gedrag: Hierbij is het belangrijk dat de test volledig
is, dus alle onderdelen van het construct meet, maar het aantal
, items beperkt is. Elk onderdeel van het construct wordt meestal met
een item getest.
- Gebruik van scores of categorieën: Hierbij worden de constructen
uitgedrukt in een getal.
- Gebruik van een norm of standaard: De ruwe score die uit de test
komt kan vergeleken worden met:
Een afkapwaarde: iemand met een score boven de 12 heeft
depressie, hier is het antwoord ja of nee.
Een normgroep: de ruwe score wordt vergeleken met meerdere
onderzochten, hier krijg je meer informatie over de ernst van de
problematiek. Iemand met een score tussen de 12 en 14 heeft milde
depressie en iemand met een score tussen de 14 en 16 matige
depressie.
- Predictie van non-test gedrag: Met de test score moet bepaald
gedrag voorspeld kunnen worden. Dit is belangrijk voor de validiteit.
Testen in Nederland
De twee organisaties die belangrijk zijn bij het testgebruik in Nederland
zijn de Nederlandse Vereniging van Pedagogen en Onderwijskundigen
(NVO) en het Nederlands Instituut van Psychologen (NIP). Er is sprake van
beroepsethiek. Dit zijn morele principes en regels die bepalen hoe
professionals zich moeten gedragen. Dit kan bijvoorbeeld gaan om
vertrouwelijkheid, gelijkheid en verantwoordelijkheid.
Daarnaast is er sprake van kwaliteitsbewaking door middel van
registraties, opleidingen en COTAN. COTAN staat voor Commissie test
aangelegenheden Nederland en is voor de psychometrische criteria. Deze
commissie informeert testgebruikers over de kwaliteit van hun
instrumenten en geeft testmakers feedback over de kwaliteit van hun
instrumenten. De COTAN kijkt naar verschillende onderdelen:
1. Er wordt gekeken naar de uitgangspunten van de testconstructie.
Dit heeft betrekking op de doelgroep, de functie (wat kan je met de
uitkomst) en de meetpretentie. De meetpretentie verwijst naar het
doel van het meten in een bepaald onderzoek of context. Het gaat
om wat er geprobeerd wordt te meten en hoe dat bereikt gaat
worden. Er wordt ook gekeken naar standaardisatie, dus naar de
kwaliteit van het testmateriaal en de daarbij behorende handleiding.
2. Wat betreft normen wordt er gecontroleerd of er een
representatieve vergelijkingsgroep is. Ten slotte wordt de
betrouwbaarheid en de validiteit onderzocht. De beoordeling die de
COTAN aan instrumenten gegeven heeft, is online in te zien via hun
website.
In de praktijk zijn er in Nederland ongeveer 800 verschillende testen en is
50% van die tests maar door 1% van de gebruikers ingezet. Deze testen
zijn vaak niet onderzocht op hun kwaliteit. Er zijn al veel ontwikkelingen
geweest wat betreft testgebruik. Vroeger werd er voornamelijk
gebruikgemaakt van projectieve (subjectieve) technieken, tegenwoordig is
er overgestapt naar IQ-testen en persoonlijkheidsvragenlijsten (deze test
, kunnen objectief geïnterpreteerd worden want deze zijn
gestandaardiseerd). De kwaliteit is al een stuk beter dan voorheen, maar
er is zeker nog verbetering mogelijk. Van de twintig meest gebruikte tests
scoort bijvoorbeeld maar 23% “goed” op betrouwbaarheid en maar 14%
scoort “goed” op criteriumvaliditeit.
In Nederland is er voor het ethisch gebruik van instrumenten een
algemene standaard voor testgebruik. Het doel hiervan is om
verantwoordelijk, respectvol, deskundig en integer te handelen. Hierbij zijn
er een aantal standaarden:
- Een test moet relevant zijn.
- Een test moet afgenomen worden door bevoegden.
- Er moet respect zijn voor psychische en lichamelijke integriteit.
- Er geldt een geheimhoudingsplicht
- Er moet informed consent zijn
- Er moet een onafhankelijk en objectief oordeel gegeven worden,
welke begrijpelijk is voor mensen buiten het vakgebied (dus zonder
jargon).
Hoorcollege 3
Definities
- Methodologie: Systematische wijze van hoe je (empirisch)
onderzoek zou moeten uitvoeren.
- Statistiek: Het instrument om empirisch onderzoek uit te kunnen
voeren.
- Meten en diagnostiek: Voegt deze twee samen. Het richt zich op
de implicaties van onderzoeksresultaten voor individuele testscores.
De Klassieke Testtheorie (“Theorie van ware scores en meetfouten”): X
= T + e.
- X = geobserveerde testscore.
- T (ware score) = de echte eigenschap die wordt gemeten. Dit staat
voor de consistente meting van het construct.
- E (meetfout) = toevallige factoren die de meting beïnvloeden.
Oftewel alle inconsistente factoren die invloed hebben op de
testscore.
De Klassieke Testtheorie werd mede ontwikkeld door Charles Edward
Spearman (1863-1945), een invloedrijke psycholoog die zich bezighield
met statistische methoden en betrouwbaarheidsonderzoek.
Betrouwbaarheid wordt uitgedrukt als een score tussen 0 en 1,
waarbij 1 een perfecte betrouwbaarheid aangeeft en 0 betekent dat de
test volledig inconsistente resultaten oplevert. De betrouwbaarheid gaat
over de mate waarin scores constant/te reproduceren zijn. Hoe hoger de
betrouwbaarheid, hoe beter de test een echte eigenschap of vaardigheid
meet zonder beïnvloeding door meetfouten.
