Testtheorie en testgebruik
Hoofdstuk 2: verschillende soorten tests
§2.1 wat is een test
Onderdelen van een verantwoorde gepubliceerde test:
1. testmateriaal
2. testformulieren
- resultaten van test opschrijven
- soms observatie antwoordformulier
3. testhandleiding = geeft aan hoe de test gebruikt moet worden -> 4 eisen:
a. goede testinstructie
b. verwerkingsprocedure -> sleutel: goed/ fout
c. normtabellen -> scores vergelijken met scores van representatieve steekproef
d. wetenschappelijke kwaliteit
- betrouwbaarheid
- testbetekenis
- voorspelling test
4. bespreking v/d wetenschappelijke kwaliteiten v/d test
- gegevens die indicatie geven van:
- betrouwbaarheid
- testbetekenis
- voorspelling
- doel van testonderzoek = doen van een uitspraak die de volgende dingen omvat met
betrekking tot onderzochte individu:
a. voorspelling
b. classificatie
c. beschrijving
Psychologische test = een systematisch onderzoek van gedrag met betrekking van speciaal
geselecteerde vragen of opgaven, met de bedoeling inzicht te krijgen in een kenmerk van de
onderzochte in vergelijking met anderen
- is pas gerechtvaardigd als
a. het een juister beeld oplevert dan het voorwetenschappelijk oordeel
b. het een verbetering of een aanvulling hierop kan betekenen
c. als de kosten of ethische bezwaren niet remmend werken
Zes kenmerken waarop een goede test in het voordeel is ten opzichte van
voorwetenschappelijk oordeel:
1. efficiëntie = de test is alleen maar gericht op het meten van het hypothetische construct,
zonder anders storende factoren
2. standaardisatie = de testprocedure moet voor alle respondenten gelijk zijn
- maakt een test betrouwbaar en vergelijkbaar
,3. normering van de testresultaten = nuttig voor het interpreteren van een test
- rangorde = de eenvoudigste vorm van normering -> Kolmogorov-smirnov toets
- bij vaststellen van kleine verschillen: gevoeliger instrument nodig
4. principe van objectiviteit = wie het onderzoek ook doet, het resultaat moet hetzelfde zijn
- openheid en reproduceerbaarheid van de test en evaluatie moeten mogelijk zijn
- interbeoordeelsbetrouwbaarheid = de mate van overeenstemming tussen verschillende
beoordeelaars
- cohens Kappa
- mogelijk om bij observatie en projectietest objectiviteit te bereiken door:
a. beschrijven waarneembare gedrag ipv interpreteren
b. registeren gedrag ipv evalueren -> voorgeschreven verwerkingsprocedure
c. objectieve grondhouding van wetenschapsbeoefenaar
5. de eis van betrouwbaarheid = de mate waarin bij herhaalde meting dezelfde score
behaald wordt
- het moet niet of nauwelijks uitmaken wanneer iemand getest wordt
6. validiteit en de betekenis van de test = de mate waarin de test aan zijn doel beantwoord
- een goede test heeft een vaststaand psychologische betekenis
-> praktisch voorspellend gebruik v/d test moet vervolgens altijd gebaseerd zijn op empirisch
onderzoek, waarin vooronderstelt samenhang is aangetoond
§2.2 meten van eigenschappen door middel van test
Vier meetschalen:
1. nominale schaal = men gebruikt getallen om categorieën te onderscheiden en objecten in
te delen
- geen sprake van rangorde
2. ordinale schaal = getallen worden gebruikt om categorieën of objecten te ordenen
- wel sprake van een rangorde -> minder of meer
- rekenkundige bewerkingen zoals de rangordecorrelatieefficiënt zijn NIET toegestaan
3. intervalschaal = er is een rangorde waar ook de afstanden tussen de verschillende posities
belangrijk zijn
- geen nulpunt -> dus alleen optrekken en aftrekken
4. ratioschaal (verhoudingsschaal) = er is sprake van een gelijke afstand tussen de
verschillende posities op de schaal
- er is een absoluut nulpunt -> alle rekenkundige bewerkingen zijn toegestaan
- meting testscores: intervalschaal
- interpretatie van testscores: tussen ordinale en intervalschaal
Verschil meten en tellen;
- scoren van tests = tellen
- conclusies trekken over bepaalde eigenschappen op basis van tellingen = meten
,Er kan op twee manieren gemeten worden:
1. eigenschap direct meten = het gaat hier om het fenotypische systeem (= operationele of
empirische begrippen)
- dat wat de test meet, is dat wat het is
- begrippen zijn gelijk aan hun operationalisering, er is geen sprake van extra betekenis
2. eigenschap indirect meten = het meten van latente structuuranalyse/ genotypische
begripsysteem/ hypothetische begrippen (= eigenschappen die niet direct waarneembaar
zijn)
- ze zijn abstract en theoretisch van aard
- sprake van extra betekenis die de operationalisering te boven gaat
- Boring: operationalisme = datgene wat de test meet
- Stevens:
- operationalisme = test bepaald of er sprake is van meting
- meten = wanneer getallen volgens een consistente procedure aan objecten worden
toegekend
Bouwmeester:
- transitief redeneren = door uitvoerig en grondig psychometrisch werk dat resulteert in
valide meetinstrumenten -> bewijs tegen andere theorieën, zoals Piaget
Ones: ‘meten is weten’
De gangbare procedure voor het meten van psychologische eigenschappen
- stappen om te komen tot een meting:
1. identificatie van de te meten eigenschap:
- definitieprobleem
- testconstructie
- valideringsonderzoek
2. operationalisering van de eigenschap = specificatie van de operaties die nodig zijn om
een eigenschap te meten
- operaties zijn noooit ‘volledig te pakken’
- psychologische eigenschappen: hypothetische begrippen met surplusbetekenis
- stappen:
a. domein van gedragingen wordt gedefinieerd die typisch zijn voor bedoelde
eigenschap
b. domein van stimuli (items) maken die aan proefpersonen kunnen worden
gepresenteerd om reacties uit te lokken:
- voorbeelden items:
- uitspraken
- taken
- vragen
, 3. onderzoek en kwantificering van reacties
- reacties zijn kwalitatief
- kwantificering = reacties met hogere categorie, krijgen een hogere numerieke waarde
-> gaat dus om een hypothese
- constructie test = scores van items worden verzameld door de proefversie voor te
leggen aan steekproef van proefpersonen
4. terugkoppeling naar de theorie
- nomologisch netwerk = een theorie ter verklaring v/d waarneembare verschijnselen
waarbinnen gemeten eigenschap een plaats heeft
- empirisch onderzoek: sleutel tot verdere
a. theorievorming
b. succesvolle meting
- statistische methoden om test te construeren en hun meeteigenschappen vast te stellen
1. klassieke testtheorie -> betrouwbaarheid
2. item-responstheorie -> totstandkoming testprestatie
3. reppresentational measurement -> er kan alleen sprake zijn van meting, indien de
formele relaties tussen meetwaarden overeenkomen met de reacties die er in empirie
bestaan tussen de objecten waar die meetwaarden iets over zeggen
-> probleem = objecten zijn niet altijd empirisch te meten
§2.3 definitie van een test
Test = een systematische classificatie- of meetprocedure, waarbij het mogelijk is een
uitspraak te doen over e é n
́ of meer empirisch-theoretisch gefundeerde eigen- schappen
van de onderzochte of over specifiek niet-testgedrag, door uit te gaan van een objectieve
verwerking van reacties van hem/haar, in vergelijking tot die van anderen, op een aantal
gestandaardiseerde, zorgvuldig gekozen stimuli’.
§2.4 toepassingsmogelijkheden
- Er zijn drie toepassingsmogelijkheden van de psychologische test:
1. beoordelingen van individuen -> dit kan op 6 verschillende manieren:
1. criterium = er worden voorspellingen gedaan over een veelal in de toekomst gelegen
prestatie (criterium) aan de eisen waarvan men al of niet kan voldoen
- de test correleert met her criterium
2. meerdere criteria = de criteria verschillen qua niveau en kwaliteit
- de test moet niet alleen correleren met het criterium, maar differentiatie tussen de
verschillende alternatieven moet ook mogelijk zijn
3. onderliggende verhoudingen van testscores bij 1 persoon = het gaat hier niet om de
absolute hoogte van scores, maar om de onderlinge verhouding
- ipsatieve scores = de testscore van 1 persoon worden met elkaar vergeleken, niet
met een externe norm
4. ontwikkelingen van een persoon = hetzelfde onderzoek met hetzelfde individu wordt
herhaald ip een ander tijdstip om ontwikkelingen te ontdekken
Hoofdstuk 2: verschillende soorten tests
§2.1 wat is een test
Onderdelen van een verantwoorde gepubliceerde test:
1. testmateriaal
2. testformulieren
- resultaten van test opschrijven
- soms observatie antwoordformulier
3. testhandleiding = geeft aan hoe de test gebruikt moet worden -> 4 eisen:
a. goede testinstructie
b. verwerkingsprocedure -> sleutel: goed/ fout
c. normtabellen -> scores vergelijken met scores van representatieve steekproef
d. wetenschappelijke kwaliteit
- betrouwbaarheid
- testbetekenis
- voorspelling test
4. bespreking v/d wetenschappelijke kwaliteiten v/d test
- gegevens die indicatie geven van:
- betrouwbaarheid
- testbetekenis
- voorspelling
- doel van testonderzoek = doen van een uitspraak die de volgende dingen omvat met
betrekking tot onderzochte individu:
a. voorspelling
b. classificatie
c. beschrijving
Psychologische test = een systematisch onderzoek van gedrag met betrekking van speciaal
geselecteerde vragen of opgaven, met de bedoeling inzicht te krijgen in een kenmerk van de
onderzochte in vergelijking met anderen
- is pas gerechtvaardigd als
a. het een juister beeld oplevert dan het voorwetenschappelijk oordeel
b. het een verbetering of een aanvulling hierop kan betekenen
c. als de kosten of ethische bezwaren niet remmend werken
Zes kenmerken waarop een goede test in het voordeel is ten opzichte van
voorwetenschappelijk oordeel:
1. efficiëntie = de test is alleen maar gericht op het meten van het hypothetische construct,
zonder anders storende factoren
2. standaardisatie = de testprocedure moet voor alle respondenten gelijk zijn
- maakt een test betrouwbaar en vergelijkbaar
,3. normering van de testresultaten = nuttig voor het interpreteren van een test
- rangorde = de eenvoudigste vorm van normering -> Kolmogorov-smirnov toets
- bij vaststellen van kleine verschillen: gevoeliger instrument nodig
4. principe van objectiviteit = wie het onderzoek ook doet, het resultaat moet hetzelfde zijn
- openheid en reproduceerbaarheid van de test en evaluatie moeten mogelijk zijn
- interbeoordeelsbetrouwbaarheid = de mate van overeenstemming tussen verschillende
beoordeelaars
- cohens Kappa
- mogelijk om bij observatie en projectietest objectiviteit te bereiken door:
a. beschrijven waarneembare gedrag ipv interpreteren
b. registeren gedrag ipv evalueren -> voorgeschreven verwerkingsprocedure
c. objectieve grondhouding van wetenschapsbeoefenaar
5. de eis van betrouwbaarheid = de mate waarin bij herhaalde meting dezelfde score
behaald wordt
- het moet niet of nauwelijks uitmaken wanneer iemand getest wordt
6. validiteit en de betekenis van de test = de mate waarin de test aan zijn doel beantwoord
- een goede test heeft een vaststaand psychologische betekenis
-> praktisch voorspellend gebruik v/d test moet vervolgens altijd gebaseerd zijn op empirisch
onderzoek, waarin vooronderstelt samenhang is aangetoond
§2.2 meten van eigenschappen door middel van test
Vier meetschalen:
1. nominale schaal = men gebruikt getallen om categorieën te onderscheiden en objecten in
te delen
- geen sprake van rangorde
2. ordinale schaal = getallen worden gebruikt om categorieën of objecten te ordenen
- wel sprake van een rangorde -> minder of meer
- rekenkundige bewerkingen zoals de rangordecorrelatieefficiënt zijn NIET toegestaan
3. intervalschaal = er is een rangorde waar ook de afstanden tussen de verschillende posities
belangrijk zijn
- geen nulpunt -> dus alleen optrekken en aftrekken
4. ratioschaal (verhoudingsschaal) = er is sprake van een gelijke afstand tussen de
verschillende posities op de schaal
- er is een absoluut nulpunt -> alle rekenkundige bewerkingen zijn toegestaan
- meting testscores: intervalschaal
- interpretatie van testscores: tussen ordinale en intervalschaal
Verschil meten en tellen;
- scoren van tests = tellen
- conclusies trekken over bepaalde eigenschappen op basis van tellingen = meten
,Er kan op twee manieren gemeten worden:
1. eigenschap direct meten = het gaat hier om het fenotypische systeem (= operationele of
empirische begrippen)
- dat wat de test meet, is dat wat het is
- begrippen zijn gelijk aan hun operationalisering, er is geen sprake van extra betekenis
2. eigenschap indirect meten = het meten van latente structuuranalyse/ genotypische
begripsysteem/ hypothetische begrippen (= eigenschappen die niet direct waarneembaar
zijn)
- ze zijn abstract en theoretisch van aard
- sprake van extra betekenis die de operationalisering te boven gaat
- Boring: operationalisme = datgene wat de test meet
- Stevens:
- operationalisme = test bepaald of er sprake is van meting
- meten = wanneer getallen volgens een consistente procedure aan objecten worden
toegekend
Bouwmeester:
- transitief redeneren = door uitvoerig en grondig psychometrisch werk dat resulteert in
valide meetinstrumenten -> bewijs tegen andere theorieën, zoals Piaget
Ones: ‘meten is weten’
De gangbare procedure voor het meten van psychologische eigenschappen
- stappen om te komen tot een meting:
1. identificatie van de te meten eigenschap:
- definitieprobleem
- testconstructie
- valideringsonderzoek
2. operationalisering van de eigenschap = specificatie van de operaties die nodig zijn om
een eigenschap te meten
- operaties zijn noooit ‘volledig te pakken’
- psychologische eigenschappen: hypothetische begrippen met surplusbetekenis
- stappen:
a. domein van gedragingen wordt gedefinieerd die typisch zijn voor bedoelde
eigenschap
b. domein van stimuli (items) maken die aan proefpersonen kunnen worden
gepresenteerd om reacties uit te lokken:
- voorbeelden items:
- uitspraken
- taken
- vragen
, 3. onderzoek en kwantificering van reacties
- reacties zijn kwalitatief
- kwantificering = reacties met hogere categorie, krijgen een hogere numerieke waarde
-> gaat dus om een hypothese
- constructie test = scores van items worden verzameld door de proefversie voor te
leggen aan steekproef van proefpersonen
4. terugkoppeling naar de theorie
- nomologisch netwerk = een theorie ter verklaring v/d waarneembare verschijnselen
waarbinnen gemeten eigenschap een plaats heeft
- empirisch onderzoek: sleutel tot verdere
a. theorievorming
b. succesvolle meting
- statistische methoden om test te construeren en hun meeteigenschappen vast te stellen
1. klassieke testtheorie -> betrouwbaarheid
2. item-responstheorie -> totstandkoming testprestatie
3. reppresentational measurement -> er kan alleen sprake zijn van meting, indien de
formele relaties tussen meetwaarden overeenkomen met de reacties die er in empirie
bestaan tussen de objecten waar die meetwaarden iets over zeggen
-> probleem = objecten zijn niet altijd empirisch te meten
§2.3 definitie van een test
Test = een systematische classificatie- of meetprocedure, waarbij het mogelijk is een
uitspraak te doen over e é n
́ of meer empirisch-theoretisch gefundeerde eigen- schappen
van de onderzochte of over specifiek niet-testgedrag, door uit te gaan van een objectieve
verwerking van reacties van hem/haar, in vergelijking tot die van anderen, op een aantal
gestandaardiseerde, zorgvuldig gekozen stimuli’.
§2.4 toepassingsmogelijkheden
- Er zijn drie toepassingsmogelijkheden van de psychologische test:
1. beoordelingen van individuen -> dit kan op 6 verschillende manieren:
1. criterium = er worden voorspellingen gedaan over een veelal in de toekomst gelegen
prestatie (criterium) aan de eisen waarvan men al of niet kan voldoen
- de test correleert met her criterium
2. meerdere criteria = de criteria verschillen qua niveau en kwaliteit
- de test moet niet alleen correleren met het criterium, maar differentiatie tussen de
verschillende alternatieven moet ook mogelijk zijn
3. onderliggende verhoudingen van testscores bij 1 persoon = het gaat hier niet om de
absolute hoogte van scores, maar om de onderlinge verhouding
- ipsatieve scores = de testscore van 1 persoon worden met elkaar vergeleken, niet
met een externe norm
4. ontwikkelingen van een persoon = hetzelfde onderzoek met hetzelfde individu wordt
herhaald ip een ander tijdstip om ontwikkelingen te ontdekken
