Testtheorie - J2,B2
Week 1 – H1,2,3: Introductie & basiskennis
statistiek
Hst. 1 - Introductie
Psychometrie / Testtheorie = evalueert psychologische tests, dit gebeurt op 3 aspecten: het
soort informatie dat de tests opleveren (zoals scores), de betrouwbaarheid van deze gegevens
en de validiteit (of de test meet wat hij beweert te meten).
Psychometrie is ontstaan in de differentiële psychologie (de studie van individuele verschillen, zoals IQ/persoonlijkheid).
Een psychologische test is een systematische (objectief) manier om gedrag van mensen te
vergelijken, tussen verschillende tijdsmomenten of tussen mensen. → deze 3 componenten
moet de test dus volgens Cronbach hebben! (kwam ook in het college)
Psychologische tests meten vaak onobserveerbare eigenschappen, door observeerbaar
gedrag te analyseren. Zulke mentale eigenschappen worden constructen / latente variabelen
genoemd – theoretische concepten die niet direct zichtbaar zijn. Om deze meetbaar te maken,
definieër je iets observeerbaars zoals bepaald gedrag die het construct weerspiegelen, zodat je
het kan meten. Dit noem je operationele definities.
Verschillen in soorten tests:
Open-ended tests = tests waarbij je vrij mag antwoorden (bijv. een projectieve test).
Closed-ended tests = test met vaste antwoordmogelijkheden
Een test kan prestatieniveau meten (“maximum performance”) of gedragswijze (“typical
performance”). Prestatieniveau tests meten vaardigheden van mensen, zoals IQ-test, tentamen,
rijexamen. Je kan hier dus betere, of goede/foute antwoorden hebben. Gedragswijze tests zijn
alle tests dier hierbuiten vallen. Ze meten o.a. persoonlijkheidseigenschappen, attitudes,..
Tussen beide tests zitten grote verschillen in hoe je de testontwikkelijk aanpakt. Echter zijn er
nauwelijks verschillen in statistische analyse van de testscores.
Speeded tests meten hoe snel iemand eenvoudige taken kan uitvoeren binnen een zwaar
tijdslimiet (meer-vaardige personen beantwoorden meer vragen), terwijl bij power tests
vooral de moeilijkheid van items variëren en geen strikte tijdslimiet hebben (meer-vaardige
personen maken meer vragen goed).
Een voorbeeld van een speed test is de Bourdon dot concentration test (= zo snel mogelijk alle
groepjes van 4 cirkels op een blad omcirkelen).
,Tests kunnen worden gebruikt om prestaties te beoordelen aan de hand van een vastgestelde
norm. Criterium-gerichte tests vergelijken iemands score met een vooraf bepaalde absolute
standaard (bijvoorbeeld het halen van een rijexamen, of een tentamen). Het staat los van het
prestatieniveau van de populatie: om te meten hoe goed je een vaardigheid bezig, is dat
namelijk niet relevant. Daarentegen vergelijken norm-gerichte tests (zie p3,h5 van deze smv!) een
individu met de rest van de populatie; de resultaten worden afgezet tegen een reference
sample / normatieve sample, een representatieve groep van de populatie. Goede
normgegevens over de populatie zijn dus erg belangrijk.. Een voorbeeld hiervan is een
persoonlijkheidstest.
Speeded tests meten hoe snel iemand eenvoudige taken kan uitvoeren binnen een tijdslimiet,
terwijl power tests vooral de moeilijkheid van items variëren en geen strikte tijdslimiet
hebben.
Bij reflectieve (/effect) indicatoren wordt aangenomen dat het onderliggende construct
(zoals intelligentie) de testreacties veroorzaakt. Bij formatieve (/casual) indicatoren
daarentegen vormen de indicatoren samen het construct zelf, zoals bij sociaal-economische
status, die wordt bepaald door factoren als inkomen, opleiding en beroep.
Tests hebben bepaalde uitdagingen:
• Proefpersoon reactiviteit: mensen weten vaak dat ze gemeten worden, waardoor hun
gedrag kan veranderen. Ze kunnen zich anders gedragen door vraagkenmerken
(demand characteristics), waarbij ze proberen te raden wat de onderzoeker wil, of
door sociale wenselijkheid, waarbij ze antwoorden geven die sociaal aanvaardbaar
lijken in plaats van eerlijk te zijn.
• Observer (/scorer) bias: de persoon die observeert of scoort, kan (onbewust)
beïnvloed worden door verwachtingen of vooroordelen.
• Samengestelde scores: veel psychologische tests bestaan uit meerdere items waarvan
de scores worden opgeteld tot één totaalscore. Dit is nuttig, maar kan ook problemen
opleveren als de items niet allemaal hetzelfde construct meten.
• Score sensitiviteit of sensitiviteit verwijst naar het vermogen van een test om kleine,
maar betekenisvolle verschillen tussen mensen te onderscheiden. Een te grove schaal
kan subtiele maar belangrijke variaties over het hoofd zien.
Inhoud psychologische test:
• Testmateriaal = álles wat je voor de test gebruikt
• Testformulieren = hier worden de gegevens op opgeslagen (bij een vragenlijst staan de vragen
(testmateriaal) en ruimte voor het antwoord van de persoon beide op het formulier, dit is dan ook zowel
testmateriaal als testformulier. Een testformulier kan ook een computerbestand zijn die de oogbewegingen van
personen checkt. Of een formulier die de onderzoeker invult obv. gedrag dat hij waarneemt, etc.)
• Testhandleiding = hierdoor kan iedereen de test op dezelfde, objectieve/systematische
manier gebruiken
1. Exacte testinstructie = hoe de onderzoeker het precies moet uitvoeren
2. Verwerkingsprocedure = hoe de gegevens/antwoorden moeten worden
omgezet in een score (=de beoordeling)
3. Normtabellen = gegevens over de populatie (bijv. wat is normaal onder 4 jarigen)
, 4. Bespreking van wetenschappelijke kwaliteiten (& onderbouwing waarom er voor een
bepaalde operationalisatie is gekozen & theoretische achtergrond over het onderzochte onderwerp,…)
Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten construct: hogere
itemscore = ‘hoger’ op de eigenschap.
Testscore = vaak optelsom vd itemscores, belangrijkste uitkomst vd test, testhandleiding
vertelt hoe je ‘m moet interpreteren (bij normgerichte tests dmv. normgegevens → bijv. IQ-score = 30e
percentiel: dus verstandelijke beperking)
➢ Ook is de testscore een getal, maar de interpretatie hangt af van het meetniveau vd
testscore/test (zie hst. 2)
Hst. 2 – Schalen
Schalen (scaling) = de manier waarop numerieke waarden worden toegewezen aan
psychologische eigenschappen om hun hoeveelheid aan te geven.
Numerieke waarden kunnen psychologische eigenschappen op verschillende manieren
representeren, afhankelijk van hun eigenschappen:
1. Identiteit: cijfers geven aan of individuen hetzelfde of verschillend zijn met
betrekking tot een eigenschap. Ze dienen als labels voor categorieën (bijv. kinderen
met of zonder gedragsproblemen). Verschillen in numerieke labels hebben hierbij
geen kwantitatieve betekenis.
2. Volgorde: cijfers geven aan hoe individuen zich relatief tot elkaar verhouden op een
bepaalde eigenschap. Ze rangschikken mensen van hoog naar laag (bijv. kind 1 toont
de meeste interesse in leren, kind 2 de volgende hoogste, enz.). Volgorde geeft
informatie over relatieve verschillen, maar niet over de grootte van die verschillen.
3. Quantiteit: cijfers geven de exacte grootte van verschillen tussen individuen aan.
Hierbij wordt een numeriek systeem gebruikt met een gedefinieërde eenheid (bijv.
graden op een thermometer). → Psychologische tests worden vaak behandeld alsof
hun scores de eigenschap van quantiteit hebben, hoewel dit niet altijd zo is.
Het getal 0 kan op twee manieren worden geïnterpreteerd:
• Absolute nul: het attribuut bestaat helemaal niet. (Bijv. een reactietijd van 0 seconde
betekent geen tijd verstreken).
• Arbitraire nul: 0 is een gekozen referentiepunt en betekent niet dat het attribuut
afwezig is. (Bijv. een IQ-score van 0 of een z-score van 0 geeft slechts een relatieve
positie aan, niet het ontbreken van intelligentie).
, Het facet van meting = een aspect van een test dat bepaalt of de scores echt iets zeggen over
de hoeveelheid van de eigenschap die je wilt meten. →
Additiviteit betekent dat één extra punt/eenheid altijd hetzelfde bijdraagt aan de score. (Bijv. in
een geschiedenisquiz telt elk correct antwoord evenveel mee voor de score). Het probleem is dat in veel
psychologische tests de vragen verschillend zijn in moeilijkheid óf verschillende dingen
meten. Hierdoor kan de som van de scores (bijvoorbeeld het totaal aantal correcte
antwoorden) niet precies zeggen hoeveel iemand écht heeft van de eigenschap.
1. Het tellen van antwoorden is dus pas meten als de getelde eenheden echt
gelijkwaardig zijn en een echte hoeveelheid van de eigenschap aangeeft. →
Meting betekent dus dat de eenheden die geteld worden constant zijn
(additiviteit).
Er zijn vier schalen van meting:
• Nominale schaal = cijfers met de eigenschap van identiteit worden gebruikt om
gedragingen in categorieën te sorteren. De nummers zijn enkel labels, zonder
kwantitatieve betekenis.
• Ordinale schaal = cijfers met de eigenschap van volgorde geven een rangorde van
individuen aan op basis van een eigenschap. De nummers tonen relatieve positie, maar
niet de grootte van verschillen tussen individuen.
• Interval schaal = cijfers met de eigenschap van quantiteit en een arbitraire nul geven
kwantitatieve verschillen aan. Je kan precieze verschillen/additieven aangeven (bijv. A
is 5 meer dan B) maar niet zeggen A is 2x zoveel als B (omdat er geen échte 0 is). Een
voorbeeld is graden Celsius. Psychologische tests worden vaak behandeld alsof ze
intervalniveau hebben, hoewel dit vaak niet zo is (met andere woorden: vrijwel altijd zijn
psychologische tests niet ‘kwantitatief’, omdat er geen additiviteit is (elk punt extra representeert niet altijd een
even grote toename in de eigenschap, omdat niet elke vraag de eigenschap even veel meet).
Itemscores van psych.tests zijn duidelijk ordinaal. Omdat testscores een optelsom zijn van itemscores, zijn ze
daarmee formeel ook ordinaal. Lange tests met een grote range aan scores kan je, ondanks dit, praktisch als interval
zien. We DOEN vaak ALSOF testscores een interval meetniveau zijn, voor praktisch/statistisch gebruik. (bijv. in
spss gemidde;des uitrekenen).
• Ratio schaal = cijfers met de eigenschap van quantiteit en een absolute nul. Hierbij
kan je zeggen A is 5 meer dan B, én A is 2x zoveel als B. (bijv. fysieke afstand,
reactietijden in seconden,…). → Ratio-schalen zijn zeldzaam in psychologische tests
omdat psychologische eigenschappen meestal geen absolute nul hebben.
Nominaal Ordinaal Interval Ratio
Identiteit x x x X
Volgorde x x X
Quantiteit x x
Absolute 0 x
Bijv. Geslacht SES Temperatuur Afstand
persoonlijkheidstypes Korte likertschaal Lange likertschaal Bourdon dot test
Week 1 – H1,2,3: Introductie & basiskennis
statistiek
Hst. 1 - Introductie
Psychometrie / Testtheorie = evalueert psychologische tests, dit gebeurt op 3 aspecten: het
soort informatie dat de tests opleveren (zoals scores), de betrouwbaarheid van deze gegevens
en de validiteit (of de test meet wat hij beweert te meten).
Psychometrie is ontstaan in de differentiële psychologie (de studie van individuele verschillen, zoals IQ/persoonlijkheid).
Een psychologische test is een systematische (objectief) manier om gedrag van mensen te
vergelijken, tussen verschillende tijdsmomenten of tussen mensen. → deze 3 componenten
moet de test dus volgens Cronbach hebben! (kwam ook in het college)
Psychologische tests meten vaak onobserveerbare eigenschappen, door observeerbaar
gedrag te analyseren. Zulke mentale eigenschappen worden constructen / latente variabelen
genoemd – theoretische concepten die niet direct zichtbaar zijn. Om deze meetbaar te maken,
definieër je iets observeerbaars zoals bepaald gedrag die het construct weerspiegelen, zodat je
het kan meten. Dit noem je operationele definities.
Verschillen in soorten tests:
Open-ended tests = tests waarbij je vrij mag antwoorden (bijv. een projectieve test).
Closed-ended tests = test met vaste antwoordmogelijkheden
Een test kan prestatieniveau meten (“maximum performance”) of gedragswijze (“typical
performance”). Prestatieniveau tests meten vaardigheden van mensen, zoals IQ-test, tentamen,
rijexamen. Je kan hier dus betere, of goede/foute antwoorden hebben. Gedragswijze tests zijn
alle tests dier hierbuiten vallen. Ze meten o.a. persoonlijkheidseigenschappen, attitudes,..
Tussen beide tests zitten grote verschillen in hoe je de testontwikkelijk aanpakt. Echter zijn er
nauwelijks verschillen in statistische analyse van de testscores.
Speeded tests meten hoe snel iemand eenvoudige taken kan uitvoeren binnen een zwaar
tijdslimiet (meer-vaardige personen beantwoorden meer vragen), terwijl bij power tests
vooral de moeilijkheid van items variëren en geen strikte tijdslimiet hebben (meer-vaardige
personen maken meer vragen goed).
Een voorbeeld van een speed test is de Bourdon dot concentration test (= zo snel mogelijk alle
groepjes van 4 cirkels op een blad omcirkelen).
,Tests kunnen worden gebruikt om prestaties te beoordelen aan de hand van een vastgestelde
norm. Criterium-gerichte tests vergelijken iemands score met een vooraf bepaalde absolute
standaard (bijvoorbeeld het halen van een rijexamen, of een tentamen). Het staat los van het
prestatieniveau van de populatie: om te meten hoe goed je een vaardigheid bezig, is dat
namelijk niet relevant. Daarentegen vergelijken norm-gerichte tests (zie p3,h5 van deze smv!) een
individu met de rest van de populatie; de resultaten worden afgezet tegen een reference
sample / normatieve sample, een representatieve groep van de populatie. Goede
normgegevens over de populatie zijn dus erg belangrijk.. Een voorbeeld hiervan is een
persoonlijkheidstest.
Speeded tests meten hoe snel iemand eenvoudige taken kan uitvoeren binnen een tijdslimiet,
terwijl power tests vooral de moeilijkheid van items variëren en geen strikte tijdslimiet
hebben.
Bij reflectieve (/effect) indicatoren wordt aangenomen dat het onderliggende construct
(zoals intelligentie) de testreacties veroorzaakt. Bij formatieve (/casual) indicatoren
daarentegen vormen de indicatoren samen het construct zelf, zoals bij sociaal-economische
status, die wordt bepaald door factoren als inkomen, opleiding en beroep.
Tests hebben bepaalde uitdagingen:
• Proefpersoon reactiviteit: mensen weten vaak dat ze gemeten worden, waardoor hun
gedrag kan veranderen. Ze kunnen zich anders gedragen door vraagkenmerken
(demand characteristics), waarbij ze proberen te raden wat de onderzoeker wil, of
door sociale wenselijkheid, waarbij ze antwoorden geven die sociaal aanvaardbaar
lijken in plaats van eerlijk te zijn.
• Observer (/scorer) bias: de persoon die observeert of scoort, kan (onbewust)
beïnvloed worden door verwachtingen of vooroordelen.
• Samengestelde scores: veel psychologische tests bestaan uit meerdere items waarvan
de scores worden opgeteld tot één totaalscore. Dit is nuttig, maar kan ook problemen
opleveren als de items niet allemaal hetzelfde construct meten.
• Score sensitiviteit of sensitiviteit verwijst naar het vermogen van een test om kleine,
maar betekenisvolle verschillen tussen mensen te onderscheiden. Een te grove schaal
kan subtiele maar belangrijke variaties over het hoofd zien.
Inhoud psychologische test:
• Testmateriaal = álles wat je voor de test gebruikt
• Testformulieren = hier worden de gegevens op opgeslagen (bij een vragenlijst staan de vragen
(testmateriaal) en ruimte voor het antwoord van de persoon beide op het formulier, dit is dan ook zowel
testmateriaal als testformulier. Een testformulier kan ook een computerbestand zijn die de oogbewegingen van
personen checkt. Of een formulier die de onderzoeker invult obv. gedrag dat hij waarneemt, etc.)
• Testhandleiding = hierdoor kan iedereen de test op dezelfde, objectieve/systematische
manier gebruiken
1. Exacte testinstructie = hoe de onderzoeker het precies moet uitvoeren
2. Verwerkingsprocedure = hoe de gegevens/antwoorden moeten worden
omgezet in een score (=de beoordeling)
3. Normtabellen = gegevens over de populatie (bijv. wat is normaal onder 4 jarigen)
, 4. Bespreking van wetenschappelijke kwaliteiten (& onderbouwing waarom er voor een
bepaalde operationalisatie is gekozen & theoretische achtergrond over het onderzochte onderwerp,…)
Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten construct: hogere
itemscore = ‘hoger’ op de eigenschap.
Testscore = vaak optelsom vd itemscores, belangrijkste uitkomst vd test, testhandleiding
vertelt hoe je ‘m moet interpreteren (bij normgerichte tests dmv. normgegevens → bijv. IQ-score = 30e
percentiel: dus verstandelijke beperking)
➢ Ook is de testscore een getal, maar de interpretatie hangt af van het meetniveau vd
testscore/test (zie hst. 2)
Hst. 2 – Schalen
Schalen (scaling) = de manier waarop numerieke waarden worden toegewezen aan
psychologische eigenschappen om hun hoeveelheid aan te geven.
Numerieke waarden kunnen psychologische eigenschappen op verschillende manieren
representeren, afhankelijk van hun eigenschappen:
1. Identiteit: cijfers geven aan of individuen hetzelfde of verschillend zijn met
betrekking tot een eigenschap. Ze dienen als labels voor categorieën (bijv. kinderen
met of zonder gedragsproblemen). Verschillen in numerieke labels hebben hierbij
geen kwantitatieve betekenis.
2. Volgorde: cijfers geven aan hoe individuen zich relatief tot elkaar verhouden op een
bepaalde eigenschap. Ze rangschikken mensen van hoog naar laag (bijv. kind 1 toont
de meeste interesse in leren, kind 2 de volgende hoogste, enz.). Volgorde geeft
informatie over relatieve verschillen, maar niet over de grootte van die verschillen.
3. Quantiteit: cijfers geven de exacte grootte van verschillen tussen individuen aan.
Hierbij wordt een numeriek systeem gebruikt met een gedefinieërde eenheid (bijv.
graden op een thermometer). → Psychologische tests worden vaak behandeld alsof
hun scores de eigenschap van quantiteit hebben, hoewel dit niet altijd zo is.
Het getal 0 kan op twee manieren worden geïnterpreteerd:
• Absolute nul: het attribuut bestaat helemaal niet. (Bijv. een reactietijd van 0 seconde
betekent geen tijd verstreken).
• Arbitraire nul: 0 is een gekozen referentiepunt en betekent niet dat het attribuut
afwezig is. (Bijv. een IQ-score van 0 of een z-score van 0 geeft slechts een relatieve
positie aan, niet het ontbreken van intelligentie).
, Het facet van meting = een aspect van een test dat bepaalt of de scores echt iets zeggen over
de hoeveelheid van de eigenschap die je wilt meten. →
Additiviteit betekent dat één extra punt/eenheid altijd hetzelfde bijdraagt aan de score. (Bijv. in
een geschiedenisquiz telt elk correct antwoord evenveel mee voor de score). Het probleem is dat in veel
psychologische tests de vragen verschillend zijn in moeilijkheid óf verschillende dingen
meten. Hierdoor kan de som van de scores (bijvoorbeeld het totaal aantal correcte
antwoorden) niet precies zeggen hoeveel iemand écht heeft van de eigenschap.
1. Het tellen van antwoorden is dus pas meten als de getelde eenheden echt
gelijkwaardig zijn en een echte hoeveelheid van de eigenschap aangeeft. →
Meting betekent dus dat de eenheden die geteld worden constant zijn
(additiviteit).
Er zijn vier schalen van meting:
• Nominale schaal = cijfers met de eigenschap van identiteit worden gebruikt om
gedragingen in categorieën te sorteren. De nummers zijn enkel labels, zonder
kwantitatieve betekenis.
• Ordinale schaal = cijfers met de eigenschap van volgorde geven een rangorde van
individuen aan op basis van een eigenschap. De nummers tonen relatieve positie, maar
niet de grootte van verschillen tussen individuen.
• Interval schaal = cijfers met de eigenschap van quantiteit en een arbitraire nul geven
kwantitatieve verschillen aan. Je kan precieze verschillen/additieven aangeven (bijv. A
is 5 meer dan B) maar niet zeggen A is 2x zoveel als B (omdat er geen échte 0 is). Een
voorbeeld is graden Celsius. Psychologische tests worden vaak behandeld alsof ze
intervalniveau hebben, hoewel dit vaak niet zo is (met andere woorden: vrijwel altijd zijn
psychologische tests niet ‘kwantitatief’, omdat er geen additiviteit is (elk punt extra representeert niet altijd een
even grote toename in de eigenschap, omdat niet elke vraag de eigenschap even veel meet).
Itemscores van psych.tests zijn duidelijk ordinaal. Omdat testscores een optelsom zijn van itemscores, zijn ze
daarmee formeel ook ordinaal. Lange tests met een grote range aan scores kan je, ondanks dit, praktisch als interval
zien. We DOEN vaak ALSOF testscores een interval meetniveau zijn, voor praktisch/statistisch gebruik. (bijv. in
spss gemidde;des uitrekenen).
• Ratio schaal = cijfers met de eigenschap van quantiteit en een absolute nul. Hierbij
kan je zeggen A is 5 meer dan B, én A is 2x zoveel als B. (bijv. fysieke afstand,
reactietijden in seconden,…). → Ratio-schalen zijn zeldzaam in psychologische tests
omdat psychologische eigenschappen meestal geen absolute nul hebben.
Nominaal Ordinaal Interval Ratio
Identiteit x x x X
Volgorde x x X
Quantiteit x x
Absolute 0 x
Bijv. Geslacht SES Temperatuur Afstand
persoonlijkheidstypes Korte likertschaal Lange likertschaal Bourdon dot test
