Diagnostiek en Assessment in Opvoeding, Onderwijs en Hulpverlening – college 4
Leerdoelen
het belang van betrouwbare testscores benoemen
de 4 typen van betrouwbaarheid uitleggen en van elkaar onderscheiden
KTT-statistieken interpreteren
Verschillen benoemen tussen de KTT- en IRT benadering bij het beoordelen van de
kwaliteit van individuele items
Mag dit zomaar???
Mag je de items van de PSSS wel bij elkaar optellen tot een totaalscore en er verder
mee rekenen?
Hangen de items wel onderling samen?
Zijn alle items essentieel of kunnen/moeten er items af?
Haalt een persoon die de lijst meerdere keren invult dezelfde score onder
vergelijkbare omstandigheden?
Zijn de items op een betrouwbare manier te scoren?
Hangt de score op deze subschaal samen met de scores op de andere subschalen
en/of met scores op andere (on)gerelateerde vragenlijsten?
Inzoomen op: Relaties
… tussen items, tussen subschaalscores, tussen scores op verschillende vragenlijsten, etc.
Correlatie
- richting: positief of negatief (+ of –)
- range: -1 tot +1
- grootte: geen – zwak – gemiddeld – sterk – perfect (gebeurt bijna nooit)
- Verschillende correlatiecoëfficienten:
o Pearson – interval en ratio schalen (standaard)
o Spearman – ordinale schaal (op rangorde)
o Point-biserial – dichotome score relateren aan interval/ratio schaal
Definitie Betrouwbaarheid (vereiste voor validiteit)
- Nauwkeurigheid van een meetprocedure
o Zijn scores consistent en reproduceerbaar?
o Een vereiste voor validiteit
o Kenmerk van een score, niet van een test
Dus een testkenmerk; betrouwbaarheid is per subschaal anders.
- Betrouwbaarheid hangt af van de grootte van de standaard meetfout (SEM)
Een test moet eerst betrouwbaar zijn voordat je kan kijken naar validiteit.
Meetfouten
- Test scores bestaan uit:
o Ware scores (true scores)
Hoe goed je daadwerkelijk de stof kent die getest wordt
o Meetfout (measurement error)
Positieve/negatieve invloed op jouw score; afwijkend van jouw ‘true
score’
- Formule
o X=T+e
o Geobserveerde score (X) = Ware score (T) +
meetfout (e)
- Meetfout: verschil tussen de geobserveerde score
en de ware score
, Waar komen meetfouten vandaan?
- Factoren in de persoon zelf
o Vermoeidheid, motivatie, angst, enz.
o Groei of leren
- Omgevingsfactoren
o Natuurlijke factoren: regen, zon, temperatuur, enz.
o Gecontroleerde factoren: kamertemperatuur, licht, afleiding, enz.
Docent: bv. bij tentamen voor iemand zitten die “uuguhgdgu’ doet.
- Taak factoren
o Content sampling: selectie van items voor meetinstrument kan verschillen
van taak tot taak
o Test procedures: instructies, tijd, papier, meten, enz. (tijd op de dag)
- Omvang van de sample
o Kleine sample: zorgt niet voor een stabiele en betrouwbare representatie.
De meetfout moet zo veel mogelijk beperkt worden. Dus zo min mogelijk invloed van
bovenstaande factoren. Indien mogelijk moet er voor deze factoren gecontroleerd worden
door de testontwikkelaars/testleiders.
Standaard Meetfout
- Statistisch: Standaard deviatie van de variaties in de metingen
o Spreiding van de geobserveerde metingen (of scores) rondom “ware” meting
(of score); ruis in de meting
o Error geassocieerd met metingen
- Conceptueel: Inconsistentie in scores die wij verwachten als we heel veel herhaalde
metingen konden doen.
Het tentamen 500x afneem; dan in kaart brengen hoeveel variatie daarin zit. De ware score
ergens in de variatie.
Betrouwbaarheid
- Betrouwbaarheid: De mate waarin twee metingen met elkaar overeenkomen
o “Overeenkomen”: persoon staat relatief gezien in dezelfde positie tot andere
personen
o Proportie van variantie in de geobserveerde scoren veroorzaakt door ware
verschillen tussen mensen
- Betrouwbaarheid is gerelateerd aan de standaard meet fout (Standard Error of
Measurement, SEM)
o Hoe minder fouten met de geobserveerde score – des te groter de kans dat
de rangorde voor een groep studenten hetzelfde blijft van versie 1 tot versie 2
o Meer gelijke rangordening – hogere correlatie tussen versie 1 en 2 (dus,
hogere betrouwbaarheid)
DUS: Kleinere SEM – Hogere betrouwbaarheid!
Betrouwbaarheid van verschil scores
Onder de invloed van:
- Fouten van twee testen
- Correlaties tussen twee testen
Moraal van het verhaal: Betrouwbaarheid van verschil scoren veel lager dan
betrouwbaarheid van twee tests alleen
Verschilscores (2 scores) heeft twee meetfouten, waardoor de betrouwbaarheid afneemt.
Belangrijk bij: selecteren van een test:
- Resultaten en kwaliteit psychometrische studies meewegen
o O.a. benodigde “hoogte”/grootte van de waarden
Leerdoelen
het belang van betrouwbare testscores benoemen
de 4 typen van betrouwbaarheid uitleggen en van elkaar onderscheiden
KTT-statistieken interpreteren
Verschillen benoemen tussen de KTT- en IRT benadering bij het beoordelen van de
kwaliteit van individuele items
Mag dit zomaar???
Mag je de items van de PSSS wel bij elkaar optellen tot een totaalscore en er verder
mee rekenen?
Hangen de items wel onderling samen?
Zijn alle items essentieel of kunnen/moeten er items af?
Haalt een persoon die de lijst meerdere keren invult dezelfde score onder
vergelijkbare omstandigheden?
Zijn de items op een betrouwbare manier te scoren?
Hangt de score op deze subschaal samen met de scores op de andere subschalen
en/of met scores op andere (on)gerelateerde vragenlijsten?
Inzoomen op: Relaties
… tussen items, tussen subschaalscores, tussen scores op verschillende vragenlijsten, etc.
Correlatie
- richting: positief of negatief (+ of –)
- range: -1 tot +1
- grootte: geen – zwak – gemiddeld – sterk – perfect (gebeurt bijna nooit)
- Verschillende correlatiecoëfficienten:
o Pearson – interval en ratio schalen (standaard)
o Spearman – ordinale schaal (op rangorde)
o Point-biserial – dichotome score relateren aan interval/ratio schaal
Definitie Betrouwbaarheid (vereiste voor validiteit)
- Nauwkeurigheid van een meetprocedure
o Zijn scores consistent en reproduceerbaar?
o Een vereiste voor validiteit
o Kenmerk van een score, niet van een test
Dus een testkenmerk; betrouwbaarheid is per subschaal anders.
- Betrouwbaarheid hangt af van de grootte van de standaard meetfout (SEM)
Een test moet eerst betrouwbaar zijn voordat je kan kijken naar validiteit.
Meetfouten
- Test scores bestaan uit:
o Ware scores (true scores)
Hoe goed je daadwerkelijk de stof kent die getest wordt
o Meetfout (measurement error)
Positieve/negatieve invloed op jouw score; afwijkend van jouw ‘true
score’
- Formule
o X=T+e
o Geobserveerde score (X) = Ware score (T) +
meetfout (e)
- Meetfout: verschil tussen de geobserveerde score
en de ware score
, Waar komen meetfouten vandaan?
- Factoren in de persoon zelf
o Vermoeidheid, motivatie, angst, enz.
o Groei of leren
- Omgevingsfactoren
o Natuurlijke factoren: regen, zon, temperatuur, enz.
o Gecontroleerde factoren: kamertemperatuur, licht, afleiding, enz.
Docent: bv. bij tentamen voor iemand zitten die “uuguhgdgu’ doet.
- Taak factoren
o Content sampling: selectie van items voor meetinstrument kan verschillen
van taak tot taak
o Test procedures: instructies, tijd, papier, meten, enz. (tijd op de dag)
- Omvang van de sample
o Kleine sample: zorgt niet voor een stabiele en betrouwbare representatie.
De meetfout moet zo veel mogelijk beperkt worden. Dus zo min mogelijk invloed van
bovenstaande factoren. Indien mogelijk moet er voor deze factoren gecontroleerd worden
door de testontwikkelaars/testleiders.
Standaard Meetfout
- Statistisch: Standaard deviatie van de variaties in de metingen
o Spreiding van de geobserveerde metingen (of scores) rondom “ware” meting
(of score); ruis in de meting
o Error geassocieerd met metingen
- Conceptueel: Inconsistentie in scores die wij verwachten als we heel veel herhaalde
metingen konden doen.
Het tentamen 500x afneem; dan in kaart brengen hoeveel variatie daarin zit. De ware score
ergens in de variatie.
Betrouwbaarheid
- Betrouwbaarheid: De mate waarin twee metingen met elkaar overeenkomen
o “Overeenkomen”: persoon staat relatief gezien in dezelfde positie tot andere
personen
o Proportie van variantie in de geobserveerde scoren veroorzaakt door ware
verschillen tussen mensen
- Betrouwbaarheid is gerelateerd aan de standaard meet fout (Standard Error of
Measurement, SEM)
o Hoe minder fouten met de geobserveerde score – des te groter de kans dat
de rangorde voor een groep studenten hetzelfde blijft van versie 1 tot versie 2
o Meer gelijke rangordening – hogere correlatie tussen versie 1 en 2 (dus,
hogere betrouwbaarheid)
DUS: Kleinere SEM – Hogere betrouwbaarheid!
Betrouwbaarheid van verschil scores
Onder de invloed van:
- Fouten van twee testen
- Correlaties tussen twee testen
Moraal van het verhaal: Betrouwbaarheid van verschil scoren veel lager dan
betrouwbaarheid van twee tests alleen
Verschilscores (2 scores) heeft twee meetfouten, waardoor de betrouwbaarheid afneemt.
Belangrijk bij: selecteren van een test:
- Resultaten en kwaliteit psychometrische studies meewegen
o O.a. benodigde “hoogte”/grootte van de waarden
