Psychometrie – H7
Betrouwbaarheid: concept en de berekening (split half, test-hertest, cronbach’s alfa)
→ Welke deel van het totaal is bepaald door True score variantie (het gedeelte waar je
geïnteresseerd in bent). Het totaal moet zoveel mogelijk bepaald worden door True Score.
→ Hoe groter de True score, hoe betrouwbaarder de test.
True Score kun je niet perfect bepalen omdat dit onzichtbaar is.
CTT zegt dat de geobserveerde score bestaat uit: true en error. Theorie en praktijk ligt uit elkaar.
→ Systematisch (constant en onveranderd > True score variantie) en niet-systematisch (niet
constant en veranderd per test > Error variantie).
→ Wat blijft gelijk tussen de verschillende metingen (systematisch / true score)?
➢ Correlatie om betrouwbaarheid te bepalen
- Errorvariantie correleert NERGENS mee
- True score kan correleren (toont wat constant en onveranderd is tussen twee metingen)
➢ Correlatie is wat constant blijft tussen een meting
Meting; hangt af van de maat van de betrouwbaarheid die je gaat doen.
Voorbeeld: test-hertest (meting 1, meting 2), parallele vormen (versie 1 en versie 2), split half
(eerste helft en tweede helft). Wat blijft hiertussen constant/stabiel?
Cronbach’s alfa (ieder item is een meting, voorbeeld: correlatie tussen 60 items/metingen).
Er kunnen bij deze vier manieren vertekeningen plaatsvinden (allemaal andere vertekening).
Probleem = Soms is systematisch niet precies True Score, niet-systematisch niet altijd Error Score.
Correlatie kan een verkeerd beeld geven omdat dit niet altijd gelijk is.
Bij alle manieren ga je uit van 2 metingen (of meer)
➢ Systematisch = beide (alle) metingen zijn beïnvloed dus als allebei de metingen precies op
hetzelfde reageren en beïnvloed worden.
De vertekening van de resultaten (Error) verandert niet tussen de 2 metingen en deze
vertekening wordt dan systematisch.
De systematische vertekening wordt meegenomen in de correlatie en CTT. Hierdoor wordt
de betrouwbaarheid vertekend van een test door het gedeelte True Score.
Voorbeeld: beide testen zijn beïnvloed door verkoudheid. Dit is systematisch maar geen echte True
score want je was verkouden.
Waarom zijn de verschillende manieren om betrouwbaarheid uit te rekenen anders gevoelig?
De metingen waarvan je op basis de correlatie en betrouwbaarheid gaat bepalen zijn anders.
De vormen bepalen namelijk op een andere manier de metingen. Het verschilt door de soort meting
en tijd van de meting.
• Test-hertest: 1x verkouden tijdens twee testen → Error Score
• Parallele vormen: 1x verkouden tijdens twee testen → Error Score
• Split half: verkoudheid op 1 metingen zorgt voor systematische vertekening omdat deze ene
test is gesplitst → True score (niet terecht)
• Cronbach’s alfa: verkoudheid op 1 metingen is bij alle items dus de items worden op dezelfde
manier beïnvloed. Dit is nu systematisch → True score (niet terecht)
1
, Betrouwbaarheid is welk gedeelte van het totaal bestaat uit True Score (dit is onzichtbaar). Dus
kijken naar systematisch of niet systematisch met correlatie omdat correlatie kan aangeven wat
stabiel is gebleven en wat niet tussen verschillende metingen.
De correlatie wordt bepaald door de verschillende metingen tijdens de testen.
Wat voor Split Half en Cronbach’s alfa systematisch lijkt hoeft niet voor de test-hertest en de
Parallele vormen ook systematisch te zijn.
De verschillende maten meten de True score variantie en door de verschillende metingen kunnen ze
op verschillende manieren beïnvloed raken door vertekeningen hiervan.
Parallele vormen (geen identieke toetsen, lijken wel qua inhoud) → zit tijd tussen de
toetsen? Voorbeeld: herkansing of twee versies van de bloktoets. Bij test-hertest wel tijd
tussen.
Bepalen wat je twee metingen zijn en WANNEER zijn deze metingen afgenomen
(hierdoor zou wel iets systematisch kunnen worden). De mate waarin de twee
metingen zijn in de tijd.
Hoofdstuk 7
4 metingen om betrouwbaarheid te meten. Waarom doen we dit?
Praktische voorbeelden waarom het goed is om naar betrouwbaarheid te kijken.
Heel veel wat we doen kan beïnvloed worden door (on)betrouwbaarheid.
Individuele testscore
Hoeveel ligt de behaalde score bij de true score van deze persoon? Voorbeeld: 5.4 (pech)
Hoe zeker weet je dat dit cijfer terecht is?
Een geobserveerde score kan beïnvloed worden door betrouwbaarheid.
➢ Point Estimates of True Score = behaalde individuele cijfer op de toets die een schatting
geeft van kennis/onderliggende construct.
- Het individuele cijfer is gebaseerd op je geobserveerde score.
- Je gaat ervanuit dat de True score gelijk is aan de Geobserveerde Score
➢ De score corrigeren voor de betrouwbaarheid van de toets door de Error mee te nemen
- Met welke ware score komt het cijfer overeen i.p.v. met welke geobserveerde score
Formule:
Praktisch voorbeeld 1: 5.4 kan ook 5.7 of 5.2 zijn. Dit wordt beïnvloed door de betrouwbaarheid van
de toets waarbij er niet alleen gekeken wordt naar de geobserveerde score.
Praktisch voorbeeld 2: gemiddelde is 7. De ene student heeft 9.8 en de andere heeft een 7.4 Welke
score ligt dichter bij de true score. Welk geobserveerde cijfer ligt dichter bij wat het echt moest zijn?
De 7.4 ligt dichter bij de ware score (true score) dan de 9.8.
Hoe verder je bij gemiddelde afgaat, hoe minder aannemelijk deze score (meer geluk of pech).
2
Betrouwbaarheid: concept en de berekening (split half, test-hertest, cronbach’s alfa)
→ Welke deel van het totaal is bepaald door True score variantie (het gedeelte waar je
geïnteresseerd in bent). Het totaal moet zoveel mogelijk bepaald worden door True Score.
→ Hoe groter de True score, hoe betrouwbaarder de test.
True Score kun je niet perfect bepalen omdat dit onzichtbaar is.
CTT zegt dat de geobserveerde score bestaat uit: true en error. Theorie en praktijk ligt uit elkaar.
→ Systematisch (constant en onveranderd > True score variantie) en niet-systematisch (niet
constant en veranderd per test > Error variantie).
→ Wat blijft gelijk tussen de verschillende metingen (systematisch / true score)?
➢ Correlatie om betrouwbaarheid te bepalen
- Errorvariantie correleert NERGENS mee
- True score kan correleren (toont wat constant en onveranderd is tussen twee metingen)
➢ Correlatie is wat constant blijft tussen een meting
Meting; hangt af van de maat van de betrouwbaarheid die je gaat doen.
Voorbeeld: test-hertest (meting 1, meting 2), parallele vormen (versie 1 en versie 2), split half
(eerste helft en tweede helft). Wat blijft hiertussen constant/stabiel?
Cronbach’s alfa (ieder item is een meting, voorbeeld: correlatie tussen 60 items/metingen).
Er kunnen bij deze vier manieren vertekeningen plaatsvinden (allemaal andere vertekening).
Probleem = Soms is systematisch niet precies True Score, niet-systematisch niet altijd Error Score.
Correlatie kan een verkeerd beeld geven omdat dit niet altijd gelijk is.
Bij alle manieren ga je uit van 2 metingen (of meer)
➢ Systematisch = beide (alle) metingen zijn beïnvloed dus als allebei de metingen precies op
hetzelfde reageren en beïnvloed worden.
De vertekening van de resultaten (Error) verandert niet tussen de 2 metingen en deze
vertekening wordt dan systematisch.
De systematische vertekening wordt meegenomen in de correlatie en CTT. Hierdoor wordt
de betrouwbaarheid vertekend van een test door het gedeelte True Score.
Voorbeeld: beide testen zijn beïnvloed door verkoudheid. Dit is systematisch maar geen echte True
score want je was verkouden.
Waarom zijn de verschillende manieren om betrouwbaarheid uit te rekenen anders gevoelig?
De metingen waarvan je op basis de correlatie en betrouwbaarheid gaat bepalen zijn anders.
De vormen bepalen namelijk op een andere manier de metingen. Het verschilt door de soort meting
en tijd van de meting.
• Test-hertest: 1x verkouden tijdens twee testen → Error Score
• Parallele vormen: 1x verkouden tijdens twee testen → Error Score
• Split half: verkoudheid op 1 metingen zorgt voor systematische vertekening omdat deze ene
test is gesplitst → True score (niet terecht)
• Cronbach’s alfa: verkoudheid op 1 metingen is bij alle items dus de items worden op dezelfde
manier beïnvloed. Dit is nu systematisch → True score (niet terecht)
1
, Betrouwbaarheid is welk gedeelte van het totaal bestaat uit True Score (dit is onzichtbaar). Dus
kijken naar systematisch of niet systematisch met correlatie omdat correlatie kan aangeven wat
stabiel is gebleven en wat niet tussen verschillende metingen.
De correlatie wordt bepaald door de verschillende metingen tijdens de testen.
Wat voor Split Half en Cronbach’s alfa systematisch lijkt hoeft niet voor de test-hertest en de
Parallele vormen ook systematisch te zijn.
De verschillende maten meten de True score variantie en door de verschillende metingen kunnen ze
op verschillende manieren beïnvloed raken door vertekeningen hiervan.
Parallele vormen (geen identieke toetsen, lijken wel qua inhoud) → zit tijd tussen de
toetsen? Voorbeeld: herkansing of twee versies van de bloktoets. Bij test-hertest wel tijd
tussen.
Bepalen wat je twee metingen zijn en WANNEER zijn deze metingen afgenomen
(hierdoor zou wel iets systematisch kunnen worden). De mate waarin de twee
metingen zijn in de tijd.
Hoofdstuk 7
4 metingen om betrouwbaarheid te meten. Waarom doen we dit?
Praktische voorbeelden waarom het goed is om naar betrouwbaarheid te kijken.
Heel veel wat we doen kan beïnvloed worden door (on)betrouwbaarheid.
Individuele testscore
Hoeveel ligt de behaalde score bij de true score van deze persoon? Voorbeeld: 5.4 (pech)
Hoe zeker weet je dat dit cijfer terecht is?
Een geobserveerde score kan beïnvloed worden door betrouwbaarheid.
➢ Point Estimates of True Score = behaalde individuele cijfer op de toets die een schatting
geeft van kennis/onderliggende construct.
- Het individuele cijfer is gebaseerd op je geobserveerde score.
- Je gaat ervanuit dat de True score gelijk is aan de Geobserveerde Score
➢ De score corrigeren voor de betrouwbaarheid van de toets door de Error mee te nemen
- Met welke ware score komt het cijfer overeen i.p.v. met welke geobserveerde score
Formule:
Praktisch voorbeeld 1: 5.4 kan ook 5.7 of 5.2 zijn. Dit wordt beïnvloed door de betrouwbaarheid van
de toets waarbij er niet alleen gekeken wordt naar de geobserveerde score.
Praktisch voorbeeld 2: gemiddelde is 7. De ene student heeft 9.8 en de andere heeft een 7.4 Welke
score ligt dichter bij de true score. Welk geobserveerde cijfer ligt dichter bij wat het echt moest zijn?
De 7.4 ligt dichter bij de ware score (true score) dan de 9.8.
Hoe verder je bij gemiddelde afgaat, hoe minder aannemelijk deze score (meer geluk of pech).
2
