Hoorcollege aantekeningen PAW TestTheorie hoorcolleges 8 t/m 12

Hoorcollege 8 Testtheorie: Betrouwbaarheid en validiteit

Beroepscode van het NIP

 Integer
 Respectvol
 Verantwoordelijk Persoonskenmerken waarover een psycholoog moet beschikken
 Deskundig

 Theoretische concepten
 Operationaliseren
 Meetinstrument
 Gestandaardiseerde afname
 Testscore (puntschatting)
 Intervalschatting (binnen welke grenzen zit iemand zijn werkelijke waarde)

Operationaliseren

Theoretisch concept = abstract kenmerk, eigenschap, variabele, construct, begrip, trait or state

Loopt van eenvoudig tot ingewikkeld:

 Gender (vragen naar man/ vrouw/ X)
 Lengte (geregisseerde meting in cm)
 Rekenvaardigheid (aantal goed op rekentest)
 Prestatie-motivatie (score op onderdeel van PMTK)
 Integriteit (score op integriteitstest)

Om integriteit te meten moet je operationaliseren.

Operationalisatie = De beschrijving van operaties die nodig zijn om de bedoelde eigenschap te meten.

Meetinstrument

Voor de integriteitstest is een vragenlijst afgenomen met een Likert Schaal.




Beoordeling integriteit

Vraag van de dag: Voldoet Vera aan de integriteitseis voor de GZ-opleiding?

Procedure:

 Stel: de grenswaarde voor integriteit is testscore 12.5 (erboven = toelating, eronder = afwijzing).
 Neem integriteitstest bij Vera af.
 Vera scoort 11 punten op de integriteitstest (is geen perfecte weergave van haar integriteit).
 Vergelijk geobserveerde score met grenswaarde.
 Vera scoort lager dan de grenswaarde.

(Voorlopig) antwoord van de dag:

,  Vera krijgt geen toegang tot de GZ-opleiding (puntschatting)
 Je neemt een beslissing in onzekerheid
 De wetenschap probeert deze onzekerheid te kwantificeren (vast te stellen hoe groot deze is).

Model klassieke testtheorie (hoe komt een score tot stand?)

Meetmodel voor testscore (geeft verklaring voor hoe je tot een testscore komt):




Testscore X (testscore, staat voor observatie) wordt bepaald door:

 Latente of ware score T (true score, de echte mate van integriteit van Vera) en (helaas)
 Toevallige meetfout E (error, allerlei omstandigheden waardoor iemand toevallig hoger of lager scoort
dan de ware score) Invloeden kunnen zijn: persoons-, omgevings-, test- en testleider invloeden.

Testscore X:




Xij = geobserveerde score (van persoon i bij afname j)
Ti = ware score (van persoon i)
Eij = toevallige meetfout (van persoon i bij afname j)

De geobserveerde score is de som van de ware score + de toevallige meetfout

Testscores (meetwaarden X):

1. Systematische invloeden (niet-gewenst, zoals sociaal-wenselijkheid)
 Wat test beoogt te meten
 Systematische meetfout
2. Toevallige invloeden

Meetfout




Betrouwbaarheid (reliability) = Mate van nauwkeurigheid, mate van herhaalbaarheid

Betrouwbare meting  afwezigheid toevallige meetfout

Validiteit (validity) = Mate waarin je meet wat je wilt meten. Zegt de score iets over dat wat je beoogd te
meten?

Valide meting  afwezigheid van toevallige meetfout en ook afwezigheid systematische meetfout



Toevallige meetfout

,Grote van toevallige meetfout in kaart brengen:

Stel iemand (i) doet oneindig vaak dezelfde test (=replicaties), dan frequentieverdeling van testscores X:




xij = geobserveerde score bij replicatie j van persoon i
ti = ware score van persoon i
eij = toevallige meetfout bij replicatie j voor persoon i (spreiding)
 Toevallige meetfout (ei) is verschil tussen xi en ti.
 Standaardmeetfout (E) is maat voor spreiding meetfout rondom de ware score (nodig voor
betrouwbaarheidsschatting).

Toevallige meetfout kenmerken

1. Bij replicaties is gemiddelde van E (meetfouten) gelijk aan 0:

 Voor individu is gemiddelde meetfout gelijk aan nul.

 In populatie (binnen een groep) is gemiddelde meetfout gelijk aan nul.

2. Meetfout E (toevallig en dus niet systematisch) correleert niet met ware score T:

ET = 0

 Meetfout komt uitsluitend door toevallige invloeden tot stand.

3. Meetfout E van verschillende tests correleren niet:

EE’ = 0 (De meetfout die bij de ene test voorkomt, hoeft niet bij de andere voor te komen)

 Meetfout komt uitsluitend door toevallige invloeden tot stand.

Standaardmeetfout

Standaardmeetfout (E)

 Standard error of measurement (SE, SEM)
 Spreiding van de toevallige meetfout rondom de ware score, bij oneindig aantal replicaties.
 Geeft een indicatie van de nauwkeurigheid van de meting in een populatie (= voor iedereen hetzelfde).
 De standaardmeetfout is identiek voor alle individuen waarbij je het instrument afneemt (= aanname).
 Met de standaardmeetfout kunnen we het betrouwbaarheidsinterval afleiden voor de ware score.
 Formule:




Betrouwbaarheid

, Testscore is ware score plus toevallig fout:


Testvariantie is ware scorevariantie plus errorvariantie:

Spreiding van scores op de test = spreiding ware scores + spreiding meetfout
Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie:


Betrouwbaarheid = ware scorevariantie/ ware scorevariantie + errorvariantie (totaal)
Probleem:
2
Variantie van ware scores S is onbekend,
T
 Betrouwbaarheid testscore moeten we daarom schatten (i.p.v. met deze formule).
Schatting betrouwbaarheid

1. Test-hertest betrouwbaarheid (test-retest) 
2. Paralleltest betrouwbaarheid (alternate form) 
3. Split-half betrouwbaarheid (split-half) 
4. Cronbach’s alfa (coëfficiënt alpha)  maat voor betrouwbaarheid van testscore

Test-hertest betrouwbaarheid

1. Test-hertest methode (Test-retest)
 Maakt gebruik van het idee dat testscores over de tijd hetzelfde zijn.
 Correlatie rX1X2 tussen testafnames X1 en X2 als schatting voor de betrouwbaarheid van
schaalscores.

Problemen:

 Leereffect (carryover effects)
 Kort tijd tussen afnames  herinnering, ervaring (waardoor onder- of overschatting van
betrouwbaarheid)
 Lange tijd tussen afnames  wijziging ware scores (waardoor onder- of overschatting van de
betrouwbaarheid), niet dezelfde test meerdere keren afnemen, maar juist een andere die hetzelfde
meet (paralleltest)

Paralleltest betrouwbaarheid

2. Paralleltest methode (Alternate-form)
 Maakt gebruik van het idee dat twee gelijkwaardige versies van dezelfde test dezelfde scores moet
opleveren.
 Correlatie rXX, tussen parallelle tests X en X’ als schatting voor de betrouwbaarheid.

Problemen:

Strikte parallelle tests zijn moeilijk te realiseren (je moet dan wel heel precieze test hebben).

 Inhoud
 Moeilijkheid
 Vorm
 Onderschatting van betrouwbaarheid.