Psychometrie – Overzicht
Tutorial bijeenkomst 1: Inleiding en verschillen,
consistentie en de betekenis van testscores
Literatuur (college)
Uitdagingen bij het meten
- Identificeer en leg menselijke psychologische kenmerken vast in één getal
o Is dit wel mogelijk?
- Reactiviteit van de deelnemer
o Sommige mensen zullen de neiging hebben om een sterkere reactie te
hebben dan anderen
- Objectiviteit (verwachtings- en bias-effecten)
o Het is erg moeilijk om volledig objectief te zijn, zowel als de persoon die de
test gebruikt als degene die de test aflegt
- Samengestelde score (combinatie van verschillende onderdelen)
o Kun je echt gewoon de partituren erbij optellen?
- Score gevoeligheid
o Is je test gevoelig genoeg om verschillen te meten?
- Gebrek aan bewustzijn van psychometrische informatie
o Mensen gebruiken de tests en weten vaak niet eens of de test goed genoeg is
of hoe ze deze moeten interpreteren, enz.
Eigenschappen van getallen
- Identiteit: identiek, elkaar uitsluitend en uitputtend
o Itiek: iedereen in dezelfde categorie is identiek met betrekking tot het
gemeten kenmerk (=labels)
o Elkaar uitsluitend: iemand die in de ene categorie valt, kan niet in de andere
vallen
o Uitputtend: iedereen valt in één categorie
- Volgorde: cijfers zijn nog steeds labels, maar rangen hebben betekenis.
o Je weet nog steeds niet wat de afstand tussen getallen is
- Hoeveelheid: echte aantallen, geef de exacte hoeveelheid attribuut aan, de grootte
van het verschil tussen mensen, continu
Voorwaarde
Psychologische meting = een proces waarbij getallen worden toegekend om kwaliteiten van
psychologische eigenschappen weer te geven
,Scaling = de manier waarop numerieke waarden worden toegekend aan psychologische
attributen
Vier meetschalen
- Nominale schalen. Eigenschap van identiteit wordt gebruikt om observaties in
categorieën te labelen op basis van een psychologisch kenmerk. Sta alleen
labelen/categoriseren toe.
o Opmerking: labels om te identificeren, personen te benoemen.
- Ordinale schalen. Eigenschap van orde: mensen worden geordend op basis van een
psychologisch kenmerk, rangschikking toestaan.
- Interval schalen. Eigenschap van kwantiteit en willekeurige nul. Nul betekent niet de
afwezigheid van een attribuut. Meeteenheden hebben een constante grootte. Sta
additiviteit toe.
- Verhoudingsschalen: Eigenschap van kwantiteit en absoluut nulpunt. Nul geeft de
echte afwezigheid van een kenmerk aan. Sta optelling en vermenigvuldiging toe.
- Psychologische kenmerken: ordinale schaal is nauwkeurig, maar intervalschaal wordt
algemeen aanvaard. Voor geaggregeerde scores (somscores, gemiddelden) lijkt dit
redelijk. Voor afzonderlijke artikelen kan het problematisch zijn
Meeteenheden
- Willekeur in eenheidsgrootte
o Alle meeteenheden die we kennen, zijn op een gegeven moment besloten
o Consensus maakt het voor ons gemakkelijk om met anderen te communiceren
- Willekeur in het type object dat moet worden gemeten
o Kilogrammen zijn niet beperkt tot het meten van slechts één type object
- Willekeur in kenmerk dat wordt gemeten
o Sommige eenheden kunnen worden gebruikt om meerdere kenmerken te
meten
Psychologische attributen meestal alleen willekeurig in eenheidsgrootte!
o Met één test kunnen we alleen het kenmerk meten dat het als test is gemaakt
Problemen met getallen in de sociale wetenschappen
- Komen "meeteenheden" overeen met gelijke hoeveelheden van een attribuut
(additiviteit)?
- We willen dat onze meting wordt beïnvloed door slechts één kenmerk van wat we
meten, ongeacht de omstandigheden die bestaan op het moment of de plaats van
meting.
- Paradox: we willen de hoeveelheid van een psychologisch attribuut vertalen naar een
reeks getallen om het attribuut te meten. Maar we weten niet hoeveel van het
attribuut daadwerkelijk bestaat, omdat we het psychologische attribuut niet
rechtstreeks kunnen waarnemen.
Veranderlijkheid
, - De grootte van de afwijking is afhankelijk van:
o De mate waarin scores in de verdeling verschillen
o De metriek van de scores in de distributie
- Factoren waarmee rekening moet worden gehouden bij het interpreteren van
variantie:
o De variantie kan niet kleiner zijn dan 0
o Geen eenvoudige klein/groot interpretatie mogelijk
o Context/vergelijking is nodig om de grootte te interpreteren
o Vooral belangrijk vanwege de effecten op andere waarden (bijv. correlatie,
betrouwbaarheid)
Kwantificering van het verband tussen distributie
- Sterke associatie = consistente individuele verschillen
- Covariantie: Geeft informatie over de richting van de vereniging
o Kan negatief zijn
o Kan geen kwadratische relatie tonen (krijgt waarschijnlijk 0)
- Correlatie: Geeft informatie over de richting en omvang van de associatie
o Gestandaardiseerde covariantie
o Van -1 tot 1
Variantie en covariantie van samengestelde scores
- Samengestelde score: voeg gewoon alle scores toe die je op een bepaalde test hebt
gescoord
- De variantie van de samengestelde score is gelijk aan de som van alle cellen van de
variantie-covariantiematrix
Testscores interpreteren
- T-scores
o T = Z(snew) + Xnew
o Misschien gemakkelijker te interpreteren
- Percentielrangen: percentage mensen met een bepaalde score of lager
- Twee manieren om te berekenen, afhankelijk van de vorm van de verdeling
o Als de verdeling normaal is: gebruik de Z-score om de p-waarde uit de
standaard normale verdeling te berekenen/op te zoeken
o Als de verdeling niet normaal is: gebruik de frequentietabel en de
continuïteitscorrectie
- Waarom een continuïteitscorrectie gebruiken?
o Op een continue schaal hebben mensen met scores 3,5 tot en met 4,49999
allemaal een afgeronde score van 4
o De percentielrangschikking is het percentage mensen met een score van 4,0 of
lager
o Aangenomen mag worden dat de helft van de frequentie van mensen met een
score 4 scores tussen de 4,0 en 4,5 heeft
o Daarom trekken we deze halve frequentie af van de cumulatieve frequentie
,Genormaliseerde scores
- We kunnen partituren die normaal niet verdeeld zijn omzetten in (min of meer)
normaal verdeelde partituren
o Aanname 1: de score is normaal verdeeld over de populatie
o Aanname 2: onze verkregen gegevens zijn onvolmaakte weerspiegelingen van
de werkelijke scores
- Proces in drie stappen
o Bereken percentielrangschikkingen op basis van onbewerkte scores
o Zet percentielrangen om in z-scores
o Zet z-scores om in nieuwe scores met het gewenste gemiddelde en de
standaarddeviatie
Huiswerk
Covariantie
Voor covariantie vertelt het teken (+ of -) ons of de relatie tussen de variabelen positief of
negatief is. De grootte van de covariantie wordt bepaald door de standaarddeviaties van de
variabelen, die op hun beurt worden beïnvloed door de schaal waarop de variabelen worden
gemeten. De grootte van de covariantie zegt dus niets over de grootte van de relatie tussen
de variabelen.
Correlatie
Voor correlatie vertelt het teken (+ of -) ons of de relatie tussen de variabelen positief of
negatief is, vergelijkbaar met hoe het dat doet voor de covariantie. De correlatie is een
gestandaardiseerde maat en wordt begrensd tussen -1 en 1. Hierdoor kunnen we ook de
grootte van de correlatie en het teken ervan interpreteren. Als vuistregel kun je een
correlatie (met een absolute waarde) van .1 interpreteren als klein, .3 als medium en .5 als
groot.
Samengestelde scores
, Zowel de variantie als de covariantie van een samengestelde score kunnen op twee manieren
worden berekend. Een manier om de variantie te berekenen is met behulp van de
'traditionele' formules (eerste 2). Bij het bekijken van samengestelde scores kan ook een
specifieke formule worden gebruikt, aangezien de variantie van een samengestelde score
wordt bepaald door zowel de variabiliteit van elk item binnen de composiet als de correlaties
tussen de items. Beide manieren leiden tot hetzelfde antwoord, dus welk antwoord je
gebruikt, hangt af van de beschikbare informatie.
Binaire items
Er zijn aparte formules die moeten worden gebruikt voor binaire items
Z-scores en geconverteerde standaardscores
Het is mogelijk om een z-score te berekenen die hoort bij een specifieke score op een test.
Deze z-score kan vervolgens worden gebruikt om de score om te zetten in een andere
standaardscore. Dit kan met de T-formule.
Furr: De Z-score is een standaardscore met een gemiddelde van 0 en een SD van 1, die wordt
berekend aan de hand van de ruwe scores, het gemiddelde van de ruwe scores en de SD van
de ruwe scores. De T-score is een omgerekende standaardscore, bedoeld om waarden te
hebben die mensen gemakkelijker te begrijpen vinden. De Z-score wordt omgezet in een
nieuwe standaardscore (T-score) door de Z-score te vermenigvuldigen met de SD van de
nieuwe score (20) en het gemiddelde van de nieuwe score (50) bij elkaar op te tellen
Percentielrangen en genormaliseerde scores
Om de percentielrangen te berekenen, gebruiken we de formule voor percentielrangen (zie
formuleblad), die zowel de frequentie voor elke score (fx) als de cumulatieve frequentie (Fx)
gebruikt.
Tutorial bijeenkomst 1: Inleiding en verschillen,
consistentie en de betekenis van testscores
Literatuur (college)
Uitdagingen bij het meten
- Identificeer en leg menselijke psychologische kenmerken vast in één getal
o Is dit wel mogelijk?
- Reactiviteit van de deelnemer
o Sommige mensen zullen de neiging hebben om een sterkere reactie te
hebben dan anderen
- Objectiviteit (verwachtings- en bias-effecten)
o Het is erg moeilijk om volledig objectief te zijn, zowel als de persoon die de
test gebruikt als degene die de test aflegt
- Samengestelde score (combinatie van verschillende onderdelen)
o Kun je echt gewoon de partituren erbij optellen?
- Score gevoeligheid
o Is je test gevoelig genoeg om verschillen te meten?
- Gebrek aan bewustzijn van psychometrische informatie
o Mensen gebruiken de tests en weten vaak niet eens of de test goed genoeg is
of hoe ze deze moeten interpreteren, enz.
Eigenschappen van getallen
- Identiteit: identiek, elkaar uitsluitend en uitputtend
o Itiek: iedereen in dezelfde categorie is identiek met betrekking tot het
gemeten kenmerk (=labels)
o Elkaar uitsluitend: iemand die in de ene categorie valt, kan niet in de andere
vallen
o Uitputtend: iedereen valt in één categorie
- Volgorde: cijfers zijn nog steeds labels, maar rangen hebben betekenis.
o Je weet nog steeds niet wat de afstand tussen getallen is
- Hoeveelheid: echte aantallen, geef de exacte hoeveelheid attribuut aan, de grootte
van het verschil tussen mensen, continu
Voorwaarde
Psychologische meting = een proces waarbij getallen worden toegekend om kwaliteiten van
psychologische eigenschappen weer te geven
,Scaling = de manier waarop numerieke waarden worden toegekend aan psychologische
attributen
Vier meetschalen
- Nominale schalen. Eigenschap van identiteit wordt gebruikt om observaties in
categorieën te labelen op basis van een psychologisch kenmerk. Sta alleen
labelen/categoriseren toe.
o Opmerking: labels om te identificeren, personen te benoemen.
- Ordinale schalen. Eigenschap van orde: mensen worden geordend op basis van een
psychologisch kenmerk, rangschikking toestaan.
- Interval schalen. Eigenschap van kwantiteit en willekeurige nul. Nul betekent niet de
afwezigheid van een attribuut. Meeteenheden hebben een constante grootte. Sta
additiviteit toe.
- Verhoudingsschalen: Eigenschap van kwantiteit en absoluut nulpunt. Nul geeft de
echte afwezigheid van een kenmerk aan. Sta optelling en vermenigvuldiging toe.
- Psychologische kenmerken: ordinale schaal is nauwkeurig, maar intervalschaal wordt
algemeen aanvaard. Voor geaggregeerde scores (somscores, gemiddelden) lijkt dit
redelijk. Voor afzonderlijke artikelen kan het problematisch zijn
Meeteenheden
- Willekeur in eenheidsgrootte
o Alle meeteenheden die we kennen, zijn op een gegeven moment besloten
o Consensus maakt het voor ons gemakkelijk om met anderen te communiceren
- Willekeur in het type object dat moet worden gemeten
o Kilogrammen zijn niet beperkt tot het meten van slechts één type object
- Willekeur in kenmerk dat wordt gemeten
o Sommige eenheden kunnen worden gebruikt om meerdere kenmerken te
meten
Psychologische attributen meestal alleen willekeurig in eenheidsgrootte!
o Met één test kunnen we alleen het kenmerk meten dat het als test is gemaakt
Problemen met getallen in de sociale wetenschappen
- Komen "meeteenheden" overeen met gelijke hoeveelheden van een attribuut
(additiviteit)?
- We willen dat onze meting wordt beïnvloed door slechts één kenmerk van wat we
meten, ongeacht de omstandigheden die bestaan op het moment of de plaats van
meting.
- Paradox: we willen de hoeveelheid van een psychologisch attribuut vertalen naar een
reeks getallen om het attribuut te meten. Maar we weten niet hoeveel van het
attribuut daadwerkelijk bestaat, omdat we het psychologische attribuut niet
rechtstreeks kunnen waarnemen.
Veranderlijkheid
, - De grootte van de afwijking is afhankelijk van:
o De mate waarin scores in de verdeling verschillen
o De metriek van de scores in de distributie
- Factoren waarmee rekening moet worden gehouden bij het interpreteren van
variantie:
o De variantie kan niet kleiner zijn dan 0
o Geen eenvoudige klein/groot interpretatie mogelijk
o Context/vergelijking is nodig om de grootte te interpreteren
o Vooral belangrijk vanwege de effecten op andere waarden (bijv. correlatie,
betrouwbaarheid)
Kwantificering van het verband tussen distributie
- Sterke associatie = consistente individuele verschillen
- Covariantie: Geeft informatie over de richting van de vereniging
o Kan negatief zijn
o Kan geen kwadratische relatie tonen (krijgt waarschijnlijk 0)
- Correlatie: Geeft informatie over de richting en omvang van de associatie
o Gestandaardiseerde covariantie
o Van -1 tot 1
Variantie en covariantie van samengestelde scores
- Samengestelde score: voeg gewoon alle scores toe die je op een bepaalde test hebt
gescoord
- De variantie van de samengestelde score is gelijk aan de som van alle cellen van de
variantie-covariantiematrix
Testscores interpreteren
- T-scores
o T = Z(snew) + Xnew
o Misschien gemakkelijker te interpreteren
- Percentielrangen: percentage mensen met een bepaalde score of lager
- Twee manieren om te berekenen, afhankelijk van de vorm van de verdeling
o Als de verdeling normaal is: gebruik de Z-score om de p-waarde uit de
standaard normale verdeling te berekenen/op te zoeken
o Als de verdeling niet normaal is: gebruik de frequentietabel en de
continuïteitscorrectie
- Waarom een continuïteitscorrectie gebruiken?
o Op een continue schaal hebben mensen met scores 3,5 tot en met 4,49999
allemaal een afgeronde score van 4
o De percentielrangschikking is het percentage mensen met een score van 4,0 of
lager
o Aangenomen mag worden dat de helft van de frequentie van mensen met een
score 4 scores tussen de 4,0 en 4,5 heeft
o Daarom trekken we deze halve frequentie af van de cumulatieve frequentie
,Genormaliseerde scores
- We kunnen partituren die normaal niet verdeeld zijn omzetten in (min of meer)
normaal verdeelde partituren
o Aanname 1: de score is normaal verdeeld over de populatie
o Aanname 2: onze verkregen gegevens zijn onvolmaakte weerspiegelingen van
de werkelijke scores
- Proces in drie stappen
o Bereken percentielrangschikkingen op basis van onbewerkte scores
o Zet percentielrangen om in z-scores
o Zet z-scores om in nieuwe scores met het gewenste gemiddelde en de
standaarddeviatie
Huiswerk
Covariantie
Voor covariantie vertelt het teken (+ of -) ons of de relatie tussen de variabelen positief of
negatief is. De grootte van de covariantie wordt bepaald door de standaarddeviaties van de
variabelen, die op hun beurt worden beïnvloed door de schaal waarop de variabelen worden
gemeten. De grootte van de covariantie zegt dus niets over de grootte van de relatie tussen
de variabelen.
Correlatie
Voor correlatie vertelt het teken (+ of -) ons of de relatie tussen de variabelen positief of
negatief is, vergelijkbaar met hoe het dat doet voor de covariantie. De correlatie is een
gestandaardiseerde maat en wordt begrensd tussen -1 en 1. Hierdoor kunnen we ook de
grootte van de correlatie en het teken ervan interpreteren. Als vuistregel kun je een
correlatie (met een absolute waarde) van .1 interpreteren als klein, .3 als medium en .5 als
groot.
Samengestelde scores
, Zowel de variantie als de covariantie van een samengestelde score kunnen op twee manieren
worden berekend. Een manier om de variantie te berekenen is met behulp van de
'traditionele' formules (eerste 2). Bij het bekijken van samengestelde scores kan ook een
specifieke formule worden gebruikt, aangezien de variantie van een samengestelde score
wordt bepaald door zowel de variabiliteit van elk item binnen de composiet als de correlaties
tussen de items. Beide manieren leiden tot hetzelfde antwoord, dus welk antwoord je
gebruikt, hangt af van de beschikbare informatie.
Binaire items
Er zijn aparte formules die moeten worden gebruikt voor binaire items
Z-scores en geconverteerde standaardscores
Het is mogelijk om een z-score te berekenen die hoort bij een specifieke score op een test.
Deze z-score kan vervolgens worden gebruikt om de score om te zetten in een andere
standaardscore. Dit kan met de T-formule.
Furr: De Z-score is een standaardscore met een gemiddelde van 0 en een SD van 1, die wordt
berekend aan de hand van de ruwe scores, het gemiddelde van de ruwe scores en de SD van
de ruwe scores. De T-score is een omgerekende standaardscore, bedoeld om waarden te
hebben die mensen gemakkelijker te begrijpen vinden. De Z-score wordt omgezet in een
nieuwe standaardscore (T-score) door de Z-score te vermenigvuldigen met de SD van de
nieuwe score (20) en het gemiddelde van de nieuwe score (50) bij elkaar op te tellen
Percentielrangen en genormaliseerde scores
Om de percentielrangen te berekenen, gebruiken we de formule voor percentielrangen (zie
formuleblad), die zowel de frequentie voor elke score (fx) als de cumulatieve frequentie (Fx)
gebruikt.
