Blok 2.5. Psychometrie: een introductie
Online college. Hoofdstuk 11: Test Bias
Test bias
Test bias is systematisch verschil in scores tussen verschillende groepen. Deze verschillen zijn
niet te danken aan daadwerkelijke verschillen, maar zijn te danken aan kenmerken van de
toets. Er zijn twee soorten test bias, namelijk construct bias en predictive bias. Construct
bias is een situatie waarbij de relatie tussen geobserveerde scores en true scores systematisch
verschillen voor verschillende groepen. Predictive bias betekend dat het gebruik van een test
verschillende implicaties heeft voor verschillende groepen. De relatie tussen scores op een test
en een criterion verschilt systematisch voor verschillende groepen. Construct bias en
predictive bias zijn onafhankelijk van elkaar: construct bias kan bestaan zonder dat er
predictive bias bestaat en andersom.
Construct bias
Definitie (uit het boek): construct bias komt voor wanneer een test verschillende betekenissen
heeft voor twee groepen in termen van het precieze construct dat de test meet. Het gaat daarbij
over de relatie tussen geobserveerde scores en true scores op een psychologische test. Als
deze relatie systematisch van elkaar verschilt voor verschillende groepen, kan er van worden
uitgegaan dat er sprake is van construct bias. Dit kan leiden tot situaties waarin twee
verschillende groepen eenzelfde gemiddelde true score hebben, maar verschillende
gemiddelde geobserveerde scores hebben.
Of construct bias aanwezig is, wordt meestal bepaald door het onderzoeken van
responsen op de individuele items van een test. Hierbij wordt gekeken of mensen die tot
verschillende groepen behoren verschillend van elkaar antwoorden op een item. Hierbij gaat
het over verschillen tussen groepen (wat betreft antwoorden) die verder niet gerelateerd zijn
aan groepsverschillen die te maken hebben met de psychologische eigenschap die je wilt
meten (bijv. als je wilt weten of jonge mensen een test beter maken dan oudere mensen, maar
je verwacht dat geslacht hier misschien voor een construct bias zorgt, gaat het erom dat je
onderzoekt of mannen anders antwoorden op de testitems dan vrouwen. Je onderzoekt dus
niet of jongere mensen beter scoren dan oudere mensen, dat meet je namelijk in de
daadwerkelijke test (als blijkt dat deze niet biased is)).
1. Item Discrimination Index
Er zijn verschillende methoden waarmee je kunt onderzoeken of er sprake is van construct
bias. Een voorbeeld van zo’n methode is het gebruik van de Item Discriminatie Index
(aangezien item discriminatie indexen reeds besproken zijn in hoofdstuk 9, wordt er in dit
college niet diep op in gegaan hoe de berekeningen precies plaatsvinden. Zie hiervoor dus
hoofdstuk 9!)
Bij een item discriminatie index verdeel je een groep in drie delen: één groep
(percentage van totaal aantal personen) die de hoogste scores heeft en één groep (percentage
van het totaal aantal personen) die de laagste scores heeft. Er blijft dan automatisch een
‘midden’ groep over met mensen die gemiddelde scores hebben behaald. Welk percentage je
kiest (bijv. hoogste en laagste 25%) hangt af van de vraag of van het onderzoek.
1
Online college. Hoofdstuk 11: Test Bias
Test bias
Test bias is systematisch verschil in scores tussen verschillende groepen. Deze verschillen zijn
niet te danken aan daadwerkelijke verschillen, maar zijn te danken aan kenmerken van de
toets. Er zijn twee soorten test bias, namelijk construct bias en predictive bias. Construct
bias is een situatie waarbij de relatie tussen geobserveerde scores en true scores systematisch
verschillen voor verschillende groepen. Predictive bias betekend dat het gebruik van een test
verschillende implicaties heeft voor verschillende groepen. De relatie tussen scores op een test
en een criterion verschilt systematisch voor verschillende groepen. Construct bias en
predictive bias zijn onafhankelijk van elkaar: construct bias kan bestaan zonder dat er
predictive bias bestaat en andersom.
Construct bias
Definitie (uit het boek): construct bias komt voor wanneer een test verschillende betekenissen
heeft voor twee groepen in termen van het precieze construct dat de test meet. Het gaat daarbij
over de relatie tussen geobserveerde scores en true scores op een psychologische test. Als
deze relatie systematisch van elkaar verschilt voor verschillende groepen, kan er van worden
uitgegaan dat er sprake is van construct bias. Dit kan leiden tot situaties waarin twee
verschillende groepen eenzelfde gemiddelde true score hebben, maar verschillende
gemiddelde geobserveerde scores hebben.
Of construct bias aanwezig is, wordt meestal bepaald door het onderzoeken van
responsen op de individuele items van een test. Hierbij wordt gekeken of mensen die tot
verschillende groepen behoren verschillend van elkaar antwoorden op een item. Hierbij gaat
het over verschillen tussen groepen (wat betreft antwoorden) die verder niet gerelateerd zijn
aan groepsverschillen die te maken hebben met de psychologische eigenschap die je wilt
meten (bijv. als je wilt weten of jonge mensen een test beter maken dan oudere mensen, maar
je verwacht dat geslacht hier misschien voor een construct bias zorgt, gaat het erom dat je
onderzoekt of mannen anders antwoorden op de testitems dan vrouwen. Je onderzoekt dus
niet of jongere mensen beter scoren dan oudere mensen, dat meet je namelijk in de
daadwerkelijke test (als blijkt dat deze niet biased is)).
1. Item Discrimination Index
Er zijn verschillende methoden waarmee je kunt onderzoeken of er sprake is van construct
bias. Een voorbeeld van zo’n methode is het gebruik van de Item Discriminatie Index
(aangezien item discriminatie indexen reeds besproken zijn in hoofdstuk 9, wordt er in dit
college niet diep op in gegaan hoe de berekeningen precies plaatsvinden. Zie hiervoor dus
hoofdstuk 9!)
Bij een item discriminatie index verdeel je een groep in drie delen: één groep
(percentage van totaal aantal personen) die de hoogste scores heeft en één groep (percentage
van het totaal aantal personen) die de laagste scores heeft. Er blijft dan automatisch een
‘midden’ groep over met mensen die gemiddelde scores hebben behaald. Welk percentage je
kiest (bijv. hoogste en laagste 25%) hangt af van de vraag of van het onderzoek.
1
