PSYCHODIAGNOSTIEK
TAAK 6: MISKEND TALENT?
Gregory H6B – test bias and other controversies
The question of test bias
Test bias = wanneer je test een bias heeft, meestal is dit doordat deze oneerlijk discrimineert
(ras, vrouwen, etnische groepen, arme mensen, …). Dit moet je objectief en empirisch
vaststellen (is dus geen persoonlijk oordeel).
The test-bias controversy
Het probleem rond testbias is begonnen met IQ omdat African Americans in het algemeen 15
punten lager scoren dan blanke Amerikanen op IQ testen. Vaak heeft zo’n verschil niks te
maken met IQ maar eerder met externe factoren (vb cultuur).
Maar om dit te onderzoeken heb je dus criteria nodig.
Criteria of test bias and test fairness
Test bias = objectief en statistisch, onderzoekt het patroon van testscores voor relevante
subpopulaties. Hier bestaan ook echt statistische criteria voor. Een test is biased als niet
verschillend valide is voor subgroepen (vb als de scores niet op eenzelfde regressielijn vallen).
Dit is dus een nauw concept van testbias.
Test fairness = dit is een breed concept die het belang van sociale waarden herkent bij het
gebruiken van een test. Zelfs als een test unbiased is volgens statistische methoden, kan deze
nog steeds unfair zijn door de sociale gevolgen die de test heeft.
Deze twee concepten hangen dus niet samen, ze betekenen iets anders. Onderzoekers moeten
hier rekening mee houden wanneer ze checken voor een testbias (niet dat je per ongeluk voor
fairness aan het checken bent).
The technical meaning of test bias: a definition
Je hebt een bias in je test als de test voor verschillende groepen op een andere manier
valide is. Het heeft dan een andere betekenis voor de groepen, dit is vooral als het het gedrag
van de groepen anders voorspelt. Vb een woordproblemen wiskundige test om de optel skills
te meten ‘als je twee six-packs hebt, hoeveel kannen heb je dan samen?’. Als allochtonen hier
slecht op scoren kan dit te maken hebben met taal, het voorspelt dus niet direct slechtere
wiskundige skills. Als autochtonen slecht scoren voorspelt het wel slechte wiskundige skills.
Deze bias kan op vlak van content validiteit, criterium validiteit en construct validiteit.
Bias in content validity
Content validity = als een test qua inhoud moeilijker is voor bepaalde leden van een groep dan
voor anderen terwijl de algemene vaardigheden/intelligentie gelijk gehouden wordt.
Ze deden hier onderzoek waarbij experts 226 items moesten classificeren van minst cultureel,
neutraal of meest cultureel. Het gemiddelde verschil tussen Afro-Amerikanen en blanke
Amerikanen liet een SD van meer dan 0.50 zien. Bij de minst culturele items was dit 0.58 en bij
1
TAAK 6: MISKEND TALENT?
Gregory H6B – test bias and other controversies
The question of test bias
Test bias = wanneer je test een bias heeft, meestal is dit doordat deze oneerlijk discrimineert
(ras, vrouwen, etnische groepen, arme mensen, …). Dit moet je objectief en empirisch
vaststellen (is dus geen persoonlijk oordeel).
The test-bias controversy
Het probleem rond testbias is begonnen met IQ omdat African Americans in het algemeen 15
punten lager scoren dan blanke Amerikanen op IQ testen. Vaak heeft zo’n verschil niks te
maken met IQ maar eerder met externe factoren (vb cultuur).
Maar om dit te onderzoeken heb je dus criteria nodig.
Criteria of test bias and test fairness
Test bias = objectief en statistisch, onderzoekt het patroon van testscores voor relevante
subpopulaties. Hier bestaan ook echt statistische criteria voor. Een test is biased als niet
verschillend valide is voor subgroepen (vb als de scores niet op eenzelfde regressielijn vallen).
Dit is dus een nauw concept van testbias.
Test fairness = dit is een breed concept die het belang van sociale waarden herkent bij het
gebruiken van een test. Zelfs als een test unbiased is volgens statistische methoden, kan deze
nog steeds unfair zijn door de sociale gevolgen die de test heeft.
Deze twee concepten hangen dus niet samen, ze betekenen iets anders. Onderzoekers moeten
hier rekening mee houden wanneer ze checken voor een testbias (niet dat je per ongeluk voor
fairness aan het checken bent).
The technical meaning of test bias: a definition
Je hebt een bias in je test als de test voor verschillende groepen op een andere manier
valide is. Het heeft dan een andere betekenis voor de groepen, dit is vooral als het het gedrag
van de groepen anders voorspelt. Vb een woordproblemen wiskundige test om de optel skills
te meten ‘als je twee six-packs hebt, hoeveel kannen heb je dan samen?’. Als allochtonen hier
slecht op scoren kan dit te maken hebben met taal, het voorspelt dus niet direct slechtere
wiskundige skills. Als autochtonen slecht scoren voorspelt het wel slechte wiskundige skills.
Deze bias kan op vlak van content validiteit, criterium validiteit en construct validiteit.
Bias in content validity
Content validity = als een test qua inhoud moeilijker is voor bepaalde leden van een groep dan
voor anderen terwijl de algemene vaardigheden/intelligentie gelijk gehouden wordt.
Ze deden hier onderzoek waarbij experts 226 items moesten classificeren van minst cultureel,
neutraal of meest cultureel. Het gemiddelde verschil tussen Afro-Amerikanen en blanke
Amerikanen liet een SD van meer dan 0.50 zien. Bij de minst culturele items was dit 0.58 en bij
1
