1
1) What is meant with fairness and what is meant with bias (compare both
meanings with each other)?
APA (2018)
Antwoord:
Wat met fairness bedoeld wordt is onderwerp van debat. Vier definities:
1. Fairness wordt gezien als gelijke groepsuitkomsten (e.g. gelijke passing rates voor
subgroepen. De Standards hebben deze definitie afgewezen en zeggen dat hoewel
groepsverschillen mogelijk bias triggeren, uitkomstverschillen geen bias indiceren.
2. Gelijkheid in de behandeling van alle examinees tijdens het selectieproces. Denk
hierbij aan gelijke behandeling in termen van testcondities, toegang tot materiaal,
prestatiefeedback, herkansingsmogelijkheden etc.
3. Examinees hebben vergelijkbare toegang tot de constructen die gemeten worden
door de selectieprocedure. (e.g. dat doordat je jong bent je niet even ontwikkeld bent
op een karakteristiek dan ouderen; e.g. achterhouden van info (vb. oefenvragen
alleen aan een groep geven), daardoor geen gelijke kansen voor iedereen)
4. Fairness is gebrek aan bias.
Samengevat zijn er meerdere perspectieven over fairness. Men is het erover eens dat
problemen met gelijke behandeling, toegang, bias en kritisch kijken naar mogelijke bias
bij subgroepverschillen, belangrijke zaken zijn bij personeelsselectie. De meeste
organisaties streven naar een divers en inclusief werkveld en gelijke behandeling voor
minderheidsgroepen. Er is echter geen overeenstemming dat de term fairness in termen
van een van deze issues kan worden gedefinieerd.
Bias
Bias verwijst naar systematische fouten in een test dat invloed heeft op de prestatie van
verschillende groepen. Soorten bias:
1. Measurement bias: Measurement bias verwijst naar bronnen van irrelevante
variantie (e.g. taalbarrière) die resulteren in systematisch hogere of lagere scores
voor leden van bepaalde groepen. (onderzoeken via DIF-analyse)
2. Predictive bias: het effect van irrelevante variantiebronnen op predictor-
criterion relaties, zodat de slopes of intercepts van een regressielijn verschillen
tussen groepen. (irrelevante vragen voor de een of uberhaupt)
Subgroep verschillen (measurement bias) en predictieve bias kunnen
onafhankelijk van elkaar bestaan.
,2
Cook (2016) – H13: Minorities, Fairness, & Law
Test fairness
Unfair betekent dat de test de productiviteit van de minderheid niet zo accuraat voorspelt als de
productiviteit van de meerderheidsgroep differential validity.
, 3
2) Which different models of test fairness have been proposed? Were you able
to find empirical evidence for any of the models you found?
Cook (2016) H13
- Top-down quota
- Banding ontkracht dus dan zeg je mensen die tussen 44 en 54 scoren zijn
hetzelfde
- Pure top-down selection niet kijken naar groep
- Cleary methode veel kritiek op wel empirisch onderzocht
Sackett
- Bonus points
- Separate cutoffs
- Within group norming
Maatregelen om fairness te krijgen:
- Adverse impact
- Affirmative Action
o Chander (2018)
Arvey & Renz (1992)
- Cleary model
- Thorndike model alleen eerlijk als selectie en base rate gelijk is voor de
groepen
- Conditional Commobility
Meade & Fetzer (2018)
- Gaat in tegen cleary model cleary meet niet per se measurement error van een
test/predictor, maar predictive bias (kan ook in criterion zitten/ derde
variabelen)
Is er empirisch bewijs voor de methoden: LASTIG TE TESTEN!!!
- Ja fairness is niet echt een kwestie die je empirisch kunt testen
- Cleary wordt het meest gebruikt maar is ook veel kritiek op
1) What is meant with fairness and what is meant with bias (compare both
meanings with each other)?
APA (2018)
Antwoord:
Wat met fairness bedoeld wordt is onderwerp van debat. Vier definities:
1. Fairness wordt gezien als gelijke groepsuitkomsten (e.g. gelijke passing rates voor
subgroepen. De Standards hebben deze definitie afgewezen en zeggen dat hoewel
groepsverschillen mogelijk bias triggeren, uitkomstverschillen geen bias indiceren.
2. Gelijkheid in de behandeling van alle examinees tijdens het selectieproces. Denk
hierbij aan gelijke behandeling in termen van testcondities, toegang tot materiaal,
prestatiefeedback, herkansingsmogelijkheden etc.
3. Examinees hebben vergelijkbare toegang tot de constructen die gemeten worden
door de selectieprocedure. (e.g. dat doordat je jong bent je niet even ontwikkeld bent
op een karakteristiek dan ouderen; e.g. achterhouden van info (vb. oefenvragen
alleen aan een groep geven), daardoor geen gelijke kansen voor iedereen)
4. Fairness is gebrek aan bias.
Samengevat zijn er meerdere perspectieven over fairness. Men is het erover eens dat
problemen met gelijke behandeling, toegang, bias en kritisch kijken naar mogelijke bias
bij subgroepverschillen, belangrijke zaken zijn bij personeelsselectie. De meeste
organisaties streven naar een divers en inclusief werkveld en gelijke behandeling voor
minderheidsgroepen. Er is echter geen overeenstemming dat de term fairness in termen
van een van deze issues kan worden gedefinieerd.
Bias
Bias verwijst naar systematische fouten in een test dat invloed heeft op de prestatie van
verschillende groepen. Soorten bias:
1. Measurement bias: Measurement bias verwijst naar bronnen van irrelevante
variantie (e.g. taalbarrière) die resulteren in systematisch hogere of lagere scores
voor leden van bepaalde groepen. (onderzoeken via DIF-analyse)
2. Predictive bias: het effect van irrelevante variantiebronnen op predictor-
criterion relaties, zodat de slopes of intercepts van een regressielijn verschillen
tussen groepen. (irrelevante vragen voor de een of uberhaupt)
Subgroep verschillen (measurement bias) en predictieve bias kunnen
onafhankelijk van elkaar bestaan.
,2
Cook (2016) – H13: Minorities, Fairness, & Law
Test fairness
Unfair betekent dat de test de productiviteit van de minderheid niet zo accuraat voorspelt als de
productiviteit van de meerderheidsgroep differential validity.
, 3
2) Which different models of test fairness have been proposed? Were you able
to find empirical evidence for any of the models you found?
Cook (2016) H13
- Top-down quota
- Banding ontkracht dus dan zeg je mensen die tussen 44 en 54 scoren zijn
hetzelfde
- Pure top-down selection niet kijken naar groep
- Cleary methode veel kritiek op wel empirisch onderzocht
Sackett
- Bonus points
- Separate cutoffs
- Within group norming
Maatregelen om fairness te krijgen:
- Adverse impact
- Affirmative Action
o Chander (2018)
Arvey & Renz (1992)
- Cleary model
- Thorndike model alleen eerlijk als selectie en base rate gelijk is voor de
groepen
- Conditional Commobility
Meade & Fetzer (2018)
- Gaat in tegen cleary model cleary meet niet per se measurement error van een
test/predictor, maar predictive bias (kan ook in criterion zitten/ derde
variabelen)
Is er empirisch bewijs voor de methoden: LASTIG TE TESTEN!!!
- Ja fairness is niet echt een kwestie die je empirisch kunt testen
- Cleary wordt het meest gebruikt maar is ook veel kritiek op
