1
Probleem 2 – Diversity and Fairness Artikelen
Write down your exact sources (references and page numbers) with your
answers.
1. What is meant with fairness and what is meant with bias (compare both
meanings with each other)?
2. Which different models of test fairness have been proposed? Were you able to
find empirical evidence for any of the models you found?
3. What is differential validity? Explain the type of differential validity in which
there is an intercept difference. What advice on this issue would you give to an
employer?
4. Discuss strategies available to reduce adverse impact and the effect on validity.
Which are preferable (give arguments)?
5. Provide several strategies for employers to argue that the selection procedure
used is a fair procedure.
6. Recently, computer scientists at Carnegie Mellon University found that women
were less likely than men to be shown ads on Google for highly paid jobs. Why is
there a difference between the ads shown to men and shown to women? Explain
the different stages of computer algorithms and in which way these stages may
be biased. (volgens Chander (2017) Zijn wij-zelf bias in algortime resultaten
uit algoritme beïnvloed ons, waardoor wij algoritme weer beïnvloeden) & Datta
et al. (2015)
a. dat de resultaten voor vrouwen verschilden van mannen zou volgens
Chander (2017) dus komen doordat dit in de ‘echte’ wereld ook verschilt.
Het algoritme zou alleen een reflectie geven van de huidige arbeidsmarkt.
b. Om ook de andere optie te overwegen, namelijk dat er wel
gediscrimineerd zou worden. Datta et al. (2015) stelt dat zij niet weten
door wie dit komt (google of adverteerders). Chander (2017) acht de kans
op bewuste manipulatie niet groot, omdat er wel degelijk wetgeving is
voor bewuste discriminatie (e.g. programmeurs moeten alle stappen en
acties in algoritme documenteren). En al zouden ze de intentie worden ze
vaak afgeschrikt door de kans dat hackers of insiders van een organisatie
ze alsnog blootstellen.
7. Can adverse impact and bias be avoided by relying on algorithms to choose the
right candidate?
8. Describe the difference between direct and indirect discrimination? Would each
of the below job advertisements be acceptable according to the European law
Employment framework directive (2000/78/EC) against discrimination at work
on grounds of religion or belief, disability, age or sexual orientation. See the
following site (scroll down on this site):
http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=CELEX:32000L0078:EN:NOT
,2
Boek H4 – Cook (2016) – The Interview
Alleen pagina 89-92 (bias in the interview; Law and Fairness)
Waar gaat het hoofdstuk over?
Het interview is de ideale kans om te kijken naar welke bias interviewers hebben.
Zijn interviewers biased richting vrouwen? Ongestructureerde interviews hebben
enige adverse impact naar vrouwen. Gestructureerde interviewers niet (dit onderzoek is
alleen uitgevoerd in Noord-Amerika)
Zijn interviewers biased richting ras? Een meta-analyse toont aan dat
ongestructureerde interviews enige adverse impact hebben naar niet-blanke
Amerikanen (vooral interviews die intellectueel vermogen en ervaring meten), terwijl
gestructureerde interviews dit niet hebben. Er zijn echter twee redenen om minder
optimistisch te zijn:
1. Bobko en Roth vonden dat gestructureerde interviews wel enige adverse impact
hadden naar African-Americans.
2. Dit is een voorbeeld van de Bobko-Roth Fallacy: vaak wordt de impact van
adverse impact pas bekeken in organisaties nadat kandidaten al gescreened zijn
(e.g. d.m.v. tests). Pre-screening door tests zorgt voor range restiction en leidt tot
een onderschatting van de adverse impact van het gestructureerde interview (i.e.
eerst test, dan gestructureerd interview lijkt alsof bepaalde kandidaten dan
niet geschikt zijn, maar adverse impact was al aanwezig in de tests). Nadat Bobko
en Roth corrigeerde voor range restriction vonden ze dat gestructureerde
interviews voor grote adverse impact zorgden.
Uit audit studies blijkt ook discriminatie voor minderheidsgroepen. Blanke en Aziatische
personen solliciteren voor een echte baan, en er wordt voor gezorgd dat ze matchen in
leeftijd, ervaring etc., zodat de conclusie getrokken kan worden of er gediscrimineerd
wordt (minder Aziaten aangenomen dan blanken). Zulke discriminatie wordt vaak
gevonden, maar er zitten nadelen aan deze studies: hoe ben je er zeker van dat ze zich echt
hetzelfde gedragen in het interview? Interviews zijn namelijk onvoorspelbaar, dus het is
onmogelijk om compleet voorbereid te zijn. Daarnaast kan de minority groep de
verwachting hebben dat ze zullen worden gediscrimineerd, wat hun gedrag kan
beïnvloeden.
Zijn interviewers biased naar oudere sollicitanten? Minder leeftijdsdiscriminatie in
echte dan in gesimuleerde interviews (lab) verklaring: In lab wordt leeftijd meer
opvallend gemaakt en bieden weinig andere relevante info.
,3
Zijn interviewers biased door accent? In een onderzoek bleek Spaans accent in
Amerika kans op promotie te verkleinen. Effect zou gemedieerd worden door perceptie
van lager vermogen om anderen te beïnvloeden.
Zijn interviewers biased door uiterlijk? Grote correlatie gevonden (.52) tussen
aantrekkelijkheid en interview rating. Effect is sterk in ongestructureerde interviews,
maar bijna afwezig bij gestructureerde interviews.
Zijn interviewers biased door gewicht? Ja, vooral bij ongestructureerde (door
stereotyperingen die mensen hebben over mensen met overgewicht). Zelfs het zitten
naast iemand met overgewicht zou kans op baan kunnen verlagen.
Zijn interviewers biased door lengte? Ja (verklaring: macht) wordt gevonden bij
mannen en vrouwen (ondanks gem. verschil in lengte tussen mannen en vrouwen).
Vooral in sales en management, maar aanwezig in alle soorten beroepen. Lengte leidt tot
verhoogd zelfvertrouwen, wat bijdraagt aan succes.
Zijn interviewers biased tegen homoseksuele kandidaten? Nee, kregen wel
negatiever onthaal (korter interview en minder aardige interviewer), maar geen
discriminatie m.b.t. krijgen van baan.
Law and Fairness
Ongestructureerde interviews zijn meest voorkomende bron van geschillen in de VS.
- Ongestructureerde interviews krijgen twee keer zoveel klachten als verwacht,
terwijl gestructureerde interviews half zoveel klachten krijgen als verwacht.
Waarom dan beter gestructureerde interviews?
- Bij klachten met gestructureerde interviews won werkgever altijd. Terwijl bij
ongestructureerde interviews maar in 40% van de gevallen werd gewonnen.
Verklaring: Werkgevers kunnen zich bij gestructureerd interview verdedigen
tegen Unfairness: door de structuur (i.e. standaardvragen, alle interviews zijn
hetzelfde), en het gebruik van objectieve, specifieke en gedragsmatige criteria.
, 4
Boek H6 – Cook (2016) – Tests of Mental Ability
Waar gaat het artikel over?
Over het gebruik van Mental Ability Tests (CI-tests).
Law, Fairness, and Minorities
Tests die gebruikt worden in selectie zouden niet moeten zorgen voor leeftijds-,
geslachts-, of rasverschillen bij de mensen die worden getest; zulke verschillen kunnen
zorgen voor adverse impact, wat weer kan leiden tot moeilijkheiden met fair
employment laws (arbeidswetten). GMA (general mental ability) tests moeten dus alleen
discrimineren tussen de bright and the less bright, maar dit gebeurt niet altijd:
- Geslachtsverschillen: vijf meta-analyses over geslachtsverschillen vinden geen
verschillen in GMA, al zouden mannen wel beter scoren op ruimtelijk inzicht en
mentale rotatie, en vrouwen op verbale tests.
- Leeftijdsverschillen: alle GATB-vermogens nemen af met leeftijd. De afname van
algemene intelligentie is progressief vanaf 20-35 jaar onwards.
- Ras/etniciteit: GMA tests creëren adverse impact op sommige delen van de
Amerikaanse populatie. Een meta-analyse vond grote verschillen tussen blanke
en Afrikaanse Amerikanen, en tussen blanke en Spaanse Amerikanen.
- Outside the USA: In Nederland werden grote verschillen gevonden tussen
inheemse Nederlandse sollicitanten voor politiewerk en immigranten uit de
Cariben, Noord-Afrika, Suriname, en Turkije. De verschillen zijn echter veel
kleiner in de tweede generatie en zijn gelinkt aan bekwaamheid met de taal.
Leeftijds- en geslachtsverschillen hebben nog niet voor veel problemen gezorgd, maar
de etniciteitsverschillen wel, vooral in de VS.
Dealing with Adverse Impact in Mental Ability Scores
Dealing with adverse impact 1. Wijzigen van de manier waarop scores worden gebruikt.
Vaak wordt score banding gebruikt. Dit betekent dat ruwe scores tussen bijv. 25 en 30 als gelijk
worden gezien. Banding maakt het makkelijker om scores te beschrijven. Test score banding
systemen zijn gebaseerd op de error of measurement. Stel: de hoogst scorende sollicitant scoort
55 met een EoM van 11, dan start de ‘band’ op 55 en loopt het omlaag tot en met 45. Binnen deze
band worden alle sollicitanten dan als gelijkwaardig gezien. Discriminatie zal hierdoor
verminderen diversity-based referral. Een aantal kritiekpunten op deze methode zijn:
Banding faalt in het onderscheid maken tussen individuele scores en gemiddelde scores.
De EoM criterion dat gebruikt wordt zorgt voor een brede band. Hoe breder de band, hoe
minder selectief selectie wordt.
Als de test niet erg betrouwbaar is, dan is de band enorm, waardoor de testscores maar
weinig zeggen. De EoM wordt namelijk groter naarmate de fout in betrouwbaarheid
groter wordt.
Probleem 2 – Diversity and Fairness Artikelen
Write down your exact sources (references and page numbers) with your
answers.
1. What is meant with fairness and what is meant with bias (compare both
meanings with each other)?
2. Which different models of test fairness have been proposed? Were you able to
find empirical evidence for any of the models you found?
3. What is differential validity? Explain the type of differential validity in which
there is an intercept difference. What advice on this issue would you give to an
employer?
4. Discuss strategies available to reduce adverse impact and the effect on validity.
Which are preferable (give arguments)?
5. Provide several strategies for employers to argue that the selection procedure
used is a fair procedure.
6. Recently, computer scientists at Carnegie Mellon University found that women
were less likely than men to be shown ads on Google for highly paid jobs. Why is
there a difference between the ads shown to men and shown to women? Explain
the different stages of computer algorithms and in which way these stages may
be biased. (volgens Chander (2017) Zijn wij-zelf bias in algortime resultaten
uit algoritme beïnvloed ons, waardoor wij algoritme weer beïnvloeden) & Datta
et al. (2015)
a. dat de resultaten voor vrouwen verschilden van mannen zou volgens
Chander (2017) dus komen doordat dit in de ‘echte’ wereld ook verschilt.
Het algoritme zou alleen een reflectie geven van de huidige arbeidsmarkt.
b. Om ook de andere optie te overwegen, namelijk dat er wel
gediscrimineerd zou worden. Datta et al. (2015) stelt dat zij niet weten
door wie dit komt (google of adverteerders). Chander (2017) acht de kans
op bewuste manipulatie niet groot, omdat er wel degelijk wetgeving is
voor bewuste discriminatie (e.g. programmeurs moeten alle stappen en
acties in algoritme documenteren). En al zouden ze de intentie worden ze
vaak afgeschrikt door de kans dat hackers of insiders van een organisatie
ze alsnog blootstellen.
7. Can adverse impact and bias be avoided by relying on algorithms to choose the
right candidate?
8. Describe the difference between direct and indirect discrimination? Would each
of the below job advertisements be acceptable according to the European law
Employment framework directive (2000/78/EC) against discrimination at work
on grounds of religion or belief, disability, age or sexual orientation. See the
following site (scroll down on this site):
http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=CELEX:32000L0078:EN:NOT
,2
Boek H4 – Cook (2016) – The Interview
Alleen pagina 89-92 (bias in the interview; Law and Fairness)
Waar gaat het hoofdstuk over?
Het interview is de ideale kans om te kijken naar welke bias interviewers hebben.
Zijn interviewers biased richting vrouwen? Ongestructureerde interviews hebben
enige adverse impact naar vrouwen. Gestructureerde interviewers niet (dit onderzoek is
alleen uitgevoerd in Noord-Amerika)
Zijn interviewers biased richting ras? Een meta-analyse toont aan dat
ongestructureerde interviews enige adverse impact hebben naar niet-blanke
Amerikanen (vooral interviews die intellectueel vermogen en ervaring meten), terwijl
gestructureerde interviews dit niet hebben. Er zijn echter twee redenen om minder
optimistisch te zijn:
1. Bobko en Roth vonden dat gestructureerde interviews wel enige adverse impact
hadden naar African-Americans.
2. Dit is een voorbeeld van de Bobko-Roth Fallacy: vaak wordt de impact van
adverse impact pas bekeken in organisaties nadat kandidaten al gescreened zijn
(e.g. d.m.v. tests). Pre-screening door tests zorgt voor range restiction en leidt tot
een onderschatting van de adverse impact van het gestructureerde interview (i.e.
eerst test, dan gestructureerd interview lijkt alsof bepaalde kandidaten dan
niet geschikt zijn, maar adverse impact was al aanwezig in de tests). Nadat Bobko
en Roth corrigeerde voor range restriction vonden ze dat gestructureerde
interviews voor grote adverse impact zorgden.
Uit audit studies blijkt ook discriminatie voor minderheidsgroepen. Blanke en Aziatische
personen solliciteren voor een echte baan, en er wordt voor gezorgd dat ze matchen in
leeftijd, ervaring etc., zodat de conclusie getrokken kan worden of er gediscrimineerd
wordt (minder Aziaten aangenomen dan blanken). Zulke discriminatie wordt vaak
gevonden, maar er zitten nadelen aan deze studies: hoe ben je er zeker van dat ze zich echt
hetzelfde gedragen in het interview? Interviews zijn namelijk onvoorspelbaar, dus het is
onmogelijk om compleet voorbereid te zijn. Daarnaast kan de minority groep de
verwachting hebben dat ze zullen worden gediscrimineerd, wat hun gedrag kan
beïnvloeden.
Zijn interviewers biased naar oudere sollicitanten? Minder leeftijdsdiscriminatie in
echte dan in gesimuleerde interviews (lab) verklaring: In lab wordt leeftijd meer
opvallend gemaakt en bieden weinig andere relevante info.
,3
Zijn interviewers biased door accent? In een onderzoek bleek Spaans accent in
Amerika kans op promotie te verkleinen. Effect zou gemedieerd worden door perceptie
van lager vermogen om anderen te beïnvloeden.
Zijn interviewers biased door uiterlijk? Grote correlatie gevonden (.52) tussen
aantrekkelijkheid en interview rating. Effect is sterk in ongestructureerde interviews,
maar bijna afwezig bij gestructureerde interviews.
Zijn interviewers biased door gewicht? Ja, vooral bij ongestructureerde (door
stereotyperingen die mensen hebben over mensen met overgewicht). Zelfs het zitten
naast iemand met overgewicht zou kans op baan kunnen verlagen.
Zijn interviewers biased door lengte? Ja (verklaring: macht) wordt gevonden bij
mannen en vrouwen (ondanks gem. verschil in lengte tussen mannen en vrouwen).
Vooral in sales en management, maar aanwezig in alle soorten beroepen. Lengte leidt tot
verhoogd zelfvertrouwen, wat bijdraagt aan succes.
Zijn interviewers biased tegen homoseksuele kandidaten? Nee, kregen wel
negatiever onthaal (korter interview en minder aardige interviewer), maar geen
discriminatie m.b.t. krijgen van baan.
Law and Fairness
Ongestructureerde interviews zijn meest voorkomende bron van geschillen in de VS.
- Ongestructureerde interviews krijgen twee keer zoveel klachten als verwacht,
terwijl gestructureerde interviews half zoveel klachten krijgen als verwacht.
Waarom dan beter gestructureerde interviews?
- Bij klachten met gestructureerde interviews won werkgever altijd. Terwijl bij
ongestructureerde interviews maar in 40% van de gevallen werd gewonnen.
Verklaring: Werkgevers kunnen zich bij gestructureerd interview verdedigen
tegen Unfairness: door de structuur (i.e. standaardvragen, alle interviews zijn
hetzelfde), en het gebruik van objectieve, specifieke en gedragsmatige criteria.
, 4
Boek H6 – Cook (2016) – Tests of Mental Ability
Waar gaat het artikel over?
Over het gebruik van Mental Ability Tests (CI-tests).
Law, Fairness, and Minorities
Tests die gebruikt worden in selectie zouden niet moeten zorgen voor leeftijds-,
geslachts-, of rasverschillen bij de mensen die worden getest; zulke verschillen kunnen
zorgen voor adverse impact, wat weer kan leiden tot moeilijkheiden met fair
employment laws (arbeidswetten). GMA (general mental ability) tests moeten dus alleen
discrimineren tussen de bright and the less bright, maar dit gebeurt niet altijd:
- Geslachtsverschillen: vijf meta-analyses over geslachtsverschillen vinden geen
verschillen in GMA, al zouden mannen wel beter scoren op ruimtelijk inzicht en
mentale rotatie, en vrouwen op verbale tests.
- Leeftijdsverschillen: alle GATB-vermogens nemen af met leeftijd. De afname van
algemene intelligentie is progressief vanaf 20-35 jaar onwards.
- Ras/etniciteit: GMA tests creëren adverse impact op sommige delen van de
Amerikaanse populatie. Een meta-analyse vond grote verschillen tussen blanke
en Afrikaanse Amerikanen, en tussen blanke en Spaanse Amerikanen.
- Outside the USA: In Nederland werden grote verschillen gevonden tussen
inheemse Nederlandse sollicitanten voor politiewerk en immigranten uit de
Cariben, Noord-Afrika, Suriname, en Turkije. De verschillen zijn echter veel
kleiner in de tweede generatie en zijn gelinkt aan bekwaamheid met de taal.
Leeftijds- en geslachtsverschillen hebben nog niet voor veel problemen gezorgd, maar
de etniciteitsverschillen wel, vooral in de VS.
Dealing with Adverse Impact in Mental Ability Scores
Dealing with adverse impact 1. Wijzigen van de manier waarop scores worden gebruikt.
Vaak wordt score banding gebruikt. Dit betekent dat ruwe scores tussen bijv. 25 en 30 als gelijk
worden gezien. Banding maakt het makkelijker om scores te beschrijven. Test score banding
systemen zijn gebaseerd op de error of measurement. Stel: de hoogst scorende sollicitant scoort
55 met een EoM van 11, dan start de ‘band’ op 55 en loopt het omlaag tot en met 45. Binnen deze
band worden alle sollicitanten dan als gelijkwaardig gezien. Discriminatie zal hierdoor
verminderen diversity-based referral. Een aantal kritiekpunten op deze methode zijn:
Banding faalt in het onderscheid maken tussen individuele scores en gemiddelde scores.
De EoM criterion dat gebruikt wordt zorgt voor een brede band. Hoe breder de band, hoe
minder selectief selectie wordt.
Als de test niet erg betrouwbaar is, dan is de band enorm, waardoor de testscores maar
weinig zeggen. De EoM wordt namelijk groter naarmate de fout in betrouwbaarheid
groter wordt.
