The bias detectives
Algoritmes kunnen ingezet worden in het dagelijks leven voor ‘predictve policingg’ zoals families
onderzoeken met potentile kindermishandeling. Systemen moeten problemen wel verminderen en
niet uitbreiden’ zoals gebeurde dat een systeem voor criminaliteit zwarten discrimineerde. Het is
moeilijk om algoritmes en automatsche dingen eerlijk te maken in een misschien wel discriminerend
sociaal systeem.
Fairness trade-ofs
“If you want to be fair in one way’ you might be necessarily be unfair in another.” Ze probeerden
COMPAS (sofware die helpt te bepalen of iemand eerder uit de gevangenis zou kunnen). Dat zou
eerlijk zijn’ maar blijkbaar behandelt de sofware zwarten niet eerlijk en zou het dus bevooroordeeld
zijn. Misschien gewoon moeilijk om over die groep een voorspelling te doen. Onduidelijkheid over
wat ‘eerlijkg is. De proportes van het model klopte tevens ook niet’ want het verschil in
foutenpercentages was veel hoger dan verwacht in ras- en etniciteitsgroepen en om redenen die nog
steeds niet duidelijk zijn’ werden kinderen die op het algoritme scoorde als ‘grootste risico op
mishandelingg minder snel uit hun huis verwijderd dan zwarte kinderen met de hoogste risicoscores.
Ze switchen dan ook nu naar een ander systeem. Je maakt natuurlijk voorspellingen en die kunnen
op basis zijn van vooroordelen. Zwarte’ biracial en arme families zijn de dupe. Dat laatste omdat het
model gebaseerd is op openbare diensten en arme families daar veel meer mee te maken hebben’
waardoor zij bevooroordeeld worden.
Transparency and its limits
Algoritmen verergeren over het algemeen problemen wanneer ze gesloten loops zijn die niet
openstaan voor algoritmische auditng’ ter beoordeling’ of voor een publiek debat. Ze moeten dus
transparant zijn. Simpelweg het bekendmaken van de parameters van een model geef niet veel
inzichten in hoe het werkt en transparante is in strijd met privacy. Bovendien kan té transparant
ervoor zorgen dat mensen van buitenaf met het systeem gaan spelen.
Een groot obstakel voor ‘verantwoordingg is dat instantes vaak geen gegevens verzamelen over de
manier waarop de tools worden gebruikt of hun prestates. aak is er geen transparante omdat er
niets te delen valt.
Mensen hopen op algoritmische besluitngssystemen. Als er een beslissing wordt genomen op basis
van deze besluitngssystemen’ mogen mensen uitleg vragen over deze geautomatseerde beslissing.
Om te weten of zogn besluitngssysteem bevooroordeeld is’ moet je eigenlijk weten welke personen
er in zogn systeem zijn opgenomen’ maar dat is hele gevoelige informate’ streng bewaakt enzo en
met hoge strafen als je die deelt (privacywet) en bedrijven willen zich daar niet aan branden. Ook al
zijn de besluitngssystemen automatsch’ uiteindelijk vellen mensen het laatste oordeel (in de
rechtbank bijvoorbeeld).
Auditing algorithms
Onderzoekers proberen die vooroordelen op te sporen’ maar bedrijven willen het daar niet over
hebben’ omdat ze dan als het ware toegeven dat er vooroordelen in hun systeem ziten.
Algoritmes kunnen ingezet worden in het dagelijks leven voor ‘predictve policingg’ zoals families
onderzoeken met potentile kindermishandeling. Systemen moeten problemen wel verminderen en
niet uitbreiden’ zoals gebeurde dat een systeem voor criminaliteit zwarten discrimineerde. Het is
moeilijk om algoritmes en automatsche dingen eerlijk te maken in een misschien wel discriminerend
sociaal systeem.
Fairness trade-ofs
“If you want to be fair in one way’ you might be necessarily be unfair in another.” Ze probeerden
COMPAS (sofware die helpt te bepalen of iemand eerder uit de gevangenis zou kunnen). Dat zou
eerlijk zijn’ maar blijkbaar behandelt de sofware zwarten niet eerlijk en zou het dus bevooroordeeld
zijn. Misschien gewoon moeilijk om over die groep een voorspelling te doen. Onduidelijkheid over
wat ‘eerlijkg is. De proportes van het model klopte tevens ook niet’ want het verschil in
foutenpercentages was veel hoger dan verwacht in ras- en etniciteitsgroepen en om redenen die nog
steeds niet duidelijk zijn’ werden kinderen die op het algoritme scoorde als ‘grootste risico op
mishandelingg minder snel uit hun huis verwijderd dan zwarte kinderen met de hoogste risicoscores.
Ze switchen dan ook nu naar een ander systeem. Je maakt natuurlijk voorspellingen en die kunnen
op basis zijn van vooroordelen. Zwarte’ biracial en arme families zijn de dupe. Dat laatste omdat het
model gebaseerd is op openbare diensten en arme families daar veel meer mee te maken hebben’
waardoor zij bevooroordeeld worden.
Transparency and its limits
Algoritmen verergeren over het algemeen problemen wanneer ze gesloten loops zijn die niet
openstaan voor algoritmische auditng’ ter beoordeling’ of voor een publiek debat. Ze moeten dus
transparant zijn. Simpelweg het bekendmaken van de parameters van een model geef niet veel
inzichten in hoe het werkt en transparante is in strijd met privacy. Bovendien kan té transparant
ervoor zorgen dat mensen van buitenaf met het systeem gaan spelen.
Een groot obstakel voor ‘verantwoordingg is dat instantes vaak geen gegevens verzamelen over de
manier waarop de tools worden gebruikt of hun prestates. aak is er geen transparante omdat er
niets te delen valt.
Mensen hopen op algoritmische besluitngssystemen. Als er een beslissing wordt genomen op basis
van deze besluitngssystemen’ mogen mensen uitleg vragen over deze geautomatseerde beslissing.
Om te weten of zogn besluitngssysteem bevooroordeeld is’ moet je eigenlijk weten welke personen
er in zogn systeem zijn opgenomen’ maar dat is hele gevoelige informate’ streng bewaakt enzo en
met hoge strafen als je die deelt (privacywet) en bedrijven willen zich daar niet aan branden. Ook al
zijn de besluitngssystemen automatsch’ uiteindelijk vellen mensen het laatste oordeel (in de
rechtbank bijvoorbeeld).
Auditing algorithms
Onderzoekers proberen die vooroordelen op te sporen’ maar bedrijven willen het daar niet over
hebben’ omdat ze dan als het ware toegeven dat er vooroordelen in hun systeem ziten.
