Što je algoritamska diskriminacija?
Diskriminacija algoritmima i umjetnom inteligencijom (AI) – što je to?
Algoritamski sustavi mogu donositi odluke koje diskriminiraju ljude, npr. kada se radi o dodjeli socijalnih naknada ili upravljanju molbama ljudi za posao.
Kada se odluke sustava temelje na podacima koji sadrže pristranosti, takve su pristranosti uključene u odluke – ako se ne uvedu odgovarajući pravni lijekovi.
Sustavi nisu neutralni
Postoje i drugi izvori diskriminacije: bilo koja temeljna pretpostavka koja je imala utjecaja tijekom razvoja modela ili svrha i način na koji se sustav koristi.
To je slučaj ako je sustav za prepoznavanje lica primarno namijenjen identificiranju crnaca, na primjer, ili ako se sustav koristi za mjerenje učinka zaposlenika, a ne uzima u obzir posebne potrebe osoba s invaliditetom.
Tehnički kontrolirane odluke stoga ne daju nužno “neutralnije” ili “objektivnije” rezultate. Ti sustavi sami po sebi nisu neutralni. Ljudi sa svojim posebnim pretpostavkama i interesima utječu na to kako se sustavi razvijaju i koriste.
Algoritamski sustavi često diskriminiraju ljude koji su već u nepovoljnom položaju
U načelu, međutim, svatko može biti pogođen. Crnci su u nepovoljnijem položaju zbog sustava koji određuju uvjetne mjere za kriminalce; ljudi iz siromašnijih četvrti klasificirani su kao rizičniji kada je riječ o kreditima; žene mogu biti razvrstane algoritmima u automatiziranim procesima prijavljivanja zbog svog spola, unatoč tome što su kvalificirane za posao.
Posljedice takve diskriminacije često ostaju nezapažene jer se obično ne zna kako dolazi do automatiziranih odluka. Zbog toga se pogođeni često ne mogu braniti.
