So algoritmi lahko rasistični?

V prejšnjih dneh so nekateri v ZDA napadli progresivno demokratko Alexandrio Ocasio-Cortez (AOC), ko je dejala, da algoritmi, ki jih uporabljajo denimo banke ali nepremičninska podjetja pri ocenjevanju tveganj posameznih strank, lahko delujejo rasistično, saj algoritmi denimo ocenijo tveganja, povezana z “nebelimi” strankami, bistveno višje. Preprosto rečeno, algoritmi, ki temeljijo na velikem številu opazovanj (big data), “odsvetujejo” prodajo nepremičnin črnskim strankam v “belih soseskah”, saj bi to naj vplivalo na splošno znižanje cen nepremičnin v tej soseski.

Algoritmi torej lahko, čeprav morda nehote, delujejo rasistično. In AOC ima pri tem povsem prav, če le malo poznate ozadje, kako deluje programiranje za analizo “velikih podatkov”.

Programska koda algoritmi) pač na podlagi vzorcev obnašanja v velikem številu podatkov oceni povprečne učinke na podlagi značilnosti posamičnih subjektov. In ta povprečni učinek značilnosti posamičnega subjekta je problematičen – ker je pač povprečni. Toda distribucija posameznikov okrog povprečja je lahko zelo velika. Po domače rečeno, morda v povprečju res velja, da so cene nepremičnin, v katerih živijo črnski prebivalci nižje, toda subjekti črne barve kože se med seboj zelo razlikujejo. Nekateri so lahko res revni in z nizkimi dohodki, toda drugi so lahko visoko izobraženi ali uspešni na podagi drugih značilnosti (talentov), kar determinira njihove dohodke in drugačen življenjski stil. Problem je, da tudi če v modelu “kontrolirate” za te druge značilnosti posameznikov, vam sprmenljivka “črna barva kože” lahko še vedno kaže signifikanten negativen učinek.

Še večji problem je, kadar nekdo zaradi osebnega ali splošnega prepričanja, da prodaja nepremičnine črni stranki v beli soseski znižuje cene nepremičnin celi soseski, to prepričanje “ročno vnese” v model oziroma popravi akgoritem. V prvem primeru so algoritmi lahko nezavedno rasistični, v drugem pa zavestno rasistični.

Zaradi tega je treba biti zelo pazljiv pri uporabi algoritmov. Matematičarka in IT strokovnjakinja Cathy O’Neil je zato že pred časom povedala, da so “algoritmi naša mnenja, zapisana v programsko kodo” in leta 2017 napisala knjigo, v kateri trdi, da so skriti algoritmi, ki uravnavajo mnoge izmed naših dejavnosti, lahko zelo nevarni in jih posrečeno poimenovala “sredstva za matematično uničevanje” – glejte njeno knjigo “Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy“.

Spodaj je njen TED govor o nevarnosti slepe uporabe algoritmov in velikih podatkov. Če vas zanima, kako je ideologija zabetonirana tudi v ekonomiji, v navidez nepristranske matematične modele, si preberite mojo kolumno izpred nekaj let “Koliko ideologije lahko stlačimo v eno enačbo“.

%d bloggers like this: