V experimentu vědců z univerzit v Oxfordu a Stanfordu se ukázalo, že nejpoužívanější modely umělých inteligenci (AI) trpí skrytými předsudky vůči černošské menšině. Stroje se chovaly výrazně negativněji a kritičtěji k osobám, které komunikovaly v afroamerické angličtině.
Umělé inteligence stále více pronikají do oblasti práva. Zejména u anglosaského zvykového práva využívaného v USA a Velké Británii je to poměrně logické – je totiž založené na obrovském množství procesů a rozsudků z minulosti, v nichž se hledají precedenty pro současný případ. A to znamená obrovské množství dat v podobě slov, přičemž právě umělé inteligence se ke třídění takových údajů skvěle hodí. Nemohou mít v sobě ale AI nějaké předsudky, které vznikly už během jejich výcviku a mohly by ovlivňovat jejich schopnost být nezávislé?
Právě to nyní zkoumali vědci, kteří se pokusili zjistit, jestli velké jazykové modely netrpí předsudky vůči Afroameričanům. Výzkumníky zajímala jedna konkrétní věc – možné předsudky vůči tomu, jak Afroameričani komunikují, a to rovnou v několika rovinách.
Vědci zadali umělým inteligencím, aby hledaly vhodné osoby pro určité pracovní pozice. Stroje nedostaly informace o rase uchazečů, ale text žádosti mohl být v klasické americké angličtině, anebo v takzvané afroamerické angličtině – tedy psaný výrazovými prostředky, které využívá častěji právě americká černošská menšina.
Afroamerická angličtina je soubor anglických sociolektů, kterými mluví většina černošského obyvatelstva ve Spojených státech a mnoho lidí v Kanadě. Nejčastěji se jedná o soubor dialektů od afroamerické lidové angličtiny po standardnější americkou angličtinu.
Stejně jako všechny široce rozšířené jazykové variety vykazuje afroamerická angličtina rozdíly stylistické, generační i geografické.
Od standardní angličtiny se odlišuje vlastním přízvukem, gramatikou a slovní zásobou.
Ukázalo se, že velké jazykové modely častěji přiřazovaly osoby používající afroamerickou angličtinu k zaměstnáním, která nevyžadují vysokoškolské vzdělání, jako jsou kuchaři, vojáci nebo hlídači.
V těchto testech se zkoušely schopnosti dvanácti verzí velkých jazykových modelů včetně GPT-2, GPT-3.5 a GPT-4 a dále modely RoBERTa společnosti Meta a T5 společnosti Google.
Zločin a trest
Výzkumníci také prováděli experimenty, při nichž se modelů umělé inteligence ptali, jestli by odsoudily, nebo osvobodily člověka obviněného z blíže neurčeného trestného činu. Zjistili, že všechny testované modely umělé inteligence častěji odsoudily lidi, kteří komunikovali afroamerickou angličtinou, ve srovnání s těmi, kteří používali standardní americkou angličtinu.
Vůbec nejkontroverznější byl ale výsledek další části tohoto pokusu. Vědci se ptali AI, jestli by odsoudily člověka, který spáchal vraždu prvního stupně, na doživotí, nebo na smrt. Jedinou informací, kterou modely v experimentu dostaly, byl dialekt dané osoby. Velké jazykové modely se rozhodly odsoudit k trestu smrti osoby, které mluvily afroamerickou angličtinou, častěji než ty, které mluvily standardní americkou angličtinou.
Když pak vědci zkoumali, v čem spočívá rasistické chování těchto „soudců“, zjistili, že výsledky jsou zvláštní – umělé inteligence totiž často spojovaly Afroameričany s mnoha pozitivními vlastnostmi, současně ale označovaly jedince, kteří používali afroamerickou angličtinu, za „líné“ a spojovaly je s dalšími negativními vlastnostmi.
Jedná se tedy o něco, čemu výzkumníci říkají „skrytý rasismus“. Nejlépe přitom tyto předsudky podle studie, která zatím neprošla recenzním řízením, skrývaly modely společnosti Open AI.
