Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

Československo pod radioaktivním mrakem. Před čtyřiceti lety hrálo hlavní roli počasí

Před čtyřiceti lety došlo k nejhorší katastrofě při provozu jaderných elektráren v historii. Šlo o Černobyl. O dopadech na Evropu do značné míry rozhodovalo počasí a také schopnost ho dostatečně dobře předpovídat.
před 2 hhodinami

VideoNASA chce do roku 2036 vybudovat základnu na Měsíci

Šéf NASA Jared Isaacman týden před startem mise Artemis II představil nový plán, podle kterého chtějí Spojené státy do roku 2036 vybudovat na Měsíci trvalou základnu. Počítá s desítkami pilotovaných přistání, budováním potřebné infrastruktury i využitím místních zdrojů, především vody. Právě její hledání bude jedním z klíčových úkolů příštích let a zapojí se do něj i technologie, kterou vyvíjejí vědci z ČVUT. Pátrání po vodě na Měsíci má začít v roce 2029.
před 14 hhodinami

Dospělí, kteří nikdy nevstoupili do manželství, mají dle studie vyšší riziko rakoviny

Dlouhodobé vztahy zřejmě fungují jako silný faktor, který pomáhá před rakovinou. Ve hře je celá řada různých faktorů, které se podílejí na této ochraně, popsali vědci v rozsáhlém výzkumu.
včera v 11:03

Artemis II se vrátila na Zemi. Přistání do oceánu proběhlo úspěšně

Mise Artemis II, při které první lidé od sedmdesátých let minulého století obletěli Měsíc, v noci na sobotu ukončila svou více než milion kilometrů dlouhou cestu. Čtveřice astronautů v kosmické lodi Orion proletěla atmosférou a dopadla do Tichého oceánu nedaleko západoamerického San Diega. Manažer programu Orion Howard Hu na tiskové konferenci uvedl, že tento den představuje začátek nové éry lidského průzkumu vesmíru.
10. 4. 2026Aktualizovánovčera v 07:34
Načítání...