Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

Mnohým AI chybí dostatečná opatření při dotazech vztažených k terorismu, varuje zpráva

Mnoho modelů umělé inteligence (AI) nemá dostatečné bezpečnostní mechanismy proti žádostem o „pomoc při teroristické operaci“, uvádí iniciativa Tech Against Terrorism v páteční zprávě.
před 6 hhodinami

Za padesát let zmizely tři čtvrtiny volně žijících obratlovců

Populace volně žijících obratlovců klesly v letech 1970 až 2022 v průměru o 73 procent. Největšími hrozbami pro tyto živočichy jsou ztráta a degradace stanovišť, nadměrné využívání přírodních zdrojů, klimatická změna, znečištění, invazní druhy nebo nemoci. Nejhůře jsou na tom sladkovodní populace živočichů, které poklesly průměrně o 85 procent. Vyplývá to ze Zprávy o stavu planety 2026 (Living Planet Report).
před 8 hhodinami

Emise skleníkových plynů za poslední dekádu měly dopad na sílu veder v Evropě, ukazuje studie

Když Evropu zasáhne mimořádná vlna veder, dokážou klimatologové poměrně dobře stanovit, jakou roli v ní sehrála člověkem způsobená změna klimatu. Nedávno publikovaná studie si ale klade mnohem složitější otázku – dá se v konkrétní vlně veder rozeznat vliv části skleníkových plynů, konkrétně těch, které lidstvo vypustilo teprve během posledních deseti let?
před 12 hhodinami

AI vyřešila stovky matematických problémů, tvrdí OpenAI. Vědci protestují

Společnost OpenAI zaměřená na výzkum a vývoj umělé inteligence (AI) zveřejnila rozsáhlou sbírku matematických výpočtů, které vytvořil její nový interní model. Podle deníku The New York Times (NYT) výsledky na jednu stranu odhalují, čeho jsou nejpokročilejší modely AI schopny, ale vyvolávají i otázku, do jaké míry se výsledky opírají o práci skutečných matematiků. Překotný vývoj AI také vyvolává obavy, že firmy technologii vyvíjejí rychleji, než se změně dokáže přizpůsobit akademické prostředí.
včera v 17:30‌‌

Rakovina dutiny ústní zabije ročně stovky Čechů. Člověk ji může odhalit sám, radí stomatolog

Stovky lidí ročně zbytečně zemřou na rakovinu dutiny ústní, hlavně proto, že se s touto diagnózou dostanou k lékaři pozdě. Ve skutečnosti mohou ale hodně udělat sami, tento nádor se dá totiž odhalit i pomocí samovyšetření. Včasný záchyt je pro toto zhoubné onemocnění klíčový, říká v rozhovoru pro ČT24 přednosta Stomatologické kliniky FN Plzeň Lukáš Hauer.
včera v 16:26‌‌

Větrné elektrárny mohou ochlazovat mořskou hladinu, ukázal výzkum

Spočítat dopady větrných elektráren na okolí není úplně snadné – zejména na moři, kde existuje spousta nejrůznějších vlivů, jejichž dopady komplikují vyhodnocení. Teď přišli s kvalifikovanými odhady experti ze Skotska.
včera v 13:12‌‌

Zemřela Margaret Hamiltonová, která vyvíjela programy pro NASA

Ve věku devadesáti let zemřela americká softwarová inženýrka Margaret Hamiltonová, která vedla tým, jenž vyvíjel letový software pro program Apollo amerického Národního úřadu pro letectví a vesmír (NASA). Informoval o tom její někdejší zaměstnavatel, Massachusettský technický institut (MIT).
včera v 12:13‌‌

Největší soukromá archeologická společnost na světě končí, stovky vědců jsou bez práce

„Archeologie jako byznys s růstovou strategií“ – takový byl záměr americké soukromé společnosti Chronicle Heritage, která zaměstnávala stovky archeologů, antropologů a paleontologů. Na začátku října přestala fungovat, možná i kvůli obavám z budoucího nedostatku financí.
včera v 11:08‌‌

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.