Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

Kráva používá nástroje. Vědci se diví, že si toho dosud nevšimli

Veronika žije v Rakousku na horách a jako každou jinou krávu ji trápí hmyz. Bodavý hmyz dobytek otravuje odnepaměti, ale až Veronika našla řešení. Ze země zvedá klacky nebo třeba i odhozené koště, to uchopí do tlamy a pohybuje jím tak, aby dosáhla na jinak nedosažitelná místa, která ji svědí. Její majitel toto chování nafilmoval a záběry se pak dostaly do rukou expertů z Veterinární univerzity ve Vídni. Ti byli v šoku.
před 11 hhodinami

Evropu čekají silnější zemědělská sucha, i kdyby víc pršelo, varuje výzkum

Klimatické změny, které v současné době probíhají, musí nutně ovlivňovat nejen teploty, ale také všechno, na co teplo působí. Tedy včetně půdy a rostlin, které v ní rostou. Vědci z Univerzity v Readingu studovali, jak klimatické změny ovlivňují vlhkost půdy během vegetačního období, tedy v období roku, kdy zemědělské plodiny potřebují vodu nejvíce.
před 13 hhodinami

Šest příspěvků za 23 sekund. Donald Trump se umí na Truth Social rozvášnit

Sociální síť Truth Social je výkladní skříní toho, o co se americký prezident dělí s veřejností. Analýza příspěvků, které tam vydal od roku 2022 do současnosti, naznačuje, jak s ní pracuje.
před 15 hhodinami

Archeologové v Itálii objevili ztracenou Vitruviovu baziliku

Archeologové v Itálii našli pozůstatky více než dva tisíce let staré veřejné budovy, jejíž návrh připisují starověkému římskému architektovi Vitruviovi, známému jako otec architektury. Pozůstatky starověké baziliky našli archeologové v centrálním italském městě Fano severovýchodně od Říma.
před 15 hhodinami

Smaragdová, šarlatová, karmínová. Nebe nad Českem zbarvila polární záře

Na mnoha místech Česka bylo v noci na úterý možné pozorovat polární záři. Podle Českého meteorologického ústavu byla záře velmi dynamická a přechodně byla viditelná i z větších měst. Fotografie vzácného přírodního úkazu sdílela také řada uživatelů sociálních sítí.
před 16 hhodinami

Američtí vědci se teď bojí mluvit, hodnotí rok od návratu Trumpa Konvalinka

Americká věda měla dle renomovaného biochemika Jana Konvalinky problémy už před loňským návratem Donalda Trumpa do Bílého domu, nyní se ale prohloubily. Poškodí to poznání celého lidstva, ale otevírá to celou řadu možností pro Evropu, míní Konvalinka s tím, že je ale na ní, jestli šanci dokáže uchopit.
před 18 hhodinami

Pompejské lázně byly špinavé a znečištěné těžkými kovy, ukázala studie

Nové objevy z lázní v Pompejích ukazují, že se jejich hygienické poměry značně lišily od toho, co se pokládá za římskou kvalitu. Nálezy ale současně naznačují, že se vědci mohou už brzy dozvědět o zaniklém městě mnohem víc.
19. 1. 2026

Rychle zjistili, že jsme profesionálové, vzpomíná účastník Pouštní bouře

Válka v přímém přenosu – tak se říkalo konfliktu v Perském zálivu, který na začátku roku 1991 sledovaly díky televizním kamerám miliony lidí po celém světě. Do operace Pouštní bouře, která měla za cíl osvobodit okupovaný Kuvajt, se zapojili i českoslovenští vojáci z protichemické jednotky. Poprvé od druhé světové války se tak stali spojenci Američanů, Britů a Francouzů. Ti se na ně přesto – jako na své někdejší komunistické nepřátele – dívali nejdřív s opatrností.
19. 1. 2026
Načítání...