Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

Čeští vědci prozkoumali možnosti genetické úpravy lidských embryí

Odborný vědecký časopis Nature zveřejnil studii, na které se podíleli i čeští vědci. Přinesli v ní přelomové poznatky o možnostech opravy genetických chorob v raném embryonálním vývoji.
včera v 19:58

Vyvráceno. Přehled nejznámějších dezinformačních a konspiračních teorií o 11. září

Od teroristických útoků na Světové obchodní centrum uplynulo čtvrt století. Šlo o tak výjimečnou událost, že se kolem ní rozšířila celá řada konspiračních teorií a dezinformací. I po pětadvaceti letech se nepravdivá vysvětlení šíří po internetu a sociálních sítích. Tento článek uvádí na pravou míru ty nejrozšířenější.
včera v 10:50

Vědci z Akademie věd vytvořili nejmenší QR kód světa. Z jednotlivých atomů

Je víc než tisíckrát menší, než je šířka lidského vlasu, a téměř osmsetkrát menší než současný držitel Guinnessova rekordu. Okem je neviditelný, k jeho spatření ale nestačí ani většina normálních mikroskopů. Tak vypadá nejmenší QR kód na světě, který vytvořili vědci Benjamin Lowe a Oleksandr Stetsovych z Fyzikálního ústavu Akademie věd s Julianem Ceddiou z australské Monash University.
včera v 10:16

El Niño se potká s Indickooceánským dipólem. Meteorolog popisuje důsledky

V Tichém oceánu rychle sílí El Niño, které by se během letošního podzimu mělo stát vůbec nejsilnějším ve známé historii. Současně probíhá zajímavá změna o několik tisíc kilometrů západněji, v Indickém oceánu. Tam se rozvíjí kladná fáze takzvaného Indickooceánského dipólu. A souběh těchto dvou jevů může v následujících měsících výrazně ovlivnit počasí od Austrálie přes Indii a východní Afriku až po vzdálenější části světa.
včera v 09:15

Vzpomínky na 11. září jsou stále živé. A často nepravdivé, vysvětluje psycholog

Doba kolem roku 2000 patřila přes obavy spojené s přelomem milénia k těm nejklidnějším v dějinách lidstva. O to silnějším šokem byl teroristický útok na Světové obchodní centrum (WTC), který se odehrál před čtvrtstoletím, 11. září 2001. Vzpomínky lidí na tento den nevybledly ani po 25 letech.
včera v 08:46

Studie spojuje nadměrné noční osvětlení se změnami ve struktuře a funkci srdce

Podle studie zveřejněné v časopise European Heart Journal, oficiálním časopise Evropské kardiologické společnosti, je vystavení světlu v noci spojeno s významnými a potenciálně škodlivými změnami ve struktuře a funkci srdce.
10. 9. 2026

Srpen byl celosvětově nejteplejším měsícem historie, uvedl Copernicus

Letošní srpen byl celosvětově nejteplejším měsícem historie, když vyrovnal rekord července 2023. Průměrná teplota vzduchu u zemského povrchu činila 16,96 stupně Celsia a byla o 0,85 stupně nad průměrem z let 1991 až 2020, uvedla ve čtvrtek služba Evropské unie pro sledování klimatu Copernicus. Letní období od června do srpna vyrovnalo rekord průměrné celosvětové teploty z roku 2024.
10. 9. 2026

Na Pálavě se šíří invazní kaktus. Může vytlačovat původní rostliny

V Chráněné krajinné oblasti Pálava se šíří nepůvodní mrazuvzdorný kaktus – opuncie. Ochranáři ho po Děvíně a Tabulové letos zaznamenali v další tamní rezervaci, na Svatém kopečku u Mikulova. Severoamerická rostlina představuje hrozbu pro původní vzácné druhové složení pálavských stepí, informovali zástupci Správy CHKO Pálava na facebooku.
10. 9. 2026

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.