Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

Grónsko je klíčové pro Trumpovu kolosální Zlatou kopuli

Americký prezident Donald Trump a další představitelé jeho administrativy tvrdí, že získání Grónska je zásadní pro úspěšné dokončení projektu Golden Dome (Zlatá kopule). Tento vesmírný protiraketový štít nové generace má ochránit Spojené státy před stále vyspělejšími protivníky, píše server BBC News.
před 1 hhodinou

Dánští archeologové objevili obří středověkou loď-hrad. Uvezla stovky tun nákladu

Objev masivní obchodní lodi u kodaňského pobřeží pomáhá vyprávět nejenom její příběh, ale také vrhá nové světlo na středověký obchod, život námořníků a také na to, jak se tyto lodi stavěly.
před 4 hhodinami

Obavy z budoucnosti mladí Číňané rozptylují pomocí AI věštců

Mladí Číňané se zamilovali do věštění. Pohled do budoucna jim už ale nenabízí kartářky, prognostici nebo tvůrci horoskopů, ale stále častěji umělé inteligence, především domácího původu.
včera v 09:00

Studie: Nejsou důkazy o spojitosti paracetamolu v těhotenství s autismem u dětí

Nová rozsáhlá studie nenašla žádné důkazy o tom, že by užívání paracetamolu v těhotenství zvyšovalo riziko autismu, ADHD a vývojové poruchy intelektu. Studii zveřejnil odborný časopis The Lancet. Těhotné ženy od užívání paracetamolu v loňském roce zrazoval americký prezident Donald Trump, který lék proti horečce a bolesti spojil s rizikem autismu u dětí.
včera v 08:44

Írán odpojil internet v panice, Starlink rušit nedokáže

Teherán odpojil internet během protestů v panice a o přístup k síti přišlo dočasně i ministerstvo zahraničí. Píše to list Financial Times s odkazem na experty. Odříznutí Íránci se navzdory hrozbě represí pokoušejí komunikovat se světem přes Starlink. Íránské úřady se marně snaží rušit signál, a tak zabavují lidem antény.
16. 1. 2026

Cítí se opuštěni elitami, sjednoceni hněvem. Co lidi spojuje v krizích, ukázal český výzkum

Co mají společného spory o roušky během covidu a hádky o pomoc Ukrajině v diskuzích na facebooku? Výzkum českých vědkyň ukazuje, že lidé v časech krize sdílejí opakující se příběhy na základě modelu „my dole“ proti „těm nahoře“. Může to na sociálních sítích posílit sounáležitost mezi lidmi, ale současně takové chování rozděluje společnost ještě víc a vytváří pocity nedůvěry vůči elitám, hlavně těm politickým a mediálním.
16. 1. 2026

Jaký bude rok 2026? Velká předpověď naznačuje vysoké teploty

Letošní rok by se mohl zařadit k těm dosud nejteplejším. Naznačují to predikce na základě analýzy historických dat a sledování dlouhodobého vývoje. Důležitou roli mají mít jevy El Niňo a La Niňa. Dosud nejteplejší byl rok 2024, ten loňský se stal třetím nejteplejším od počátku pozorování.
16. 1. 2026

Mikroplastů je tolik, že kontaminují výzkumy o množství mikroplastů

Mikroplastů je už na Zemi tolik, že se nedá pořádně říct, jak moc jich je – tak se dají shrnout výsledky několika studií, které vyšly v poslední době. Na základě důkladných analýz jejich autoři zpochybňují předchozí výzkumy, které popisovaly, kolik mikroplastů (a nanoplastů) se nachází v lidských tkáních.
16. 1. 2026
Načítání...