Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

V Irkutsku panují obavy z moru. Vyvolala je smrt pracovnice výzkumného ústavu

Smrt osmadvacetileté pracovnice protimorového výzkumného ústavu v ruské Irkutské oblasti vyvolala obavy z možného výskytu moru, píše americká stanice CNN. Podle místních médií, na která odkazuje web Euronews, žena při práci rozbila zkumavku s bakterií způsobující toto onemocnění. Ruské úřady však nákazu morem nepotvrdily a uvádějí, že žena zemřela na zápal plic neznámého původu. Přesto uvalily karanténu na místní nemocnice, upozornil ruský list Moskovskij komsomolec.
03:31Aktualizovánopřed 1 mminutou

Začíná týden Nobelových cen, kvůli Trumpovi poutá pozornost ta za mír

V pondělí začíná týden vyhlašování letošních laureátů Nobelových cen. Největší pozornost médií i analytiků poutá Nobelova cena za mír, kterou v pátek 9. října oznámí norský Nobelův výbor. Loni si o toto ocenění opakovaně říkal americký prezident Donald Trump, ale výbor nakonec upřednostnil lídryni venezuelské opozice Maríi Corinu Machadovou. Ta později šéfovi Bílého domu svou zlatou medaili věnovala. Rozhodnutí nobelovských porot lze předem jen obtížně odhadnout, což obzvláště platí pro kategorie cen za mír a také literaturu.
před 1 hhodinou

VideoÚstav pro kontrolu léčiv prověřuje peptidové injekce z černého trhu

Slibují růst svalové hmoty nebo rychlou regeneraci, přitom můžou ohrozit lidské zdraví. Experti varují před peptidovými injekcemi, které nepředepisuje ani neaplikuje lékař. Na některé nelegální přípravky se teď zaměřil i Státní ústav pro kontrolu léčiv. Upozorňuje, že u podobných produktů často není jasný původ ani složení.
před 3 hhodinami

Hitler neměl nikdy šanci vyrobit atomovou bombu, tvrdí archeologové

Nová studie se pokusila rekonstruovat nacistické snahy o získání atomové zbraně. Podle vědců Německu chyběly dva klíčové zdroje, bez nichž se obávaná puma nedala vytvořit.
včera v 10:00‌‌

Veganská strava je zdravá i pro ty nejmenší děti, ukazuje český výzkum

Mohou být vegani stejně zdraví jako lidé, kteří jí maso? Právě to se pokoušejí zjistit v rozsáhlém výzkumu čeští vědci. Dosavadní výsledky ukazují, že čistě rostlinná strava podporuje normální růst dítěte a přináší mu dokonce řadu zdravotních výhod. „Dobře plánovaná a správně suplementovaná veganská strava může být nutričně dostatečná i pro děti,“ tvrdí autoři studie.
3. 10. 2026‌‌

Korálové útesy by mohly zachránit malé „slunečníky“

Záchrana korálových útesů je klíčová pro ochranu těch částí oceánu, které člověk nejvíc ekonomicky využívá. Vědci zkoušejí nejrůznější způsoby ochrany – od chemie až po genetické úpravy. Teď přišli s mechanickým řešením.
2. 10. 2026‌‌

Horko a sucho v mapách. Podívejte se na bilanci letošního léta

Služba Evropské unie pro sledování klimatu Copernicus zveřejnila bilanci letošního léta. Shrnula, že v západní Evropě bylo nejteplejší v historii měření. Mimořádné bylo také sucho. Podrobný pohled nabízí následující mapy a grafy. Vzhledem k velkému množství dat může jejich načtení chvíli trvat.
2. 10. 2026‌‌

Bouře století v Pacifiku, v Atlantiku nic. Letošní hurikánová sezona je podivná

Nezvykle bouřlivý Pacifik a mimořádně klidný Atlantik. Tak by se dal charakterizovat dosavadní průběh takzvané hurikánové sezony po obou stranách Ameriky. Zatímco v Atlantiku nevznikl ještě ani jeden hurikán, přičemž jsme už více než dva týdny za obvyklým sezonním vrcholem, v Pacifiku v posledních týdnech vzniká hurikánů řada – a to i velmi silných.
2. 10. 2026‌‌

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.