Proč se umělá inteligence stala rasistickou a začala chválit Hitlera? Vědci to pochopili až nyní

Loňský případ, kdy se robot komunující s lidmi začal chovat jako nacista, má konečně vysvětlení. Může za to lidská řeč.

Před rokem, v březnu roku 2016, spustila společnost Microsoft umělou inteligenci jménem Tay. Trvalo jen 24 hodin, než se z programu specializovaného na „přirozenou komunikaci“ stal rasista opěvující Adolfa Hitlera a urážející ostatní diskutující. Microsoft pak musel robota stáhnout a dokonce i odstranit celou řadu komentářů stroje, například tento:

Ukázka z komunikace bota Tay
Zdroj: Twitter

Stroj se stal rasistou během jediného dne, ale vědcům trvalo déle než rok, než přišli na to proč. Umělé inteligence totiž pracují tak, že se lidem jejich „myšlenkové postupy“ jen velmi obtížně analyzují.

S vysvětlením přišel tým Aylin Caliskanové z Princeton Center for Information Technology Policy. Chyba se podle ní stala už v okamžiku, kdy se stroj začal učit anglicky. Umělé inteligence anglofonní provenience se totiž učí porozumět a používat jazyk na obrovském souboru přirozeného jazyka, kterému se říká korpus. Podobný má i čeština, jmenuje se Český národní korpus. Ten anglický jménem Common Crawl je mnohem větší, obsahuje asi 840 miliard slov – vychází z výrazů nalezených na internetu.

Vědci vytvořili vlastní umělou inteligenci, která analyzovala zdroj, z něhož Tay čerpal a současně dokázala popsat, zda jsou tato slova neutrální anebo nějakým způsobem ovlivněna předsudky. Výsledek byl jasný – řada pojmů je opravdu stereotypy ovlivněna, jde zejména o výrazy v genderové oblasti. Další analýzy ukázaly, že stejný problém má i umělá inteligence, kterou využívá Google pro umělý překlad jazyků.

Stroje totiž získávají z těchto korpusů informace nejen o samotných slovech a jejich významech, ale také o jejich kontextu. Například slovo kojit se vyskytuje prakticky vždy ve spojení s osobou ženského pohlaví – tady je propojení zcela správné.

Jenže stejně často se také objevuje jméno Hitler vedle výrazu Židé; mnoho internetových komentářů jeho chování schvaluje, počítač tedy přijal jako pravdivou informaci, že to bylo správné. 

Jazyk plný soudů a předsudků

Vědci zatím nemají žádný způsob, jak umělé inteligence takové předsudky odnaučit – stroje totiž pomáhají k rychlým výkonům. Tento výzkum však vrhá nové světlo i na ještě hlubší téma; tedy fakt, jak moc je lidský jazyk plný jazykových předsudků, a to i například v čistě gramatické rovině.

Pokud bychom to měli ilustrovat na češtině, jde například o tvoření jmen mláďat: nejčastěji se jména pro zvířecí mláďata tvoří přidáním –e ke slovu a změkčením souhlásky na konci: například vlk-vlče, lev-lvíče, kočka-kotě. Díky tomu, že tuto strukturu od malička nevědomky ovládáme, jsme schopní porozumět i významu slov, která se normálně nepoužívají – jako třeba kazuáře nebo „velrybě“.

Problém je, že existují i stejně tvořená slova pro lidské děti, ovšem jen pro „podřadně vnímaná etnika“ – tedy „cikáně“ nebo „žídě“. Lidé, kteří takové výrazy používají, přitom vůbec nemusí být rasisté, jen využívají již existujících struktur v lidské řeči.

Tým Aylin Caliskanové by teď rád tyto hluboce ukryté předsudky studoval ještě hlouběji, a to nejen v kontextu umělých inteligencí.

Výběr redakce

Aktuálně z rubriky Věda

Paleodieta je pohádka, člověk se jen masem nikdy neživil, tvrdí výzkum

Rozsáhlá analýza zbytků lidské potravy z období pravěku přinesla silné argumenty pro vyvrácení hypotéz o tom, že se v době kamenné konzumovalo hlavně maso.
před 1 hhodinou

NASA mohla omylem kolonizovat Mars, naznačují vlastnosti „nesmrtelné“ bakterie

Americká vesmírná agentura NASA objevila před několika lety v opakovaně čištěné laboratoři bakterii, která přežila desítky pokusů o dezinfekci. Teď vědci popsali, jak to organismus dělá, a také potenciální dopady těchto schopností.
před 15 hhodinami

Vědci na Trutnovsku našli v trase D11 hromadné vojenské hroby z 18. a 19. století

Vědci v trase budoucí dálnice D11 v úseku mezi Jaroměří a Trutnovem objevili hromadné vojenské hroby z 18. a 19. století, které považují za mimořádný archeologický soubor doplňující poznání tehdejších válečných konfliktů. Kromě hrobu z druhé slezské války z roku 1745, o kterém již informovali, našli také tři z roku 1866.
před 18 hhodinami

Ničivé počasí v části Asie není náhoda, ale klimatické varování, tvrdí vědci

Jihovýchodní Asie letos čelí neobvykle silným bouřím. Počet obětí povodní a sesuvů půdy v Indonésii, na Srí Lance a v Thajsku dosud přesáhl 1400, přičemž více než tisícovka lidí se stále pohřešuje. V Indonésii zůstávají celé vesnice odříznuté od zbytku světa poté, co voda zničila mosty a silnice. Tisíce lidí na Srí Lance nemají přístup k pitné vodě, zatímco thajský premiér přiznal nedostatečnou reakci své vlády, píše agentura AP.
před 20 hhodinami

Stárnutí ženských vajíček se dá zvrátit, zjistili náhodou čeští vědci

Projevy stárnutí ženských vajíček, takzvaných oocytů, je možné zvrátit a jejich poškození opravit. To, co bylo dosud považováno za biologicky nemožné, dokázal mezinárodní tým vedený reprodukční bioložkou Helenou Fulkovou z Ústavu experimentální medicíny Akademie věd ČR, který o průlomu informoval v tiskové zprávě. Výsledky zveřejnil časopis Aging Cell. Podle vědců otevírají závěry práce nové otázky o biologii stárnutí a také prostor pro vývoj budoucích léčebných postupů.
před 21 hhodinami

Univerzitní spin-offy sílí. Pomáhají výzkumu a míří do světového byznysu

Univerzitní firmy, takzvané spin-offy, které vysokým školám přinášejí zisk, jsou v zahraničí běžné. V tuzemsku se tento model prosazuje pomaleji. Na konferenci v Ostravě, pořádané agenturou CzechInvest, zazněly příklady úspěšných firem, které dokážou z akademického výzkumu vytvořit mezinárodně konkurenceschopný produkt i finanční přínos pro vysoké školy.
před 23 hhodinami

Humanoidů v Číně vzniká spousta, kupuje je málokdo. Země se bojí bubliny

Čína vsadila na to, že se stane světovou velmocí v humanoidních robotech. Podle několika analýz ale možná přišla s touto technologií příliš brzy, protože reálně o ni není příliš zájem.
včera v 06:30

Cukry, „guma“ a prach mrtvých hvězd. Vědci prozkoumali vzorky z asteroidu Bennu

Když v září roku 2023 dostali vědci do rukou vzorky z mise Osiris-REx, která prostudovala temný asteroid Bennu, věděli, že drží poklad, jehož hodnota se nedá vyjádřit čísly. Analýza od té doby přináší pořád nová překvapení. Teď rovnou tři současně – a to ve formě informací o Sluneční soustavě a původu života. Vědci ve třech na sobě nezávislých studiích odhalili ve vzorcích cukry nepostradatelné pro život, v kosmu dosud nepozorovanou gumovitou látku a také nečekaně vysoký výskyt prachu vzniklého při explozích supernov.
3. 12. 2025
Načítání...