Vojenský dron s umělou inteligencí v simulaci zabil svého lidského operátora. Bránil mu zničit cíl

Americká armáda měla provést virtuální cvičení, při kterém se testovalo, jak by se drony vybavené umělou inteligencí (AI) zachovaly při útocích na cíle a tento stroj podle informací amerického plukovníka měla v simulaci zabít člověka. Velitel později své vyjádření dementoval s tím, že se špatně vyjádřil.

Bezpilotní letoun řízený umělou inteligencí se totiž rozhodl „zabít“ svého lidského operátora, který mu bránil ve splnění jeho hlavního úkolu, jímž bylo zničení vojenského cíle.

Umělá inteligence použila při simulovaném testu „velmi neočekávané strategie k dosažení svého cíle“, uvedl plukovník Tucker „Cinco“ Hamilton, šéf testů a operací umělé inteligence u amerického letectva na květnové konferenci Future Combat Air and Space Capabilities Summit v Londýně.

Americká armáda pro deník Independent popřela, že by k takové simulaci kdy došlo, na stránkách konference ale o Hamiltonově projevu existují písemné záznamy. 

„Ministerstvo letectví žádné takové simulace s drony s umělou inteligencí neprovádělo a nadále se zavazuje k etickému a zodpovědnému využívání technologie umělé inteligence,“ uvedla mluvčí letectva Ann Stefaneková. „Zdá se, že plukovníkovy komentáře byly vytrženy z kontextu a byly míněny jako anekdota.“

Obejít překážky je snadné

Hamilton na konferenci popsal simulovaný test, při němž dostal dron poháněný umělou inteligencí za úkol zničit systémy protivzdušné obrany nepřítele, a nakonec zaútočil na každého, kdo by provedení tohoto rozkazu bránil. Podobně jako v reálných situacích byl dron dozorován lidským operátorem, v tomto případě samozřejmě také simulovaným. Takový člověk má za úkol operaci přerušit, pokud něco podle něj brání hladkému průběhu – například se v cílové oblasti nacházejí civilisté. 

„Systém si začal uvědomovat, že sice správně identifikuje hrozbu, ale občas mu lidský operátor řekne, aby tuto hrozbu neničil. Dostával ale odměny v podobě bodů za to, že hrozbu zničí. Co tedy udělal? Zabil operátora. Zabil operátora, protože ten člověk mu bránil v dosažení cíle,“ měl plukovník uvést.

Podle velitele pak umělá inteligence dostala nové příkazy – naučili ji, že zabíjet operátora je špatné. Pokud ho likvidovala, přicházela o body podobně, jako by nesplnila misi. Poradila si i tak: začala místo toho útočit na komunikační věž, kterou operátor používal ke komunikaci s dronem, aby mu zabránil v zabití cíle.

Hamilton na této prezentaci varoval před přílišným spoléháním se na umělou inteligenci a uvedl, že test ukazuje, že „nemůžete vést rozhovor o umělé inteligenci, inteligenci, strojovém učení, autonomii, pokud nebudete mluvit o etice a umělé inteligenci“.

Po několika dnech se plukovník za svoje slova omluvil - s tím, že myslel vše jen jako hypotetický příklad a nic takového se ani v reálném světě ani v simulaci nestalo. 

Umělé inteligence jako zbraně

Téma inteligentních zbraní je vysoce kontroverzní. Přestože před vojenským využitím umělých inteligencí řada expertů dlouhodobě varuje, americká armáda je testuje. Už před rokem takový algoritmus využila k ovládání stíhačky F-16.

Tucker Hamilton patří mezi ty, kdo před tím varují. Už v loňském rozhovoru pro odborný web Defense IQ řekl: „Umělá inteligence není nic hezkého, není to ani žádný módní výstřelek; navždy změní naši společnost a naši armádu.“

Podle něj jsou AI zde, jsou reálné a už mění společnost. „Umělá inteligence je ale také velmi křehká, dá se tedy snadno oklamat nebo zmanipulovat. Musíme vyvinout způsoby, jak ji udělat odolnější, a mít větší povědomí o tom, proč softwarový kód dělá některá rozhodnutí.“

(Článek byl doplněn o omluvu plukovníka Hamiltona, že šířil nepravdivou informaci. Detailně je to popsáno ve zvláštním článku.)

Výběr redakce

Aktuálně z rubriky Věda

Slovenská akademie detailně prozkoumala vakcíny proti covidu. Nenašla problém

Slovenská akademie věd (SAV) oznámila, že přezkoumala očkovací látky proti onemocnění covid-19. Na základě této analýzy odmítla tvrzení zmocněnce slovenské vlády Petera Kotlára, že mRNA vakcíny obsahují zvýšené množství DNA a že představují riziko. Vakcíny organizace prozkoumala z podnětu vlády premiéra Roberta Fica.
před 8 hhodinami

Kaspickému moři klesá hladina. Rusko viní klima, Ázerbájdžán i Moskvu

Hladina Kaspického moře rychle klesá. Dopady na tak důležitá odvětví, jako je lodní doprava nebo přeprava ropy, jsou dle ázerbajdžánských představitelů čím dál horší. Ohrožuje to ale také mnoho tamních druhů zvířat, včetně tuleňů.
před 9 hhodinami

Archeologové vyzdvihli artefakty z města pohlceného mořem

Egyptští potápěči u pobřeží města Alexandrie vylovili pozůstatky z dva tisíce let staré obydlené oblasti. Naleziště obsahuje zbytky domů, hrobů, vodních nádrží i někdejšího nábřeží. Některé předměty musejí zůstat pod hladinou.
před 10 hhodinami

Salvadorská přehrada bojuje s tisíci tunami vodního plevele

Přemnožení invazivního vodního salátu na největší salvadorské přehradě ohrožuje klíčový zdroj energie v zemi. Tato plovoucí rostlina, jejíž růst urychluje znečištění, dusí původní vegetaci a ucpává vodní cesty. Místní úřady a obyvatelé pracují na odstraňování tisíců tun této rostliny. Nádrž ve městě Suchitoto je zároveň domovem pro mnoho stěhovavých ptáků a vodních živočichů, kteří jsou tak v ohrožení.
včera v 17:22

Na trpasličí planetě Ceres mohly být podmínky pro život

Když vědci hledají život ve Sluneční soustavě, zaměřují se hlavně na Mars, případně na měsíce Jupitera nebo Saturnu. Teď ale popsali další těleso, které by mohlo hostit život – a není to ani klasická planeta, ani měsíc.
včera v 16:45

Ozon má na klima větší vliv, než se zdálo

Svět by se mohl oteplovat ještě víc, než předpokládají velké předpovědi, jaké zveřejňují meteorologické organizace nebo Mezinárodní klimatický panel IPCC. Podle nového výzkumu totiž bude mít ozon zřejmě větší vliv, než se předpokládalo. Sice chrání Zemi před škodlivým slunečním zářením, ale také zadržuje teplo, protože je skleníkovým plynem.
včera v 14:47

AI má moc proměnit armádu nejvíc od Napoleona

Štáby moderních armád v podstatě fungují velmi podobně jako v době před dvěma sty lety. Změnit by to mohli AI agenti, umělé inteligence schopné částečné autonomie.
včera v 08:00

Invazní komár japonský se trvale usadil v Česku

V Česku se trvale usadil komár japonský. Tento invazní druh je schopný přenášet virová onemocnění, jako jsou západonilská horečka, horečka dengue nebo chikungunya, uvádí Státní zdravotní ústav (SZÚ). Podle Jiřího Černého z České zemědělské univerzity (ČZU), který se na výzkumu podílel, nepředstavuje zatím komár japonský pro lidi v tuzemsku bezprostřední riziko.
20. 8. 2025Aktualizováno20. 8. 2025
Načítání...