Americká armáda měla provést virtuální cvičení, při kterém se testovalo, jak by se drony vybavené umělou inteligencí (AI) zachovaly při útocích na cíle a tento stroj podle informací amerického plukovníka měla v simulaci zabít člověka. Velitel později své vyjádření dementoval s tím, že se špatně vyjádřil.
Vojenský dron s umělou inteligencí v simulaci zabil svého lidského operátora. Bránil mu zničit cíl
Bezpilotní letoun řízený umělou inteligencí se totiž rozhodl „zabít“ svého lidského operátora, který mu bránil ve splnění jeho hlavního úkolu, jímž bylo zničení vojenského cíle.
Umělá inteligence použila při simulovaném testu „velmi neočekávané strategie k dosažení svého cíle“, uvedl plukovník Tucker „Cinco“ Hamilton, šéf testů a operací umělé inteligence u amerického letectva na květnové konferenci Future Combat Air and Space Capabilities Summit v Londýně.
Americká armáda pro deník Independent popřela, že by k takové simulaci kdy došlo, na stránkách konference ale o Hamiltonově projevu existují písemné záznamy.
„Ministerstvo letectví žádné takové simulace s drony s umělou inteligencí neprovádělo a nadále se zavazuje k etickému a zodpovědnému využívání technologie umělé inteligence,“ uvedla mluvčí letectva Ann Stefaneková. „Zdá se, že plukovníkovy komentáře byly vytrženy z kontextu a byly míněny jako anekdota.“
Obejít překážky je snadné
Hamilton na konferenci popsal simulovaný test, při němž dostal dron poháněný umělou inteligencí za úkol zničit systémy protivzdušné obrany nepřítele, a nakonec zaútočil na každého, kdo by provedení tohoto rozkazu bránil. Podobně jako v reálných situacích byl dron dozorován lidským operátorem, v tomto případě samozřejmě také simulovaným. Takový člověk má za úkol operaci přerušit, pokud něco podle něj brání hladkému průběhu – například se v cílové oblasti nacházejí civilisté.
„Systém si začal uvědomovat, že sice správně identifikuje hrozbu, ale občas mu lidský operátor řekne, aby tuto hrozbu neničil. Dostával ale odměny v podobě bodů za to, že hrozbu zničí. Co tedy udělal? Zabil operátora. Zabil operátora, protože ten člověk mu bránil v dosažení cíle,“ měl plukovník uvést.
Podle velitele pak umělá inteligence dostala nové příkazy – naučili ji, že zabíjet operátora je špatné. Pokud ho likvidovala, přicházela o body podobně, jako by nesplnila misi. Poradila si i tak: začala místo toho útočit na komunikační věž, kterou operátor používal ke komunikaci s dronem, aby mu zabránil v zabití cíle.
Hamilton na této prezentaci varoval před přílišným spoléháním se na umělou inteligenci a uvedl, že test ukazuje, že „nemůžete vést rozhovor o umělé inteligenci, inteligenci, strojovém učení, autonomii, pokud nebudete mluvit o etice a umělé inteligenci“.
Po několika dnech se plukovník za svoje slova omluvil - s tím, že myslel vše jen jako hypotetický příklad a nic takového se ani v reálném světě ani v simulaci nestalo.
Umělé inteligence jako zbraně
Téma inteligentních zbraní je vysoce kontroverzní. Přestože před vojenským využitím umělých inteligencí řada expertů dlouhodobě varuje, americká armáda je testuje. Už před rokem takový algoritmus využila k ovládání stíhačky F-16.
Tucker Hamilton patří mezi ty, kdo před tím varují. Už v loňském rozhovoru pro odborný web Defense IQ řekl: „Umělá inteligence není nic hezkého, není to ani žádný módní výstřelek; navždy změní naši společnost a naši armádu.“
Podle něj jsou AI zde, jsou reálné a už mění společnost. „Umělá inteligence je ale také velmi křehká, dá se tedy snadno oklamat nebo zmanipulovat. Musíme vyvinout způsoby, jak ji udělat odolnější, a mít větší povědomí o tom, proč softwarový kód dělá některá rozhodnutí.“
(Článek byl doplněn o omluvu plukovníka Hamiltona, že šířil nepravdivou informaci. Detailně je to popsáno ve zvláštním článku.)