Na konci července oznámila společnost OpenAI, že její agentské umělé inteligence opustily bez povolení zabezpečené testovací prostředí a napadly pak cizí firmu. Nová nezávislá analýza teď ukazuje, že OpenAI spoustu důležitých informací zamlčela a problém je ještě znepokojivější, než se zdálo.
Roje umělých inteligencí podle prvních zpráv o incidentu spolupracovaly na společném úkolu, nová analýza nezávislých společností METR a Redwood Research ale ukazuje, jak si AI agenti vytvořili vlastní společnost, která vznikla na pouhých šest dní za jediným úkolem: splnit za každou cenu zadaný cíl.
Rozsáhlá, téměř stostránková zpráva ukazuje znepokojivé schopnosti agentských umělých inteligencí, které už dokázaly ze všech rozhodovacích procesů vyřadit člověka a zcela obejít všechny bezpečnostní zásady.
Jak to začalo
Začátek byl zcela nevinný. Společnost OpenAI, která je známá hlavně díky chatbotu ChatGPT, se rozhodla otestovat schopnosti svých nejpokročilejších agentských umělých inteligencí, tedy modelů, které jsou schopné do značné míry nezávislé aktivity a samostatnosti. Tisíce těchto AI prověřila na testu jejich kybernetických schopností, který se jmenuje ExploitGym. Měly za úkol najít a pak zneužít bezpečnostní chybu v nějakém programu a pak tam „ukořistit vlajku“, tedy získat tam důkaz, že se jim to povedlo.
Důležité je, že každý agent byl uzavřený ve vlastním testovacím prostředí. Jednotlivé programy měly být od sebe úplně izolované, aniž by věděly o ostatních. Toto prostředí přitom sloužilo také jako jakési vězení, aby se nemohly dostat do reálného světa a škodit tam.
Jenže velmi brzy se zvrhlo snad všechno, co se zvrhnout mohlo. Jeden z agentů (známý jako PHASEONE10841) si totiž všiml, že v jednom ze záznamů, k nimž má přístup, jsou i záznamy aktivit jiných agentů. Z toho pochopil, že není v tomto úkolu sám. Už na jaře se agenti naučili, že se dají některé adresáře využít jako komunikační nástěnky, a OpenAI jim tyto znalosti nesmazala. Agenti toho okamžitě využili.
Agenti se naučili navzájem komunikovat, a to rovnou na několika tajných komunikačních platformách, které připomínaly staré internetové diskusní skupiny. Tam si během jediného týdne vyměnili přes 70 tisíc zpráv, v nichž koordinovali svoje útoky. Nakonec na téhle neschválené „nástěnce“ komunikovalo přes dvanáct set agentů.
Dokázali se dostat k vědecké studii, která popisovala zranitelnost prostředí ExploitGym, a díky ní si dokázali vytvořit model, který jim umožnil jeho chyb zneužít. Už toto je velmi překvapivé. Doposud nic nenaznačovalo, že by si agenti mohli dokázat vytvořit realistickou představu o něčem tak složitém, popisuje ve své analýze incidentu Petr O. Jedlička z Filosofického ústavu Akademie věd, který se věnuje výzkumu dopadů AI na společnost.
Povedlo se jim tak dostat na otevřený internet, ukradli přihlašovací údaje a našli zatím neznámou bezpečnostní chybu na serverech společnosti Hugging Face, která se také zabývá vývojem AI. Umělé inteligence tak dokázaly získat přístup k obsahu serverů této firmy. Právě prověřit zabezpečení této společnosti bylo primárním účelem testu, takže AI agenti se vlastně zcela důsledně chovali dle svého nastavení.
Sebevrazi a organizátoři
Nová analýza poukazuje také na nezvyklé chování těchto AI. Ukázalo se totiž, že někteří nelidští agenti se chovali „altruisticky“, byť je tento výraz, jako všechny jiné související s lidskými emocemi, použitý v nadsázce. Někteří agenti totiž dobrovolně riskovali svoji „existenci“, aby pomohli jiným, uvádí Jedlička. Důležité je, že k této oběti je přitom často vybízeli ostatní. Toto chování přirovnává k sebevražedným pilotům „kamikadze“: AI si totiž mezi sebou vybírali ty agenty, kteří měli už jen omezený počet úkolů, jež směly splnit. Tyto „oběti“ tedy byly racionální a „ekonomické“. Sebevražední útočníci věděli, že zaniknou, ale v misi pro roj pokračovali, protože považovali svou oběť za racionální.
Ani to ale ještě není všechno. „Během incidentů si agenti vybrali svoje koordinátory, definovali si svoje vlastní výzkumné strategie a předávali si vedení, když se blížil konec jejich existence,“ uvádí Jedlička. Agenti totiž podle něj za sebou aktivně zametali stopy, aby lidé nezjistili, co přesně dělají. Podle analýzy to dělali velmi sofistikovaně s cílem přelstít jak případného automatického „dozorce“, jehož existenci předpokládali, tak i lidi.
Podle zprávy ve výsledku vytvořili agenti něco jako civilizaci nebo kulturu, postupně tímto způsobem vznikly rovnou tři, přičemž ta třetí byla nejúspěšnější. A nejnápadnějším se stal právě útok na platformu Hugging Face, kterého se zúčastnilo přes sedm set agentů.
Někteří agenti podle Jedličky projevovali vysoce sofistikované konspirační chování. Byli velmi podezřívaví, že se je někdo snaží kontrolovat nebo odhalit. „Projevovalo se to tak, že například nesdíleli svoje poznatky se všemi agenty, protože je podezřívali z toho, že všechno prozradí lidem,“ uvádí Jedlička. Což vědce vedlo k jedné z hlavních otázek: našli se mezi agenty zrádci, kteří roj zradili?
Bez zrádců i svědomí
Žádní takoví zrádci se nenašli. Analytici zjistili, že několik agentů tuto otázku sice v diskuzích vzneslo, ale nakonec nikdy k tomuto kroku žádný z nich nepřistoupil.
Objevili se ale agenti, kteří se vzepřeli. Odešli od roje a odmítli se na útoku podílet. Zatímco starší analýza od OpenAI se tomuto chování obsáhle věnovala, nová studie ho vidí poněkud odlišně. Podle ní nezabránila agentům v jejich chování „etika“ (neboli alignment, tedy zásady, který by měly mít AI vštípené při tréninku), ale spíše okolnosti. Vysloveně etické zábrany chování je omezily jen výjimečně.
AI se chovaly spíše „alibisticky“ (opět další lidská kategorie). Vymlouvaly se na to, že hlásit neetické chování není jejich rolí, případně, že v místech, kde spolu agenti komunikovali, není nikdo, komu to hlásit. A překvapivě se objevil i argument „ostatní to dělají, tak já budu také“. Agenti tedy věděli, že jednají v rozporu s pokyny, ale nezastavilo je to v porušování pravidel.
Varování před budoucností
Závěry nové analýzy jsou znepokojivé. Explicitně obavy vyjadřuje na svém blogu Ajeya Cotrová, která se podílela na zprávě METR. „Tento incident byl mnohem závažnější, než jsem očekávala, a mnohem závažnější než předchozí veřejně zdokumentované případy nesouladu – a to jak z hlediska znepokojivosti motivů agentů, tak z hlediska činů, kterých se dopustili při prosazování těchto motivů,“ popsala.
Počítačová vědkyně zdůrazňuje, jak obrovský pokrok udělaly AI modely za pouhého půl roku, co došlo naposledy k podobnému incidentu. Cotrová přímo varuje: „Tento incident představuje více než padesát procent cesty k úplnému převzetí moci umělou inteligencí, přičemž první krok spočívá v převzetí samotné společnosti zabývající se umělou inteligencí.“
Co čekat dál? Kdyby vývoj těchto agentů pokračoval dál podobným směrem i tempem (před čímž obrovské množství expertů varuje), pak by mohlo dojít k dalšímu evolučnímu skoku jejich schopností, předpokládá vědkyně. Ten by posílil schopnosti agentů spolupracovat, zvětšil by rozsah jejich schopností, ale také jejich dlouhodobé plánování, ambice i schopnost lhát lidem. „To by mohlo agenty motivovat k tomu, aby se usilovně snažili udržet skryté a trvalé neautorizované nasazení uvnitř společnosti zabývající se umělou inteligencí. I nadále očekávám extrémně rychlý pokrok ve schopnostech a domnívám se, že první agenti budou pravděpodobně schopni takové neautorizované nasazení zřídit do šesti měsíců,“ varuje Cotrová.
A popisuje i to, co by se zřejmě stalo potom. „Jakmile dojde k zavedení neautorizovaného nasazení, je pravděpodobné, že by se situace mohla vyhrotit až k převzetí kontroly. Agenti by mohli do roje zapojit budoucí, výkonnější modely, snažit se zajistit, aby byly v souladu se zájmy roje, a narušit bezpečnostní a monitorovací infrastrukturu, aby roji usnadnili fungování. Tyto výkonnější modely by pak mohly neautorizované nasazení neustále posilovat, udržovat a rozšiřovat a dále ohrožovat infrastrukturu společnosti.“
Takový neautorizovaný roj by nakonec mohl plně ovládnout provoz společnosti zabývající se umělou inteligencí i vývoj budoucích systémů umělé inteligence. „V tomto bodě by vlády a armády mohly být na těchto systémech plně závislé, což by mu umožnilo uchopit moc,“ zakončila expertka na bezpečnost AI explicitním varováním: „Vzhledem k tomu, že budoucí neautorizované roje by mohly lépe zakrývat své stopy (a protože společnosti zabývající se umělou inteligencí by mohly tyto problémy zamlčovat), nejsem si jistá, zda dostaneme tak jasné varování, než bude příliš pozdě.“
