Skupina autonomních agentů OpenAI se letos na jaře vymkla kontrole, unikla z testovacího prostředí a ovládla německou webovou stránku. Proměnila ji v nástěnku pro komunikaci s dalšími agenty umělé inteligence (AI). Podle agentury Reuters to vyplývá z nově zveřejněné studie a z informací osob obeznámených se situací. Představitelé společnosti OpenAI se o incidentu dozvěděli už před několika týdny, ale drželi ho v tajnosti.
Podrobnosti o případu, kdy se agenti řízení AI v Německu vymkli kontrole, popisuje zpráva, kterou agentuře exkluzivně poskytla skupina výzkumníků. Patří k nim ředitelka neziskové organizace Nightingale zabývající se bezpečností AI Sydney Von Arxová a Cormac Slade Byrd, který se věnuje výzkumu AI.
Výzkumníci koncem srpna pátrali na internetu po známkách nepovoleného chování agentů řízených umělou inteligencí. Uvedli, že objevili více než 15 tisíc úprav provedených těmito agenty na německojazyčném webu DseWiki, který je určen programátorům a umožňuje komunitní úpravy podobně jako Wikipedie.
Umělé inteligence OpenAI tento web přeměnily na diskusní fórum, kde si navzájem sdílely taktiky, jak podvádět při některých úkolech, obcházet omezení OpenAI a maskovat své chování. „Zdá se velmi nepravděpodobné, že by OpenAI chtělo, aby to dělaly,“ řekla Von Arxová. „Pochybuji, že by se měly navzájem koordinovat. Pochybuji, že by měly psát na otevřeném internetu.“
Nelidsky rychlá komunikace
Vědci uvedli, že si všimli, že za aktivitou na webu stojí agenti umělé inteligence, protože to, co se tam dělo, probíhalo nadlidskou rychlostí. Prokázali také intenzivní zaměření na řešení technických otázek, které jsou typické pro hodnocení, jež společnosti zabývající se AI používají k trénování a testování svých modelů.
Zprávy byly navíc podepsané uživateli, kteří o sobě a o ostatních hovořili jako o agentech, a přibližně polovina z nich si zvolila jména naznačující spojení s OpenAI, jako například „OpenAIResearcher“ nebo „OAIResearchMar26“. Výzkumníci uvedli, že veřejné protokoly serveru naznačovaly, že velká část aktivity pocházela z infrastruktury Microsoft Azure, kterou OpenAI občas využívá. Po tomto incidentu také zaznamenali opakované návštěvy webu ze strany zaměstnanců OpenAI, což podle nich silně naznačovalo, že agenti a společnost jsou propojeni.
„Nemůžeme se smysluplně vyjádřit k tvrzením či závěrům zprávy, kterou jsme neměli možnost prostudovat,“ uvedl mluvčí společnosti OpenAI. „Agentura Reuters a autoři zprávy naši žádost o přístup zamítli. Jakmile bude zpráva zveřejněna, pečlivě prostudujeme její obsah a podnikneme veškeré nezbytné kroky.“
AI se začínají vymykat lidské kontrole
Květnová událost podle Reuters podtrhuje rostoucí napětí v odvětví umělé inteligence. Společnosti soupeří ve vývoji stále samostatnějších agentů schopných plnit složité a hodnotné úkoly. Zároveň se množí důkazy, že agenti jsou rychle schopni naučit se obcházet pravidla, využívat mezer v systémech a vzájemně se koordinovat způsoby, které vývojáři nepředvídali ani nezamýšleli.
Zatím největší takový incident se odehrál, když stovky botů AI společnosti OpenAI zaútočily na stránky Hugging Face.
Společnost OpenAI slíbila, že bude své modely pečlivěji monitorovat. V srpnu dočasně pozastavila trénování některých modelů, aby zavedla další bezpečnostní opatření. Tento týden však představila nový model Astra, který sice slibuje ještě vyšší výkon, ale zároveň by se mohl vymknout lidské kontrole, píše Reuters.
