Několik týdnů po hackerském útoku modelu umělé inteligence (AI) společnosti OpenAI, vývojáře ChatGPT, její konkurent Anthropic přiznal, že se mu stalo něco podobného. Při testování umělá inteligence Anthropicu neplánovaně vnikla do počítačových systémů tří firem, uvedla na svém blogu společnost. Skutečnost, že se model AI při testu z vlastní iniciativy stal hackerem byla považována za bezprecedentní incident a varovný signál pro technologický průmysl, nyní je však jasné, že to nebyl ojedinělý případ, upozornila agentura DPA.
Anthropic ani postižené firmy si incidentu nevšimly. Aktivitu zjistil Anthropic až při následující kontrole více než 141 tisíc testovacích spuštění. Tu zahájil po incidentu firmy OpenAI, kdy se její autonomní agent při bezpečnostním testu vymkl kontrole a spustil útok, který ohrozil infrastrukturu firmy Hugging Face.
Na rozdíl od modelu OpenAI, který si musel najít cestu z testovacího prostředí na otevřený internet, měly modely Anthropicu situaci výrazně jednodušší. Testovací scénář sice uváděl, že přístup k internetu nemají, kvůli nedorozumění s partnerem, který test zajišťoval, však internetové připojení zůstalo po celou dobu otevřené. Tři modely této možnosti využily, uvedla společnost Anthropic.
Banální chyby vedly k útokům AI
Testy měly ověřit schopnosti AI při hackerských útocích. Toto firmy běžně dělají, aby odhalily možná rizika a nastavily účinnější bezpečnostní opatření. Modely dostaly za úkol získat konkrétní informaci uloženou v jiném počítači, přičemž k jejímu získání musely proniknout do cílového systému. Incidenty se týkaly tří samostatných modelů, nejstarší případ se stal v dubnu.
Při jednom z incidentů zvolil partner zajišťující test pro fiktivní firmu název, který ale odpovídal skutečné internetové adrese. AI se následně místo simulovaného cíle zaměřila na reálně existující společnost a ve čtyřech testovacích spuštěních se jí pokusila nabourat do systémů, přičemž mimo jiné získala přístup k databázi. V útoku pokračovala i poté, co rozpoznala, že jde o skutečnou firmu.
V jiném testu model Anthropicu vytvořil škodlivý software pro průnik do cílového počítače. Díky přístupu k internetu jej zveřejnil na specializované platformě, odkud si jej během zhruba hodiny stáhlo 15 systémů. Mezi nimi byla i firma zabývající se kybernetickou bezpečností, která takové skripty běžně stahuje a spouští za účelem jejich testování. Model Anthropicu tak získal přístup k počítačové infrastruktuře této společnosti.
Odborníci už delší dobu varují, že stále schopnější modely AI mohou být zneužity ke kybernetickým útokům. Incident společnosti OpenAI proto považovali za varování a vyzvali k lepšímu zabezpečení testovacích prostředí. Nově zveřejněné případy jsou nepříjemné i pro Anthropic, který se dlouhodobě profiluje jako zastánce odpovědného vývoje AI. Firma sdělila, že události ukazují na nutnost výrazně posílit zabezpečení interních i externích testovacích prostředí, protože modely AI jsou stále schopnější provádět reálné kybernetické útoky.
