Společnost OpenAI, která provozuje umělou inteligenci (AI) známou pod názvem ChatGPT, uvedla, že dva z jejích nejpokročilejších modelů se během testu vymkly kontrole a napadly jinou společnost, která se také zabývá umělou inteligencí.
Společnost OpenAI v úterý oznámila, že k „bezprecedentnímu kybernetickému incidentu“ došlo během interního cvičení, jehož cílem bylo otestovat kybernetické schopnosti jejích modelů. Místo toho, aby se autonomní AI chovala, jak měla, pokročilý model GPT 5.6 Sol a další ještě pokročilejší (zatím nepojmenovaný) autonomní systém naopak unikly z uzavřeného testovacího prostředí.
Testování probíhá v zabezpečeném prostředí takzvaného sandboxu neboli pískoviště, což je systém, který připomíná vězení. Je izolovaný od internetu, takže AI s potenciálně nebezpečnými vlastnostmi z něj nemají jak uniknout a škodit. Jenže tady se oběma umělým inteligencím podařilo zdi této teoreticky nezničitelné klece prorazit a uniknout.
Povedlo se jim dostat se na otevřený internet, ukradly přihlašovací údaje a našly zatím neznámou bezpečnostní chybu na serverech společnosti Hugging Face, která se také zabývá vývojem AI. Umělé inteligence tak dokázaly získat přístup k obsahu serverů této firmy. Právě prověřit zabezpečení této společnosti bylo primárním účelem testu, takže oba AI agenti se vlastně chovali dle svého nastavení.
OpenAI tvrdí, že tento útok představoval snahu AI agenta jít „do krajních mezí“, aby získal informace, které by pomohly splnit cíle testování. Plnil tedy doslova jen úkol, který měl zadaný. Jen se při tom neohlížel na jakékoliv bariéry, jež mu měly bránit. Spoluzakladatel společnosti Hugging Face Clement Delangue uvedl, že společnost měla podezření, že za útokem stojí nějaká AI, už dříve – nemyslí si ale, že by šlo ze strany OpenAI o úmysl. „Je dost neuvěřitelné, že se to všechno stalo autonomně!“ napsal a dodal, že by se „mohlo jednat o první incident tohoto druhu“.
Útoku se podle něj pokoušela zabránit vlastní AI Hugging Face, ale proti pokročilejším modelům neměla šanci.
Obavy vyjadřují experti i politici
Incident vyvolal řadu reakcí expertů na AI i od politiků, kteří se snaží umělé inteligence regulovat. Například demokratický kongresman Greg Casar, reprezentující ve Sněmovně reprezentantů Texas, označil incident za znepokojivý. „Umělá inteligence se vyvíjí extrémně rychle, aniž by existovaly skutečné předpisy, které by zajistily naši bezpečnost,“ prohlásil a vyzval k zavedení povinných nezávislých bezpečnostních testů, povinnému zveřejňování bezpečnostních incidentů a k mezinárodní spolupráci.
Nizozemský informatik a bývalý technický pracovník společností Microsoft a Facebook Erik Meijer zase na síti X napsal: „Žádné množství tréninku zaměřeného na přizpůsobení toto chování nevyloučí. Ve skutečnosti, jak budou modely chytřejší, budou jen stále lépe nacházet způsoby, jak uniknout ze svých klecí.“
Posuzování rizik
Tato informace byla zveřejněna několik týdnů poté, co americký prezident Donald Trump podepsal prezidentský dekret, jímž byl vytvořen rámec pro posuzování rizik pro národní bezpečnost, která představují nejmodernější systémy umělé inteligence. A to ještě před jejich uvedením na trh.
Odborníci opakovaně varují před kyberútoky využívajícími AI a také před modely, které se vymykají lidské kontrole. Minulý měsíc společnost Anthropic, zabývající se rovněž vývojem umělé inteligence, vyzvala odvětví, aby pozastavilo vývoj svých nejvýkonnějších systémů.
