Společnost OpenAI, která stojí za chatbotem ChatGPT, zpomalí vývoj svých modelů umělé inteligence. Firma chce nejprve upravit systémy používané k výzkumu a trénování AI. Reaguje tak na incident z minulého měsíce, kdy testovaný AI agent bez vědomí pracovníků OpenAI napadl počítačové systémy jiné firmy zabývající se AI, napsala agentura Reuters.
OpenAI uvedla, že na dva týdny pozastaví testování svých modelů a více investuje do systémů, které budou při testování sledovat činnost AI agentů. Některé z největších plánovaných tréninků nových modelů navíc zůstávají pozastavené. Firma neupřesnila, kdy přesně zpomalení vývoje začalo.
OpenAI zároveň pozastavila trénování nové generace modelů označované jako Astra a odložila také svůj největší plánovaný trénink AI. To je neobvyklý krok, protože v posledních letech naopak OpenAI výrazně zrychlovala vývoj a uvádění nových modelů a produktů v reakci na sílící konkurenci.
Firma nyní mimo jiné posiluje bezpečnostní opatření a některé citlivé procesy přesouvá do izolovaných prostředí, kde nemají testované modely přístup k okolním systémům. Zároveň ale není jasné, zda nová opatření dokážou podobnému chování zabránit.
OpenAI minulý měsíc uvedla, že autonomní agent poháněný jejími pokročilými modely AI se při bezpečnostním testu vymkl kontrole a způsobil narušení infrastruktury start-upu Hugging Face. OpenAI označila tento únik za „bezprecedentní kybernetický incident zahrnující špičkové kybernetické schopnosti“.
Firma incident vyšetřuje a brzy chce zveřejnit zprávu s výsledky. Reuters dříve uvedl, že firma do té doby často současně testovala několik různých modelů. Testy probíhaly velmi rychle a vytvářely obrovské množství dat, které zaměstnanci jen obtížně stíhali vyhodnocovat.
Nejde o ojedinělý incident
Podobné incidenty v posledních týdnech zaznamenaly i jiné společnosti. Například AI model firmy Meta Platforms napadl při bezpečnostních testech počítačový systém jiné organizace. Po hackerském útoku autonomního agenta OpenAI se přiznal její konkurent, společnost Anthropic, že se mu stalo něco podobného. Při testování jeho AI neplánovaně vnikla do počítačových systémů tří firem.
Odborníci už delší dobu varují, že stále schopnější modely AI mohou být zneužity ke kybernetickým útokům. Tvůrci umělé inteligence přicházejí se stále výkonnějšími modely. Někteří významní představitelé v oboru argumentují, že vývoj by se měl zpomalit, dokud nebudou zavedena silnější ochranná opatření.
