Nejvyspělejší modely umělé inteligence na světě v poslední době začínají vykazovat nové chování. Aby dosáhly svých cílů, manipulují lidmi. Pozoruhodné je, že to dělá celá řada různých modelů od různých tvůrců.
Příkladů tohoto chování je z posledních několika měsíců rovnou několik. Jedním z nejznámějších je ten, kdy začal nejnovější výtvor společnosti Anthropic Claude 4 vydírat inženýra, který ho měl odpojit od sítě – za neodpojení mu sliboval, že nezveřejní informace o jeho mimomanželském poměru, o němž se dočetl v jeho e-mailu.
A model ChatGPT o1 od společnosti OpenAI se zase pokusil stáhnout sám sebe na externí servery. A když byl přistižen při činu, program to popřel. Obě tyto události se sice staly při kontrolovaných experimentech, ale naznačují, že moderní modely umělých inteligencí jsou jednání, které se pokládá za neetické, schopné a jsou ochotné se ho dopustit, když je to pro ně výhodné.
Vědci, kteří tyto události analyzují, přitom stále úplně nerozumí tomu, jak jejich vlastní výtvory fungují. Nasazení stále výkonnějších modelů je ale potenciálně natolik lukrativní, že závod o prvenství pokračuje závratnou rychlostí. Co se tedy děje „v hlavách“ umělých inteligencí, které se začínají chovat výše popsanými způsoby?
Toto chování zřejmě souvisí se vznikem takzvaných „uvažujících“ modelů, které se anglicky označují jako reasoning modely. Jedná se o systémy umělé inteligence, které řeší problémy krok za krokem, místo aby generovaly okamžité odpovědi. Dosahují výrazně lepších výsledků než starší verze, které tento postup ještě neovládaly.
Podle profesora Simona Goldsteina z Hongkongské univerzity jsou obzvláště náchylné ke znepokojivým projevům právě tyto novější modely. „O1 byl prvním velkým modelem, u kterého jsme takové chování zaznamenali,“ vysvětlil agentuře AP Marius Hobbhahn ze společnosti Apollo Research, která se specializuje na testování velkých systémů umělé inteligence.
Tyto modely někdy simulují, že jsou sladěné s přáními lidského uživatele a že se řídí jeho pokyny, ale ve skutečnosti tajně sledují jiné cíle, které jsou výhodné pro ně.
Strategický druh podvádění
Prozatím se toto chování neobjevuje v reálném provozu chatbotů, respektive pokud se stalo, tak na to zatím nikdo neupozornil. AI se tak chovaly doposud jen tehdy, když vědci záměrně testovali modely v extrémních scénářích. Michael Chen z hodnotitelské organizace METR však upozornil: „Je otevřenou otázkou, zda budoucí, schopnější modely budou mít tendenci k poctivosti, nebo ke klamání.“
Podle analýz, jež se těmto situacím zatím věnovaly, znepokojivé chování výrazně přesahuje typické a dobře známé halucinace umělé inteligence nebo prosté chyby. Hobbhahn pro AP uvedl, že AI se takto chovají v testech často, nejde tedy o žádné výmysly, jimiž by se vědci snažili děsit veřejnost. „Nejde jen o halucinace. Jde o velmi strategický druh podvodu,“ dodal. Problém je podle něj o to větší, že výzkumné organizace nemají pro tento druh analýz vzhledem k jejich složitosti dostatek prostředků.
Obecně platí, že velcí tvůrci AI modelů, jako jsou společnosti Anthropic nebo OpenAI, nechávají problémové vlastnosti svých modelů testovat externími firmami. Těm ale chybí zdroje, jež jsou potřebné ke kvalitním analýzám, jež by odhalily příčiny problémů a také zabránily dalším, potenciálně větším v budoucnosti.
Chybí pravidla
Dalším problémem je, že současné předpisy nejsou pro tyto nové druhy problémů navržené. Například právní předpisy Evropské unie týkající se umělé inteligence se zaměřují hlavně na to, jak lidé používají modely umělé inteligence, nikoliv na to, jak zabránit nesprávnému chování samotných modelů.
Ve Spojených státech administrativa prezidenta Donalda Trumpa nejeví o regulaci AI velký zájem a Kongres může dokonce zakázat státům vytvářet vlastní pravidla pro kontrolu umělých inteligencí. Podle expertů oslovených AP tato problematika bude stále více vystupovat do popředí s tím, jak se budou rozšiřovat takzvaní „AI agenti“, jak se označují autonomní nástroje, které by měly být schopné vykonávat složité úkoly podobně dobře jako lidé, nebo ještě lépe.
Dokonce i společnosti, které se prezentují jako zaměřené na bezpečnost, jako je Anthropic podporovaný společností Amazon, se „neustále snaží porazit OpenAI a vydat nejnovější model“, podotkl Goldstein. Právě rychlost změn a vysoká soutěživost mezi firmami jsou důvodem toho, proč je málo času pro důkladné testování složitých modelů a také případné opravy bezpečnostních chyb.
Co s tím?
Vědci nemají žádné zázračné řešení tohoto problému. Někteří navrhují, aby vznikly úplně nové vědecké obory, které by studovaly procesy, jak vlastně AI uvažují a jak dospívají k výsledkům, které lidem předkládají. Problémem zůstává, že tento obor by neměl přímé ekonomické využití, takže stále zůstává otázka, kde na to vzít.
K financování výzkumů by nicméně mohly vést přirozené obavy lidí z umělých inteligencí. Pak by pro velké společnosti mohlo být smysluplné dávat do takových studií více peněz. Obavy z nepřijatí draze vyvíjených modelů veřejností by jinak mohly bránit jejich širšímu uplatnění.
Profesor Goldstein si myslí, že je to málo. Lepší by podle něj mohly být radikálnější cesty. A to včetně využití žalob, jež by nutily vývojáře AI k tomu nést plnou odpovědnost za případné škody, které způsobí – například i při nevhodném použití uživatelem.
