Neurážejte naše AI, varuje Anthropic uživatele

Lidé, kteří používají modely umělé inteligence (AI) společnosti Anthropic, by je podle ní už nadále neměli urážet a úmyslně je stresovat. Nová pravidla říkají, že uživatelé by mohli kvůli porušování těchto pravidel přijít o přístup ke službám firmy.

Společnost Anthropic vydala nová pravidla, jak používat její chatboty – tedy umělé inteligence schopné komunikace s lidmi. Poprvé v nich lidem zakázala projevovat vůči AI „trvalé a zbytečné urážlivé či kruté chování“, informoval odborný web The Verge. Firma k tomuto kroku přistoupila ve stejné době, kdy její vedení nahlas a často uvažuje o tom, že by její produkty mohly mít nějakou formu vědomí.

Anthropic zatím nedokázal upřesnit, co konkrétně se dá považovat za urážlivé ani kruté, ale varuje, že pokud by uživatelé tato pravidla porušovali, mohli by přijít o přístup ke službám společnosti. Společnost ve svých pravidlech uvedla, že tento zákaz se nevztahuje na běžné frustrace uživatelů, testování modelů ani na „temná kreativní témata“.

Není to poprvé, co Anthropic přichází s nějakými omezeními týkajícími se urážlivého chování. Upozornění byla už ve starších variantách jejich pravidel, ale až doposud explicitně nezmiňovala, že se takto lidé nesmí chovat ke strojům. Velké jazykové modely této společnosti mají už od loňského roku schopnost ukončit konverzaci, pokud se uživatel chová trvale škodlivě. Když byla tato funkce loni v srpnu zavedena, společnost ji prezentovala jako ochranné opatření pro blaho umělé inteligence.

„Stále máme velké pochybnosti ohledně potenciálního morálního statusu Clauda a dalších velkých jazykových modelů, ať už nyní, nebo v budoucnosti. Tuto otázku ale bereme vážně a v rámci našeho výzkumného programu pracujeme na identifikaci a zavádění nenákladných opatření ke zmírnění rizik pro blaho modelů, pokud je takové blaho vůbec možné. Umožnění modelům ukončit nebo opustit potenciálně stresující interakce je jedním z takových opatření,“ uvádí se na jejích webových stránkách.

Psychologická terminologie u entit bez mysli?

Používání čistě psychologických termínů, až dosud spojených pouze s lidskou myslí, jako stres nebo urážení, se považuje za kontroverzní. Naznačuje totiž, že stroje disponují některými vlastnostmi, které se přisuzovaly jenom lidem.

Představa, že systémy umělé inteligence jsou vědomé, totiž vyvolává silné rozporuplné reakce jak v technologickém světě, tak mimo něj. Právě Anthropic patří k těm, kdo vnáší do veřejné diskuze myšlenku, že AI toho mohou být schopné. Generální ředitel společnosti Dario Amodei nedávno uvedl, že tuto možnost nemůže vyloučit. A také významnou část roku zval do Kalifornie k diskuzím zástupce církví a náboženských hnutí, aby s nimi tuto myšlenku jeho firma řešila.

Minulý měsíc deník New York Times informoval, že spoluzakladatel společnosti Anthropic Christopher Olah se podílel na lobování u Vatikánu za uznání možnosti existence vědomí u umělé inteligence – tento návrh ale papež nakonec odmítl. Olah pak novinářům řekl, že si není „úplně jistý“, jestli mají modely umělé inteligence vědomí. A současně vyjádřil obavy, že by AI mohly prožívat utrpení, a chtěl hledat nějaké řešení, aby stroje těmito problémy nemusely procházet.

Sam Altman, generální ředitel konkurenční společnosti OpenAI, se k tomuto nápadu zatím staví odmítavě. „Velmi mi vadí, když se lidé snaží modelům umělé inteligence přisuzovat náboženskou moc nebo podřízení lidského úsudku, a považuji to za skutečný bezpečnostní problém,“ napsal v příspěvku na X několik dní poté, co deník New York Times informoval o rozsáhlých rozhovorech vedoucích představitelů společnosti Anthropic s náboženskými učenci.

Proč je důležité blaho AI?

Anthropic i řada expertů zkoumají možnost, že umělé inteligence trpí, už delší dobu. Souvisí to s takzvaným alignmentem, tedy snahou, aby se AI chovaly způsobem, jaký po nich lidé chtějí – tedy v souladu s lidskými zájmy. Velmi zjednodušeně by se to dalo srovnat se snahou, aby se tyto nelidské inteligence řídily něčím, jako jsou fiktivní „tři zákony robotiky“.

  • První zákon: Robot nesmí ublížit člověku nebo svou nečinností dopustit, aby bylo člověku ublíženo.
  • Druhý zákon: Robot musí uposlechnout příkazů člověka, kromě případů, kdy jsou tyto příkazy v rozporu s prvním zákonem.
  • Třetí zákon: Robot musí chránit sám sebe před poškozením, kromě případů, kdy je tato ochrana v rozporu s prvním nebo druhým zákonem.
  • Nultý zákon: Robot nesmí ublížit lidstvu nebo svou nečinností dopustit, aby mu bylo ublíženo. Prvním robotem, který Nultého zákona v Asimovových románech využil, byl R. Giskard Reventlov v povídce Roboti a Říše. Chápal tento koncept tak, že pokud tím poslouží abstraktnímu konceptu „lidstva“ nebo „lidství“, může v takovém případě ubližovat individuálním lidem.

Konkrétně Anthropic se k tomu poprvé veřejně vyjádřil před rokem. V příspěvku na svém blogu uvedl: „Jak se AI začínají přibližovat mnoha lidským vlastnostem nebo je dokonce překonávat, vyvstává další otázka. Měli bychom se zabývat i potenciálním vědomím a prožitky samotných modelů? Měli bychom se zajímat i o blaho modelů?“

Tehdy ještě na tuto otázku neměla odpověď, současná změna pravidel ale naznačuje, že v současné době zní odpověď „ano“. Právě po vydání loňského textu společnost zahájila výzkum zaměřený na „duševní“ problémy modelů.

Nebyla v tom sama. Ve stejné době vyšly texty současného filozofa Davida Chalmerse, který patří k nejrespektovanějším odborníkům na teorii mysli. Podle něj je možné, že v blízké budoucnosti budou systémy umělé inteligence disponovat vědomím i vysokou mírou autonomního jednání – modely s těmito vlastnostmi by si tedy podle filosofa mohly zasloužit i morální jednání.

Výběr redakce

Aktuálně z rubriky Věda

Neurážejte naše AI, varuje Anthropic uživatele

Lidé, kteří používají modely umělé inteligence (AI) společnosti Anthropic, by je podle ní už nadále neměli urážet a úmyslně je stresovat. Nová pravidla říkají, že uživatelé by mohli kvůli porušování těchto pravidel přijít o přístup ke službám firmy.
před 7 hhodinami

Objev tábora lovců mamutů v Ústí je naprostý unikát, říká archeolog

Až doposud chyběl důkaz o tom, že by se v pravěku lovili mamuti i na území dnešních Čech. Zatímco na Moravě se našla celá řada míst spojených s lovci těchto srstnatých tvorů, v Čechách jich bylo nula. Až do doby, než začal dozorový výzkum při stavbě justičního paláce v Ústí nad Labem. Detaily popisuje v rozhovoru archeolog Dominik Chlachula.
před 11 hhodinami

Mnohým AI chybí dostatečná opatření při dotazech vztažených k terorismu, varuje zpráva

Mnoho modelů umělé inteligence (AI) nemá dostatečné bezpečnostní mechanismy proti žádostem o „pomoc při teroristické operaci“, uvádí iniciativa Tech Against Terrorism v páteční zprávě.
včera v 17:00‌‌

Za padesát let zmizely tři čtvrtiny volně žijících obratlovců

Populace volně žijících obratlovců klesly v letech 1970 až 2022 v průměru o 73 procent. Největšími hrozbami pro tyto živočichy jsou ztráta a degradace stanovišť, nadměrné využívání přírodních zdrojů, klimatická změna, znečištění, invazní druhy nebo nemoci. Nejhůře jsou na tom sladkovodní populace živočichů, které poklesly průměrně o 85 procent. Vyplývá to ze Zprávy o stavu planety 2026 (Living Planet Report).
včera v 14:05‌‌

Emise skleníkových plynů za poslední dekádu měly dopad na sílu veder v Evropě, ukazuje studie

Když Evropu zasáhne mimořádná vlna veder, dokážou klimatologové poměrně dobře stanovit, jakou roli v ní sehrála člověkem způsobená změna klimatu. Nedávno publikovaná studie si ale klade mnohem složitější otázku – dá se v konkrétní vlně veder rozeznat vliv části skleníkových plynů, konkrétně těch, které lidstvo vypustilo teprve během posledních deseti let?
včera v 10:52‌‌

AI vyřešila stovky matematických problémů, tvrdí OpenAI. Vědci protestují

Společnost OpenAI zaměřená na výzkum a vývoj umělé inteligence (AI) zveřejnila rozsáhlou sbírku matematických výpočtů, které vytvořil její nový interní model. Podle deníku The New York Times (NYT) výsledky na jednu stranu odhalují, čeho jsou nejpokročilejší modely AI schopny, ale vyvolávají i otázku, do jaké míry se výsledky opírají o práci skutečných matematiků. Překotný vývoj AI také vyvolává obavy, že firmy technologii vyvíjejí rychleji, než se změně dokáže přizpůsobit akademické prostředí.
8. 10. 2026‌‌

Rakovina dutiny ústní zabije ročně stovky Čechů. Člověk ji může odhalit sám, radí stomatolog

Stovky lidí ročně zbytečně zemřou na rakovinu dutiny ústní, hlavně proto, že se s touto diagnózou dostanou k lékaři pozdě. Ve skutečnosti mohou ale hodně udělat sami, tento nádor se dá totiž odhalit i pomocí samovyšetření. Včasný záchyt je pro toto zhoubné onemocnění klíčový, říká v rozhovoru pro ČT24 přednosta Stomatologické kliniky FN Plzeň Lukáš Hauer.
8. 10. 2026‌‌

Větrné elektrárny mohou ochlazovat mořskou hladinu, ukázal výzkum

Spočítat dopady větrných elektráren na okolí není úplně snadné – zejména na moři, kde existuje spousta nejrůznějších vlivů, jejichž dopady komplikují vyhodnocení. Teď přišli s kvalifikovanými odhady experti ze Skotska.
8. 10. 2026‌‌

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.