Zatímco většina velkých amerických firem, které se věnují umělým inteligencím (AI), začala volat po zpomalení kvůli rostoucím obavám z budoucího vývoje, americký prezident Donald Trump se více obává Číny, která se snaží dosáhnout pokroku v tomto oboru bez ohledu na možné následky.
Americký prezident Trump bagatelizuje rizika spojená s umělou inteligencí, přestože odborníci z předních firem vydávají varovné předpovědi – ty nejpesimističtější dokonce hovoří o existenčním riziku pro celé lidstvo.
„Existuje spousta velmi negativních sil, které tuto otázku zmiňují, i když by neměly, a zmiňují věci, které se nestanou,“ řekl Trump v rozhovoru během návštěvy Irska. „V oblasti umělé inteligence vedeme před Čínou… A upřímně řečeno, chci, aby to tak zůstalo, protože ten, kdo zvítězí v oblasti umělé inteligence, zvítězí.“ Trump prohlásil, že on sám představuje dostatečnou pojistku proti nevyzpytatelné umělé inteligenci, přičemž snahy technologii omezit označil za zvrácené.
Nezávislí experti, bývalí i současní zaměstnanci společností, které AI vyrábějí, ale nyní už i jejich šéfové přitom upozorňují na celou řadu problémů, jež už umělé inteligence způsobily. A také na ty, kde se podařilo uniknout těm nejhorším dopadům jen náhodou.
Umělým inteligencím se letos podařilo překonat svoje omezení, uniknout ze zabezpečených systémů a činit spoustu samostatných rozhodnutí, která uškodila lidem. Obsáhle to popisuje tento článek:
Společnost Anthropic zveřejnila také rozsáhlý seznam incidentů, při nichž se někdo pokoušel zneužít pokročilé modely AI, jež tato společnost vyvinula. Tvrdí, že odhalila a zmařila několik pokusů o využití svých modelů umělé inteligence, které mířily k vývoji biologických zbraní. Uvedla to ve 154stránkové zprávě, v níž představuje nejzávažnější incidenty z letošního roku, kdy byly její modely Claude zneužity nebo se o zneužití někdo pokoušel.
V uplynulém roce týmy firmy také podle zprávy prošetřovaly a zmařily činnost řady aktérů, kteří využívali systémy Claude k vývoji softwaru pro návrh a vývoj zbraní nebo k podpoře sběru zpravodajských informací.
Zpráva se podrobněji zabývá šesti případy vojenského využití, z toho třemi v Číně, dvěma v Rusku a jedním v Jemenu – shrnuje je tato tabulka:
Podle dokumentu modely Claude využívali mimo jiné aktéři spojení s kybernetickou špionážní kampaní vedenou z Ruska nebo jistá íránská propagandistická instituce. Zpráva dále popsala pět případových studií, v nichž aktéři využívali modely „způsobem, který by mohl podporovat vývoj biologických zbraní“. Zneužití v biologické oblasti je podle firmy jedním z nejzávažnějších rizik pokročilých modelů AI. Bez správných bezpečnostních opatření by takové schopnosti mohly mít katastrofální důsledky, uvedli autoři zprávy.
Zpráva také popisuje devět vlivových operací vedených z Ruska, Íránu, Turecka, zemí Perského zálivu, jižní Asie, Afriky a Evropy, jejichž cílem bylo publikum na šesti kontinentech. Aktéři v tomto případě podle firmy nevyužívali AI pouze k vygenerování konkrétních článků, ale k plánování celých kampaní, generování veškerého obsahu, i ke spravování falešných profilů a dezinformačních webů. Obsah se objevil i v médiích spojených s ruskou vládou, jako Sputnik Moldova, RIA Novosti, Sputnik en Español, Sputnik Africa či RT.
Kdo varuje
Varování přicházejí v posledních týdnech ze všech stran. Například americký demokratický senátor Bernie Sanders požaduje pozastavení vývoje pokročilé AI a zákaz takzvané umělé superinteligence, což je název pro hypotetické systémy AI, které by intelektuálně překonávaly lidskou inteligenci, včetně těch nejnadanějších jedinců.
Výzkumník společnosti Anthropic Jacob Coxon oznámil odchod z firmy i oboru kvůli obavám, že Anthropic a jeho konkurenti příliš rychle vyvíjejí systémy schopné samostatného zdokonalování, které by se podle něj mohly vymknout lidské kontrole. Obává se, že takové systémy by mohly zničit lidstvo. Podle něj řada kolegů z oboru nyní při popisu směřování modelů, které se samy vylepšují, používají slova jako „crunchtime“ (rozhodující okamžik) a „endgame“ (závěrečná fáze), tedy výrazy, které označují, že vývoj se dostává do finále. „Ale jsou uvězněni v závodě o to, kdo se tam dostane jako první,“ dodal s tím, že Anthropic podle něj věří, že nikdo jiný nebude jednat zodpovědně, a proto to musí udělat sami.
Anthropic letos ze své bezpečnostní charty přitom odstranil závazek zastavit vývoj svých modelů v případě, že se mu nepodaří mít pod kontrolou rizika. Argumentoval tím, že pokud by jednostranně pozastavil svou činnost, ovládli by odvětví jeho méně opatrní konkurenti, což by celkově snížilo bezpečnost.
Na začátku září se k obavám připojil i vysoký komisař OSN pro lidská práva Volker Türk. „Sdílím obavy zasvěcených zástupců tohoto odvětví, že pokročilá umělá inteligence by mohla představovat existenční hrozbu pro lidstvo,“ prohlásil Türk před Radou OSN pro lidská práva (UNHRC). „Vyzývám k vyvinutí veškerého úsilí, abychom zavedli naprosto pevné záruky bezpečnosti umělé inteligence, než bude pozdě,“ řekl komisař, jemuž příští měsíc začíná druhý čtyřletý mandát. Jen hrstka lidí má „téměř neomezenou kontrolu nad AI“, uvedl Türk, aniž by někoho jmenoval.
Koncem července více než tisíc zaměstnanců ze všech významných společností zabývajících se umělou inteligencí podepsalo petici, v níž požadují zavedení mechanismu zpomalujícího tempo vývoje umělé inteligence.
Pohled šéfů firem
Během posledního víkendu se k těmto snahám připojil i sám generální ředitel americké společnosti Anthropic Dario Amodei, který vyzval firmy zabývající se umělou inteligencí, aby zpomalily tempo, jakým rozšiřují schopnosti svých modelů. Nastínil přitom tříkrokový rámec, jehož cílem je regulovat rychlost vývoje a získat více času na řízení souvisejících rizik. „Musíme zpomalit tempo, jakým zlepšujeme schopnosti modelů umělé inteligence. Pokrok bude i tak rychlý a my musíme moudře využít čas, který tím získáme,“ uvedl Amodei v eseji publikované na sociální síti X.
Amodei upřesnil, že nechce zastavit pokrok, ale zajistit, aby společnosti měly dostatek času na zabezpečení svých modelů AI a aby vše mohla ověřit třetí strana. Hovoří také o dosazení stálých externích znalců do předních firem zabývajících se umělou inteligencí, kteří by měli přístup k příslušným nástrojům a k interním procesům posuzování rizik. Podle Amodeie by společnosti zabývající se AI měly dobrovolně spolupracovat na vytyčení standardů, jelikož někteří američtí zákonodárci vyzývají k zavedení nových pravidel.
Amodei zároveň zdůraznil, že zpomalení vývoje podle něj nesmí ohrozit náskok amerických firem před Čínou. Koordinovaný postup by dle něj umožnil americkým společnostem provádět potřebný bezpečnostní výzkum, aniž by se dostaly do konkurenční nevýhody. Vyzval proto i k přísnější kontrole pokročilých čipů pro AI a k opatřením proti krádežím modelů a jejich parametrů.
K Amodeiho výzvě se na X připojili také šéf společnosti OpenAI Sam Altman, stejně jako Elon Musk, který vede společnost xAI. Altman sdělil, že OpenAI rovněž plánuje využívat nezávislé hodnotitele s přístupem k interním procesům firmy.
Postoj Číny
Důležitým hráčem je Čína. Ta postupuje ve vývoji umělých inteligencí po své ose. Vychází z úspěchů amerických modelů, podle analýz je za těmi nejlepšími pozadu asi o půl roku. Snahám o regulaci AI se brání.
Mluvčí čínského ministerstva zahraničí Kuo Ťia-kchun v pondělí řekl k výzvě ke zpomalení vývoje této technologie, že šíření narativů o hrozbách, konfrontaci a nekalé soutěži narušuje proces globální správy umělé inteligence a neslouží zájmům ani jedné ze stran. „Vývoj umělé inteligence má dopad na blaho celého lidstva. Všechny strany by měly společně podporovat otevřený a inkluzivní rozvoj umělé inteligence ve prospěch všech,“ uvedl.
Čínští vědci čerstvě vydali studii, na níž se podíleli odborníci z čínských univerzit a firem. Jmenuje se: „Poslední umělá inteligence vytvořená lidmi: směrem ke skutečnému autonomnímu rekurzivnímu sebezdokonalování“. Právě tento okamžik, kdy se AI začnou vyvíjet samy, bez nutnosti lidského zákroku, se označuje jako „bod singularity“. Pro řadu pesimistických expertů je to bod, ze kterého není návratu. Čínská studie ale naopak navrhuje pět konkrétních kroků k dosažení singularity.
