„AI firmy jsou regulované míň než sendviče“. Na superinteligenci nejsou připravené

Analýza zaměřená na osm hlavních firem, které vytvářejí nejpokročilejší modely umělých inteligencí (AI), prokázala, že společnosti vůbec neřeší možnost ztráty kontroly nad takzvanými superinteligencemi, jež se snaží vytvářet. Jde o formu AI, která má ve všech ohledech překonat lidský intelekt.

Všechny velké společnosti, které vyvíjejí umělé inteligence, se snaží o co nejrychlejší vznik superinteligence. Žádná z nich ale není připravená na rizika, která jsou s tím spojená, tvrdí nová nezávislá analýza, která současně varuje, že žádná z těchto firem nemá reálně plány na prevenci katastrofických rizik umělé inteligence.

Zprávu vytvořila nezisková organizace Future of Life Institute (FLI). Zabývala se velkou osmičkou: americkými společnostmi Anthropic, OpenAI, Google DeepMind, xAI a Meta a čínskými subjekty DeepSeek, Alibaba Cloud a Z.ai. Jde o hlavní hráče na poli umělých inteligencí, kteří mají v tomto oboru největší potenciál, možnosti i vliv. Podle analýzy tyto společnosti nesplňují ani své vlastní závazky v oblasti bezpečnosti. „Plynou z toho katastrofální rizika,“ varují autoři práce.

Zpravodajský web Euronews upozorňuje, že tato zpráva přichází v době, kdy společnosti zabývající se AI čelí soudním sporům a obviněním, protože jejich chatboty údajně způsobují psychickou újmu – mimo jiné tím, že fungují jako „koučové sebevražd“. A nově také přibývá zpráv o masivních a velmi účinných kyberútocích, které pachatelé provedli právě s využitím AI.

Jako by žádná rizika neexistovala

Zpráva popsala u celé osmičky lídrů na poli AI zásadní nedostatek důvěryhodných strategií, které by předcházely katastrofálnímu zneužití nebo ztrátě kontroly nad nástroji umělé inteligence. Místo bezpečnosti totiž všechny firmy usilují o prvenství ve vytvoření všeobecné umělé inteligence (AGI), která by se měla změnit v už zmíněnou superinteligenci.

Žádná ze společností si podle analýzy nevytvořila testovatelný plán pro udržení lidské kontroly nad vysoce výkonnými systémy AI. Stuart Russell, profesor informatiky na Kalifornské univerzitě v Berkeley, uvedl, že společnosti zabývající se AI tvrdí, že mohou vyvinout nadlidskou AI – ale současně ani jedina z nich nemá promyšlené, jak by zabránila ztrátě lidské kontroly nad takovými potenciálně všemocnými systémy.

Podle Russella by toto omezení rizika mělo být podobné jako třeba u jaderných elektráren. Tam je hrozba významné nehody stanovovaná přibližně na jedna ku sto milionům. Jenže velcí vývojáři AI přiznávají, že hrozba ztráty kontroly nad superinteligencí je jedna ku deseti, jedna ku pěti – nebo dokonce jedna ku třem. Navíc jde jen o „výstřely od boku“, ve skutečnosti nejsou tyto odhady rizika opřené o žádné hlubší výpočty.

Špatní a ještě horší

Špatně dopadla v tomto výzkumu celá „velká osma“ – ale některé firmy z ní se ukázaly jako ještě horší než ty zbývající. Relativně nejlépe dopadly společnosti Anthropic, OpenAI a Google DeepMind, které jsou přinejlepším alespoň transparentní.

Zbývajících pět společností dopadlo víceméně podobně špatně. Všech osm nicméně prý udělalo znatelný pokrok správným směrem, tedy k větší opatrnosti.

Podle zástupce FLI, fyzika Maxe Tengmarka, se AI vyvíjí v posledních letech nečekaně rychle. Ještě nedávno se pokládal za horizont vzniku umělé superinteligence začátek dvaadvacátého století, v současné době se už mluví o příštích třech až pěti letech. „AI je přitom v USA stále méně regulovaná než sendviče a ve (americké) vládě pokračuje lobbing proti závazným bezpečnostním normám,“ řekl pro Euronews tento vědec, který se fenoménu AI věnuje řadu let.

Právě „jeho“ institut FLI se snaží odhalovat a vysvětlovat možná rizika, která by rychlý příchod neregulované a nekontrolované superinteligence přinesl. Ta se řadí do více typů scénářů – od masové nezaměstnanosti až po téměř okamžitý zánik celého lidského druhu. Naposledy přišel FLI s peticí proti výzkumu superinteligence, kterou podepsala spousta světových osobností s rozmanitými politickými názory, které se jinak nejsou schopné shodnout v podstatě na ničem – nechyběli signatáři z řad českých expertů.

Výběr redakce

Aktuálně z rubriky Věda

NASA ukončila poplach na ISS. Posádka se vrátila z úkrytu

Americký Národní úřad pro letectví a vesmír (NASA) ukončil poplach a nařídil posádce Mezinárodní vesmírné stanice (ISS), aby se vrátila na palubu k dřívějšímu provozu. Dříve posádce nařídil ukrýt se do kosmických lodí a připravit se na možnou evakuaci kvůli zhoršujícím se únikům vzduchu z ruského segmentu, uvedla agentura Reuters. Ruští kosmonauté se únik vzduchu pokusili opravit, ruská kosmická agentura Roskosmos snahy ale následně pozastavila a sdělila, že neexistuje žádné ohrožení bezpečnosti posádky ani palubních systémů ISS.
včeraAktualizovánopřed 11 hhodinami

Vedro na konci května připomnělo Britům „černé léto“ 1976

Nejteplejší květen v dějinách měření vyvolal v Británii obavy z návratu černého léta roku 1976. Tehdy panovaly takové teploty, že vyschla celá řada vodních zdrojů, trpělo zemědělství i lesy a země poprvé zavedla funkci ministra pro sucho.
před 22 hhodinami

Začalo Archeologické léto. Vědci nabízejí veřejnosti nahlédnout do života předků

Vypravit se po stopách dávných Keltů, projít se po zaniklé středověké vesnici, nahlédnout do práce archeologů přímo v terénu nebo objevit pozůstatky nedávné historie skryté pod povrchem měst i krajiny. To vše nabídne sedmý ročník Archeologického léta, oblíbené prázdninové akce pro všechny milovníky historie, archeologie a poznávání neobvyklých míst.
včera v 06:30

Čína změnila způsob, jak počítá své emise

Čína splní své klimatické cíle, i kdyby se její emise oxidu uhličitého v dalších letech zvýšily. Podle analýzy nezávislého webu Carbon Brief si totiž pomohla změnou metodiky, jak tyto emise počítá. Vzorec sice nezveřejnila, ale zřejmě pravidla přenastavila tak, aby odpovídala aktuálnímu ekonomickému vývoji země.
4. 6. 2026

Ötziho mumie obsahuje stále živé mikroorganismy

Výzkumníci z institutu Eurac Research získali podrobný přehled o mikroorganismech spojených s Ötzim. Nová studie přináší poznatky o komplexním mikrobiomu, od střevní flóry člověka z doby měděné až po kvasinky přizpůsobené chladnému prostředí, které mohly mumii doprovázet po tisíciletí a dodnes zůstávají součástí aktivního ekosystému.
4. 6. 2026

Umělá inteligence ohrožuje přírodní zdroje pro mnoho lidí, varují experti OSN

Rostoucí emise, ubývající zásoby vody a mizející půda. To jsou tři hlavní problémy, které způsobuje dynamicky rostoucí sektor umělých inteligencí (AI). Nová studie Univerzity OSN varuje, že v roce 2030 budou datacentra spotřebovávat tolik vody jako 1,3 miliardy lidí. Spotřeba elektřiny pak má vzrůst na více než dvojnásobek oproti loňsku.
4. 6. 2026

VideoAI může pomáhat při řízení jaderné elektrárny do deseti let, míní Kochánek

Na konferenci o bezprostřední budoucnosti jaderné energie na francouzském velvyslanectví se mluví o aktuálních trendech v této oblasti – od malých modulárních reaktorů až po využití digitalizace a umělé inteligence (AI) k efektivnější správě a zajištění bezpečnosti. Právě AI může podle předsedy Státního úřadu pro jadernou bezpečnost Štěpána Kochánka nahradit některé lidské specialisty jak při projektování a výstavbě, tak i při samotném řízení provozu jaderného zařízení. „Tak daleko zatím v tuto chvíli nejsme,“ říká ale Kochánek a dodává, že by k tomu mohlo dojít v příští dekádě.
4. 6. 2026

Veletrh vědy láká na jaderné reaktory i astronomii Středozemě

Na výstavišti v pražských Letňanech ve čtvrtek začíná Veletrh vědy. Potrvá do soboty. Nabídne stovku interaktivních expozic a desítky přednášek s diskusemi. Podesáté ho pořádá Akademie věd ČR (AV ČR), která na něm představí novinky ze současného výzkumu. Do programu se zapojuje i řada univerzit.
4. 6. 2026
Načítání...