Šéf přední AI firmy varuje před enormními riziky AI

Apokalyptických úvah o riziku umělé inteligence (AI) je dvanáct do tuctu, ale jen málokdy s nimi přicházejí šéfové vlivných firem, které jsou za explozivně rychlý rozvoj této přelomové technologie zodpovědné. Teď Dario Amodei, zakladatel společnosti Anthropic, jež stojí za chatbotem Claudem, v rozsáhlé eseji upozornil na obrovský potenciál hrozeb, které AI přináší do současného světa.

Lidstvo se díky umělé inteligenci právě nyní připravuje na epochální změnu – vstup do nové éry, která zcela změní jeho možnosti a perspektivu. Současně takový přechod ale lidstvo podle Amodeie nemusí zvládnout, hlavně přechodné období, než se superinteligence stanou běžnou součástí společnosti, bude náročné. „Věřím, že vstupujeme do přechodného období, které bude bouřlivé a nevyhnutelné, a které prověří, kým jako druh jsme,“ napsal.

Současné nastavení civilizace bude pro tuto změnu komplikací, uvádí šéf Anthropicu. „Lidstvo se chystá získat téměř nepředstavitelnou moc, ale není vůbec jasné, jestli jsou naše sociální, politické a technologické systémy dostatečně vyspělé, aby ji dokázaly ovládat,“ tvrdí. Na dalším místě varuje i před lidskou povahou, jak se projevuje už stovky generací, když přiznává, že „autoritářství podporované umělou inteligencí mě děsí“.

Místo narušeného samotáře virolog s doktorátem

Amodei přináší i živé příklady toho, jak by se dala AI nesmírně snadno zneužívat pro konání velkého zla. Jako hlavní uvádí japonskou sektu Óm šinrikjó, která pod vedením Šóka Asahary podnikla roku 1995 teroristický útok na tokijské metro. Náboženští fanatici do něj tehdy vypustili toxický nervový jed sarin, kterému podlehlo čtrnáct lidí. Co to má společného s AI?

Podle Amodeie by AI podobný útok nesmírně ulehčila – když bude přístup k umělým inteligencím rovný, pak bude brzy každý nosit v kapse génia, který by mu mohl pomoci odstranit jakékoliv překážky, které něco tak zlovolného umožňují. Vývoj toxinu, jeho distribuce, dokonalá znalost tokijského metra a jeho bezpečnostních opatření – schopný AI asistent by si mohl s analýzou na toto téma poradit v budoucnu během pár minut.

„Narušený samotář, který chce zabíjet lidi, ale nemá k tomu disciplínu ani schopnosti, se teď dostane na úroveň virologa s doktorátem,“ píše Amodei. „Obávám se, že takových lidí je potenciálně velké množství, a že pokud budou mít snadný přístup k prostředkům, jak zabít miliony lidí, dřív nebo později to někdo z nich udělá,“ uvažuje.

Až přijde superinteligence

Už v současné době má jakýkoliv z velkých modelů AI rozsáhlejší zásobu znalostí než jakákoliv lidská bytost na Zemi, což bylo ještě donedávna nepředstavitelné. Podle Amodeie je ale vývoj této technologie natolik překotný, že se blíží doba, kdy se AI stanou ještě neporovnatelně chytřejšími a schopnějšími. Výsledek tohoto potenciálního skoku se označuje jako superinteligence.

„Pokud bude exponenciální růst pokračovat – což není jisté, ale nyní ho podporuje desetiletá historie – pak nemůže trvat déle než pár let, než AI překoná lidi prakticky ve všem,“ přemítá Amodei. A to by mělo zcela zásadní dopady. „Představte si, že by někde na světě kolem roku 2027 vznikla země géniů. Představte si například padesát milionů lidí, z nichž každý je mnohem schopnější než jakýkoli nositel Nobelovy ceny, státník nebo technolog,“ nastiňuje.

„Představte si, že jste poradcem pro národní bezpečnost významného státu a máte na starosti vyhodnocování situace a reagování na ni. Představte si dále, že protože systémy umělé inteligence mohou fungovat stokrát rychleji než lidé, tato země má oproti všem ostatním zemím časovou výhodu: na každou jednu akci, kterou můžeme provést my, jich může tato země provést deset,“ píše Amodei.

Superinteligence by zkrátka překonala jakoukoliv konkurenci, už jen díky masivní intelektuální kapacitě, kterou by mohla využívat.

Pokud by taková „země“ – tedy v této metafoře umělá superinteligence – měla vzniknout, představovala by rovnou z několika hledisek zásadní bezpečnostní hrozbu. Dokonce „nejzávažnější hrozbu národní bezpečnosti, jaké jsme čelili za poslední století, možná za celou historii“, uvádí ředitel Anthropicu.

Ve své eseji varuje také dalšími hrozbami spojenými s pokročilými AI – od „zbytečnosti lidí“ přes růst ekonomické nerovnosti až po vznik závislostí na umělých inteligencí. A také zmiňuje, že se vznikem těchto supermyslí je nutně spjato i mnoho rizik, která si ani neumíme představit.

Co dělá Anthropic

Společnost Anthropic patří mezi velkými vývojáři umělých inteligencí k těm, které se možnými riziky zabývají nejvíc. Prosazuje silnější kontrolu a ochranu spotřebitelů před možnými dopady rizik. Zároveň ale stále pracuje na neustálém vylepšování této technologie, které může vést ke scénářům, před nimiž její zakladatel varuje.

Na konci ledna také společnost vydala „Ústavu Claude“, která se pokouší definovat hodnoty, chování a základní charakter umělé inteligence Anthropicu. Je primárně psána pro samotnou AI Claude, aby formovala její étos, tedy jak by měla přemýšlet a rozhodovat se při interakcích s lidmi nebo v různých situacích. Má sloužit jako nejvyšší autorita, ke které se vztahují všechny ostatní pokyny a tréninkové materiály.

Anthropic chce, aby model nebyl jen slepým vykonavatelem pravidel, ale aby rozuměl tomu, proč jsou některé hodnoty — jako bezpečnost, etika a upřímnost — výjimečně důležité. To by mělo umožnit lepší aplikaci těchto hodnot i v nečekaných nebo složitých situacích.

Výběr redakce

Aktuálně z rubriky Věda

VideoAI může řídit jadernou elektrárnu do deseti let, míní Kochánek

Na konferenci o bezprostřední budoucnosti jaderné energie na francouzském velvyslanectví se mluví o aktuálních trendech v této oblasti – od malých modulárních reaktorů až po využití digitalizace a umělé inteligence (AI) k efektivnější správě a zajištění bezpečnosti. Právě AI může podle předsedy Státního úřadu pro jadernou bezpečnost Štěpána Kochánka nahradit lidské specialisty jak při projektování a výstavbě, tak i při samotném řízení provozu jaderného zařízení. „Tak daleko zatím v tuto chvíli nejsme,“ říká ale Kochánek a dodává, že by k tomu mohlo dojít v příští dekádě.
před 6 mminutami

Veletrh vědy láká na jaderné reaktory i astronomii Středozemě

Na výstavišti v pražských Letňanech ve čtvrtek začíná Veletrh vědy. Potrvá do soboty. Nabídne stovku interaktivních expozic a desítky přednášek s diskusemi. Podesáté ho pořádá Akademie věd ČR (AV ČR), která na něm představí novinky ze současného výzkumu. Do programu se zapojuje i řada univerzit.
před 3 hhodinami

Český tým rekonstruoval evoluci covidu. Naznačil, že ze SARS pandemie nebude

Covidová pandemie změnila svět mnoha způsoby, z některých se společnost nevzpamatovala ani po šesti a půl letech. Patogen se rychle vyvíjel, což vedlo nejen ke vzniku řady konspiračních teorií, ale i komplikací ohledně léčby, očkování a opatření. Čeští a izraelští vědci v laboratorních podmínkách nyní zrekonstruovali, jak se koronavirus SARS-CoV-2 měnil a vyvíjel, a zároveň odhalili podmínky, které mohou vést ke vzniku vysoce nakažlivých variant.
před 6 hhodinami

Fyzici se pokusili rozříznout foton. Vznikla podivnost

Když polobožský hrdina Herkules bojoval s lernskou hydrou, zjistil, že ji přes svou nepřekonatelnou sílu nedokáže zabít. Za každou hlavu, kterou usekl, narostly dvě nové. Podobně, ale ještě mnohem hůř, se chovají podle odborného časopisu New Scientist fotony – těch totiž při každém rozseknutí vznikne rovnou nekonečno.
před 22 hhodinami

Šakali se šíří i kvůli úbytku vlků, mohou osídlit až tři čtvrtiny Evropy

Za šířením šakalů po Evropě stojí podle nového výzkumu kombinace změn klimatu a krajiny i dlouhodobý úbytek velkých predátorů, především vlků. Důležitou roli hraje člověk, jehož sídla poskytují bezpečnější prostor pro život. Výzkum, na kterém se podíleli vědci z brněnského Ústavu biologie obratlovců Akademie věd, zároveň naznačuje, že by šakali mohli v budoucnu osídlit až 75 procent evropského kontinentu, tedy téměř šestinásobek současné plochy výskytu. Studii publikoval časopis Nature Ecology & Evolution.
včera v 13:15

Mlha je živá. Obsahuje oceány bakterií, které pomáhají lidem

Mlha je mokrý vzduch, říká její definice. Ale co kdyby se na ni dalo pohlédnout jinak? Co kdyby při detailním pohledu připomínala spíš bublající oceán plný forem života, jež spolu divoce, byť krátce, interagují, množí se a umírají, a to všechno těsně na dosah lidí, kteří o tomto pozoruhodném mikrokosmu ani netuší? Přesně tuto představu mlhy popsala ve své studii doktorandka z Arizonské státní univerzity Thi Thuong Thuong Caová.
včera v 10:58

Gram měsíčního prachu patří Akademii věd, potvrdil soud

Měsíční prach náleží Akademii věd, potvrdil Nejvyšší soud (NS) v neobvyklém sporu. Vzorky měsíčního prachu se do Československa dostaly v 70. letech díky mezinárodní vědecké spolupráci se Sovětským svazem. Zůstaly v držení rodiny výzkumnice, která je tehdy od sovětských kolegů jménem Akademie převzala. Akademie se o tom dozvěděla v roce 2020 v souvislosti s žádostí o vývozní povolení. Podala žalobu a pražské soudy jí vyhověly. Dovolání podané dcerou vědkyně NS odmítl.
včera v 09:13

Jev El Niño v létě vznikne podle WMO na osmdesát procent

Pravděpodobnost výskytu meteorologického jevu EL Niño je letos od června do srpna osmdesát procent, což zvyšuje pravděpodobnost extrémního počasí, uvedla ve své pravidelné prognóze Světová meteorologická organizace (WMO).
2. 6. 2026
Načítání...