Společnost OpenAI představila v polovině února nový systém umělé inteligence (AI), který dokáže na základě textových pokynů od uživatelů vytvářet realistická videa. Jmenuje se Sora a experti – stejně jako opakovaně v minulosti – varují před tím, že vytvořené zdání reality může být snadno zneužito pro dezinformační kampaně.
Systém AI Sora dostal své jméno podle japonského výrazu pro oblohu nebo nebe. Dokáže rychle vytvářet až minutová videa, která představují „komplexní scény s více postavami, specifickými typy pohybu a přesnými detaily objektu a pozadí“, uvedla na svém blogu firma.
Nástroj rozumí přirozenému jazyku, takže mu stačí dát velmi obecné pokyny a on se jimi řídí, dál video dokončuje podle svých „zkušeností“, které nabral během tréninku. Podívejte se na ukázky:
Šéf OpenAI Sam Altman na sociální síti X napsal, že zpočátku bude nástroj k dispozici omezenému počtu tvůrců. Odborný tým nyní má za úkol posoudit Sořinu bezpečnost před jejím začleněním do dostupných produktů společnosti.
„Model má hluboké znalosti jazyka, což mu umožňuje přesně interpretovat podněty a vytvářet přesvědčivé postavy, které vyjadřují živé emoce. Sora také dokáže v rámci jednoho generovaného videa vytvořit více záběrů, které přesně přetrvávají charaktery a vizuální styl,“ popisuje schopnosti této umělé inteligence OpenAI.
Soutěž o generátor videa
Podobné automatizované nástroje pro převod textu na video, které jsou založené na principu generativní umělé inteligence, už dříve představily firmy Meta Platforms, Google či Runway AI. Tato technologie sice pro řadu profesí může urychlit tvůrčí proces, ale zároveň vyvolává obavy, že by mohla ohrozit živobytí umělců a přispět k šíření dezinformací, napsala agentura Bloomberg.
OpenAI sice počítá s tím, že po uvedení na trh bude možné snadno zjistit, jestli video vyrobila Sora. Detekce produktů vytvořených umělou inteligencí ale není ani zdaleka bez problémů. Nejlépe to dokazuje příklad této konkrétní společnosti: OpenAI totiž roku 2023 odložila vývoj nástroje, který měl odhalovat text vygenerovaný AI – zdůvodnila to tehdy nízkou mírou přesnosti.
Společnost si je potenciálních problémů a kontroverzí dobře vědomá, chce s nimi ale bojovat. „Budeme zapojovat tvůrce pravidel, pedagogy a umělce z celého světa, abychom pochopili jejich obavy a rozpoznali pozitivní případy využití této nové technologie. Přes rozsáhlý výzkum a testování nemůžeme předvídat všechny prospěšné způsoby, jak budou lidé naši technologii používat, ani všechny způsoby, jak ji budou zneužívat,“ uvedla OpenAI.
Hrozba pro svobodnou společnost
Sora má spoustu kritiků, kteří upozorňují zejména na to, jak problematické může být zaplavení digitálního světa obsahem, který bude nerozeznatelný od reálného videa. Už když před rokem spouštěla OpenAI své předchozí umělé inteligence, varoval v deníku New York Times Gordon Crovitz ze společnosti NewsGuard, která sleduje dezinformace na internetu, před nebezpečími spojenými s uměle vytvářenou realitou.
„Tento nástroj bude nejmocnějším nástrojem pro šíření dezinformací, jaký kdy na internetu byl.“ Po několika měsících experimentů dodal: „Vytváření nového falešného narativu lze nyní provádět v dramatickém měřítku a mnohem častěji – je to jako kdyby k dezinformacím přispívali agenti umělé inteligence.“
Problém je nejen to, co s těmito nástroji kdo provede, ale i to, na jakém obsahu byly trénované. Už roku 2020 výzkumníci z Centra pro terorismus, extremismus a boj proti terorismu na Middlebury Institute of International Studies zjistili, že GPT-3, základní technologie pro ChatGPT, má „působivě hluboké znalosti extremistických komunit“ a dá se díky tomu velmi snadno přimět k vytváření polemik ve stylu masových střelců, falešných vláken na fóru diskutujících o nacismu, nebo obhajoby dezinformačních konspiračních teorií.
Na serveru Gizmodo zase publicista Lucas Roper explicitně varuje přes Sorou následovně: „Je pravděpodobné, že část obsahu se bude využívat pro účely on-line politických dezinformací, část by hypoteticky mohla být použita k podpoře různých podvodů a podvrhů a část by mohla být použita k vytváření toxického obsahu.“
OpenAI sice slibuje ochranná opatření, podle Ropera ale uživatelé i vědci už ukázali, že lze systémy umělé inteligence prolomit. „Veškerý tento obsah od Sora zřejmě zaplaví kanály sociálních médií, což běžným lidem ztíží rozlišování mezi tím, co je skutečné a co falešné, a internet se tak stane mnohem otravnějším. Nemyslím si, že je potřeba celosvětový panel odborníků, aby na tohle někdo přišel.“
