Výzkumná firma Graphika, která se specializuje na dezinformace, tento týden oznámila, že odhalila první profesionální deep fake program, který pracuje s videem. Její zjištění podrobně popisují, jak vypadal zřejmě první případ vlivové operace státu, která využívá k šíření propagandy „zpravodajské“ záběry generované výhradně umělou inteligencí. Jak celá operace probíhala a jak byla úspěšná, popsal deník The New York Times. Podle analýzy bude podobných aktivit přibývat.
Moderátoři ve videu kritizují vášnivě (a pravdivě) Spojené státy za selhání v oblasti kontroly střelných zbraní. Uvádějí, jak moc v USA lidé umírají zastřelením a srovnávají to s jinými zeměmi vyspělého světa. Nakonec pochválí politickou zodpovědnost Číny a její úspěchy na mezinárodní konferenci.
Tito moderátoři však reálně nikdy neexistovali. Jde o falešné zprávy vytvořené pomocí umělé inteligence. Celý produkt je s největší pravděpodobností první vlivovou kampaní vytvořenou vyspělými algoritmy schopnými generovat věrohodné videozpravodajství.
Avatar na míru
Fiktivní médium Wolf News zastupovali moderátoři Jason a Anna, produkty umělé inteligence vytvořené britskou společností Synthesia. Tento pět let starý start-up nabízí svým klientům program schopný vytvářet falešná videa za pouhých 30 dolarů měsíčně.
Synthesia v současné době nabízí nejméně 85 postav vymodelovaných podle skutečných lidských herců – různého věku, pohlaví, etnicity, s různými hlasy a nejrůznějšími styly oblečení. Zákazník si dokonce může tento avatar vyrobit podle svého vzhledu – anebo kohokoliv, kdo s tím souhlasí.
Produkty společnosti Synthesia jsou z velké části určeny a prodávány jako nástroje pro řešení, která šetří náklady a čas, jako jsou například interní videa pro školení. Mezi dřívější klienty inzerované na webových stránkách společnosti patří Amazon a Novo Nordisk.
Ukázky společnosti Synthesia, stejně jako propagandistické klipy, na které upozornil The New York Times, nejsou zrovna kvalitní – avataři mluví převážně monotónním hlasem, mají strnulou mimiku, zpožděný zvuk a nerealistické pohyby, například příliš pomalé mrkání.
Obvykle to není problém, klienti jsou ochotni tyto aspekty obětovat, protože je produkt mnohem levnější. U „zpravodajství“ to ale působilo značně nevěrohodně a možná i to bylo příčinou toho, proč byla videa neúspěšná. Přesto odborníci ze společnosti Graphika upozorňují, že se tato technologie rychle zdokonaluje a brzy bude prezentovat dezinformace, které budou mnohem méně rozeznatelné od skutečných videí.
Podmínky služby Synthesia jasně zakazují generování „politického, sexuálního, osobního, kriminálního a diskriminačního obsahu“. Společnost má oddělení kontrolující, zda klienti neporušují zásady deepfake obsahu, na rozdíl od nenávistných projevů nebo explicitního obsahu je však velmi obtížné odhalit obsah s propagandou či dezinformacemi.
Victor Riparbelli, spoluzakladatel a generální ředitel společnosti Synthesia, americkému deníku řekl, že společnost nese plnou odpovědnost za bezpečnostní selhání a že předplatitelé stojící za Wolf News byli následně zablokováni za porušení zásad společnosti.
I když tento pokus nebyl příliš úspěšný, analytici ze společností Graphika varují, že jde jen o začátek a že už brzy budou dostupné mnohem pokročilejší programy, které využijí lepších technologií a tito moderátoři budou jak vzhledem, tak i vystupováním k nerozlišení od těch lidských. A je tedy jen otázkou času, kdy to někdo využije nebo zneužije pro extrémně přesvědčivá videa a obrázky pro své vlivové operace.
Propagace Číny
Podle zprávy společnosti Graphica stojí za Wolf News operace, kterou analytici pojmenovali Spamouflage. Existuje asi od roku 2019 a přestože není úplně jasné, kdo se za ní skrývá, je jasně spojená s propagací Číny a čínského kulturního a politického vlivu.
V období od 9. února 2020 do 26. ledna 2021 tato vlivová síť na různých platformách zveřejnila více než 1400 unikátních videí, tehdy ještě bez umělých inteligencí. Byla v mandarínštině, kantonštině nebo angličtině s čínskými titulky. Obvykle reagovala na světové události uplynulých 36 hodin.
Napříkald video Spamouflage z 6. listopadu 2020 odkazovalo na protesty v New Yorku z 5. listopadu, zatímco video Spamouflage ze 7. ledna 2021 obsahovalo záběry z nepokojů v americkém Kapitolu, které se odehrály jen o 17 hodin dříve. „Objem a rychlost obsahu naznačují, že síť disponuje značnými zdroji,“ tvrdí zpráva Graphica.
Společnost Google letos v lednu oznámila, že narušila více než padesát tisíc aktivit Spamouflage na nejrůznějších platformách – od YouTube, přes Blogger až po AdSense. Její zpráva uvádí, že tato síť přezdívaná také Dragonbridge, je sice nesmírně aktivní, ale současně absolutně neúspěšná. Příspěvky nevyvolávaly prakticky žádnou odezvu, většina aktivity u nich byla fiktivní, tedy generovaná jen jinými větvemi Spamouflage.
