Výzkumná firma Graphika, která se specializuje na dezinformace, tento týden oznámila, že odhalila první profesionální deep fake program, který pracuje s videem. Její zjištění podrobně popisují, jak vypadal zřejmě první případ vlivové operace státu, která využívá k šíření propagandy „zpravodajské“ záběry generované výhradně umělou inteligencí. Jak celá operace probíhala a jak byla úspěšná, popsal deník The New York Times. Podle analýzy bude podobných aktivit přibývat.
Místo moderátorů umělá inteligence. Analytici odhalili vlivovou kampaň, která se poprvé obešla bez lidí
Moderátoři ve videu kritizují vášnivě (a pravdivě) Spojené státy za selhání v oblasti kontroly střelných zbraní. Uvádějí, jak moc v USA lidé umírají zastřelením a srovnávají to s jinými zeměmi vyspělého světa. Nakonec pochválí politickou zodpovědnost Číny a její úspěchy na mezinárodní konferenci.
Tito moderátoři však reálně nikdy neexistovali. Jde o falešné zprávy vytvořené pomocí umělé inteligence. Celý produkt je s největší pravděpodobností první vlivovou kampaní vytvořenou vyspělými algoritmy schopnými generovat věrohodné videozpravodajství.
Avatar na míru
Fiktivní médium Wolf News zastupovali moderátoři Jason a Anna, produkty umělé inteligence vytvořené britskou společností Synthesia. Tento pět let starý start-up nabízí svým klientům program schopný vytvářet falešná videa za pouhých 30 dolarů měsíčně.
Synthesia v současné době nabízí nejméně 85 postav vymodelovaných podle skutečných lidských herců – různého věku, pohlaví, etnicity, s různými hlasy a nejrůznějšími styly oblečení. Zákazník si dokonce může tento avatar vyrobit podle svého vzhledu – anebo kohokoliv, kdo s tím souhlasí.
Produkty společnosti Synthesia jsou z velké části určeny a prodávány jako nástroje pro řešení, která šetří náklady a čas, jako jsou například interní videa pro školení. Mezi dřívější klienty inzerované na webových stránkách společnosti patří Amazon a Novo Nordisk.
Ukázky společnosti Synthesia, stejně jako propagandistické klipy, na které upozornil The New York Times, nejsou zrovna kvalitní – avataři mluví převážně monotónním hlasem, mají strnulou mimiku, zpožděný zvuk a nerealistické pohyby, například příliš pomalé mrkání.
Obvykle to není problém, klienti jsou ochotni tyto aspekty obětovat, protože je produkt mnohem levnější. U „zpravodajství“ to ale působilo značně nevěrohodně a možná i to bylo příčinou toho, proč byla videa neúspěšná. Přesto odborníci ze společnosti Graphika upozorňují, že se tato technologie rychle zdokonaluje a brzy bude prezentovat dezinformace, které budou mnohem méně rozeznatelné od skutečných videí.
Podmínky služby Synthesia jasně zakazují generování „politického, sexuálního, osobního, kriminálního a diskriminačního obsahu“. Společnost má oddělení kontrolující, zda klienti neporušují zásady deepfake obsahu, na rozdíl od nenávistných projevů nebo explicitního obsahu je však velmi obtížné odhalit obsah s propagandou či dezinformacemi.
Victor Riparbelli, spoluzakladatel a generální ředitel společnosti Synthesia, americkému deníku řekl, že společnost nese plnou odpovědnost za bezpečnostní selhání a že předplatitelé stojící za Wolf News byli následně zablokováni za porušení zásad společnosti.
I když tento pokus nebyl příliš úspěšný, analytici ze společností Graphika varují, že jde jen o začátek a že už brzy budou dostupné mnohem pokročilejší programy, které využijí lepších technologií a tito moderátoři budou jak vzhledem, tak i vystupováním k nerozlišení od těch lidských. A je tedy jen otázkou času, kdy to někdo využije nebo zneužije pro extrémně přesvědčivá videa a obrázky pro své vlivové operace.
Propagace Číny
Podle zprávy společnosti Graphica stojí za Wolf News operace, kterou analytici pojmenovali Spamouflage. Existuje asi od roku 2019 a přestože není úplně jasné, kdo se za ní skrývá, je jasně spojená s propagací Číny a čínského kulturního a politického vlivu.
V období od 9. února 2020 do 26. ledna 2021 tato vlivová síť na různých platformách zveřejnila více než 1400 unikátních videí, tehdy ještě bez umělých inteligencí. Byla v mandarínštině, kantonštině nebo angličtině s čínskými titulky. Obvykle reagovala na světové události uplynulých 36 hodin.
Napříkald video Spamouflage z 6. listopadu 2020 odkazovalo na protesty v New Yorku z 5. listopadu, zatímco video Spamouflage ze 7. ledna 2021 obsahovalo záběry z nepokojů v americkém Kapitolu, které se odehrály jen o 17 hodin dříve. „Objem a rychlost obsahu naznačují, že síť disponuje značnými zdroji,“ tvrdí zpráva Graphica.
Společnost Google letos v lednu oznámila, že narušila více než padesát tisíc aktivit Spamouflage na nejrůznějších platformách – od YouTube, přes Blogger až po AdSense. Její zpráva uvádí, že tato síť přezdívaná také Dragonbridge, je sice nesmírně aktivní, ale současně absolutně neúspěšná. Příspěvky nevyvolávaly prakticky žádnou odezvu, většina aktivity u nich byla fiktivní, tedy generovaná jen jinými větvemi Spamouflage.