Schopnosti umělých inteligencí (AI) mohou být rizikem mnoha různými způsoby. Na novou hrozbu pro samotnou podstatu demokracie teď upozornila skupina německých vědců. Roje AI agentů by mohly zaplavit komunikační platformy a cíleně měnit náladu v zasažených zemích, tvrdí výzkumníci v rozhovoru pro ČT24.
„Ve studii, kterou jsme provedli, jsme pomocí modelu sociálních médií simulovali roje falešných účtů na sociálních médiích, které pomocí různých taktik ovlivňovaly cílovou on-line komunitu. Jedna taktika byla zdaleka nejúčinnější: infiltrace,“ popsali autoři svůj výzkum. Jak to funguje?
„Jakmile on-line skupinu infiltrují, mohou roje AI vytvořit iluzi široké veřejné shody ohledně narativů, které jsou naprogramovány propagovat. To využívá psychologický jev známý jako sociální důkaz: Lidé mají přirozenou tendenci něčemu snadněji uvěřit, pokud vnímají, že to říkají všichni,“ varují výzkumníci ze Společnost Maxe Plancka.
Pokusy o takové taktiky sice existují na sociálních sítích už dlouho, byly ale zatím založené na omezených lidských zdrojích, zatímco AI má naopak možnosti prakticky neomezené. „Agenti mohou například mluvit o nejnovějším zápase se sportovním fanouškem, o aktuálních událostech s milovníkem zpráv. Mohou komunikovat jazykem, který odpovídá zájmům a názorům jejich cílů,“ ilustrují.
Veřejné mínění proti algoritmické simulaci
Podle vědců by bylo nesmírně složité takovému tlaku na sítích nějak odolávat. I když se podaří jednotlivá tvrzení vyvrátit, sbor zdánlivě nezávislých hlasů může radikální myšlenky prezentovat jako mainstreamové a zesilovat tak negativní pocity vůči „ostatním“.
„Uměle vytvořený syntetický konsensus představuje velmi reálnou hrozbu pro veřejnou sféru, mechanismy, které demokratické společnosti používají k formování sdílených přesvědčení, přijímání rozhodnutí a budování důvěry ve veřejnou diskusi. Pokud občané nedokážou spolehlivě rozlišit mezi skutečným veřejným míněním a algoritmicky generovanou simulací jednomyslnosti, může být demokratické rozhodování vážně ohroženo,“ zní explicitní varování autorů studie.
Sílu problému zesiluje i fakt, že politické strany monitorují nálady občanů ve vlastních skupinách na sociálních sítích: kdyby je výše popsané roje nenápadně infiltrovaly, mohly by snadno manipulovat třeba i volebními programy nebo programovými prohlášeními.
Vědecká redakce ČT autorům výzkumu položila několik otázek.
Přesvědčivá nezávislost tisíců hlasů
Jak se škodlivé roje AI liší od tradičních botů a proč je považujete za pokročilejší hrozbu pro demokratickou diskusi?
Tradiční boty byly často relativně jednoduché – mnoho účtů opakovalo stejné zprávy, publikovalo podle zřejmých vzorců a hlavně zesilovalo obsah ve velkém měřítku. Jejich přímé přesvědčivé účinky byly často omezené.
Zlovolné AI roje jsou pokročilejší, protože mohou fungovat jako koordinovaný sociální systém, nikoli pouze jako megafon. Klíčovým novým prvkem je koordinace v pozadí – mnoho syntetických osobností může být koordinováno společně, s různými rolemi, načasováním a taktikami, přičemž stále působí nezávisle.
Nedávné práce ukázaly, že jazykové modely už mohou být při přesvědčování docela účinné (zejména v několika kolech interakce) a mohou odvozovat psychologické vlastnosti nebo preference. Teď se mění to, že se tyto schopnosti dají kombinovat v multiagentních systémech. Několik agentů AI může koordinovat, vyvíjet a zdokonalovat strategie v průběhu času a přizpůsobovat se reakcím publika. Mohou také analyzovat a využívat síťové struktury – například identifikovat, na které komunity se zaměřit, jak propojit skupiny a kde zesílit sdělení pro maximální účinek.
Hlavní změnou tedy není jen lepší generování obsahu. Jedná se o strategickou, adaptivní koordinaci mezi mnoha agenty. Právě to činí z umělé inteligence kvalitativně odlišnou a vážnější hrozbu pro demokratickou diskusi.
Můžete vysvětlit, co je to „syntetický konsensus“ a jak může ovlivnit veřejné mínění, aniž by šířil zjevně nepravdivý obsah?
„Syntetický konsensus“ znamená vytvoření dojmu, že mnoho nezávislých lidí sdílí stejný názor, zatímco ve skutečnosti je tato činnost koordinována mnohem menším aktérem, nebo dokonce jediným operátorem.
To je velmi účinné, protože veřejné mínění je formováno nejen fakty, ale také sociálními signály – lidé se dívají na to, čemu ostatní věří, co se jeví jako normální a které názory se zdají být na vzestupu. Pokud může roj simulovat tuto sociální podporu, může způsobit, že okrajový názor bude vypadat jako mainstreamový nebo že sporná myšlenka bude vypadat jako široce přijímaná.
Důležité je, že to nevyžaduje šíření zjevných lží. Koordinovaný roj může zesilovat selektivní pravdy, prezentovat problémy zaujatým způsobem, opakovat emocionálně nabité interpretace nebo jednoduše zaplavit diskusi tak, aby určité názory vypadaly dominantní. V tomto smyslu jde při manipulaci často méně o „lhaní“ a více o vytváření sociálního prostředí, ve kterém si lidé utvářejí úsudky.
Proto je syntetický konsensus pro demokracii tak znepokojivý. Demokratická diskuse závisí na nezávislosti hlasů. Pokud jeden aktér může mluvit prostřednictvím tisíců přesvědčivých osobností, lidé mohou začít reagovat nikoli na skutečné veřejné mínění, ale na umělé.
Platformy se uzavírají a oslepují výzkumníky
Dokázali byste popsat, jaké druhy zranitelnosti reálných politických nebo sociálních systémů způsobují, že je společnost tak náchylná k manipulaci ze strany rojů AI?
Za prvé, mnoho digitálních platforem je vytvořeno tak, aby maximalizovaly pozornost a zapojení, nikoli autentičnost. Obsah, který vyvolává emoce, konflikty a tím i rychlé reakce, se šíří rychleji, což dává výhodu koordinovaným manipulačním kampaním.
Za druhé, vytvoření nebo správa velkého počtu účtů je stále relativně levná a snadná. To umožňuje malým aktérům simulovat velký „dav“ a vytvářet sociální tlak ve velkém měřítku.
Za třetí, polarizace a nízká důvěra v instituce zvyšují zranitelnost lidí. V silně rozděleném prostředí jsou uživatelé více nakloněni věřit, sdílet nebo emocionálně reagovat na obsah, který potvrzuje jejich názor nebo útočí na názor druhé strany. Roje mohou přesně tyto napětí zneužívat.
Za čtvrté, platformy a veřejnost se často soustředí na to, zda jsou jednotlivé příspěvky pravdivé, nebo nepravdivé, ale skutečná manipulace se může odehrávat na úrovni koordinace. Roj může používat převážně věrohodný obsah a přesto manipulovat s názory tím, že formuje to, co se jeví jako populární, naléhavé nebo společensky přijatelné.
Za páté, reakce institucí jsou často příliš pomalé. Než je koordinovaná kampaň odhalena a účty odstraněny, může se již narativ rozšířit, ovlivnit diskuse a být převzat skutečnými uživateli.
A konečně, mnoho společností postrádá nezávislé monitorovací kapacity a transparentnost v oblasti ovlivňování. Bez důvěryhodných, sdílených důkazů o koordinované manipulaci může veřejná debata uváznout v nejistotě („nemůžeme to dokázat“), což napomáhá útočníkům.
Stručně řečeno, AI roje využívají kombinaci pobídek platforem, levného škálování identit, sociální polarizace, slabé detekce koordinace a pomalých systémů reakce.
Tohle vypadá skoro jako strategie, které se nedá bránit. Jaké strategie detekce a obrany navrhujete k boji proti těmto AI rojům? A existují nějaké problémy, které jsou s jejich zavedením v širokém měřítku spojené?
Naši odpověď bychom formulovali kolem čtyř priorit, počínaje tou nejdůležitější: přístup k datům platforem pro nezávislé výzkumníky.
V posledních několika letech mnoho velkých platforem výrazně omezilo přístup k API a tím i přístup k výzkumným datům. To výzkumníkům značně ztížilo studium vlivových operací v reálném čase, pochopení toho, co se mění, a vytváření spolehlivých metod detekce. První obranou je tedy jednoduše obnovit smysluplný, soukromí chránící přístup k datům platformy pro kvalifikované výzkumníky. Bez toho jsme částečně slepí.
API je rozhraní využívané při vývoji mobilních i webových aplikací a tvorbě internetových stránek. Smyslem API je zajištění komunikace mezi dvěma platformami, které si vzájemně vyměňují data. Umožňují využívat už naprogramovaná řešení a integrovat je do vlastních webů a aplikací, díky čemuž šetří programátorský čas a tím i peníze.
Za druhé by se detekce měla zaměřit na koordinované chování, nikoli hlavně na obsah. Moderní systémy umělé inteligence mohou produkovat velmi rozmanité texty podobné lidským a v mnoha případech mohou působit jako věrohodní účastníci on-line diskusí. To znamená, že staré přístupy – například hledání opakovaných textů nebo zjevných spamových vzorců – již nestačí.
Slibnější strategií je detekovat koordinaci v pozadí – synchronizaci, rozdělení rolí, síťové vzorce, neobvyklé načasování interakcí a další signály chování, které je pro skutečné lidské komunity obtížné napodobit ve velkém měřítku.
Za třetí, musíme používat simulace kalibrované pomocí skutečných dat z platforem. Pokud budou mít výzkumníci odpovídající přístup, můžeme vytvořit realističtější modely chování rojů, otestovat detekční strategie a provést zátěžové testy obrany ještě předtím, než dojde k útokům. To je zásadní, protože taktika rojů se bude vyvíjet. Musíme se naučit nejen to, co se děje nyní, ale také to, co bude možné v budoucnu.
Za čtvrté jsme navrhli myšlenku AI štítů – v podstatě ochranných AI asistentů pro uživatele. Pokud se AI agenti stále častěji používají ke generování a koordinaci manipulativního obsahu, lze podobné techniky použít i k obraně. Tyto „štíty“ by mohly uživatelům pomoci předběžným filtrováním, označováním nebo kontextualizací podezřelého obsahu a koordinačních vzorců, než se s nimi lidé setkají. Vzhledem k tomu, že AI asistenti se stávají v každodenním digitálním životě stále běžnějšími, stává se tento druh ochrany na straně uživatelů realističtější.
Nakonec navrhujeme AI Influence Observatory (Observatoř vlivu AI), komunikační a monitorovací infrastrukturu, která umožňuje sdílení informací o škodlivých kampaních mezi výzkumníky, platformami, občanskou společností a tvůrci politik. Cílem není cenzura, ale rychlejší kolektivní učení a reakce – aby útoky mohly být zdokumentovány, pochopeny a sděleny dříve, než způsobí škody.
Velkou výzvou je, že vše musí být provedeno v odpovídajícím měřítku a s důkladnou ochranou soukromí. Bez těchto koordinovaných obranných opatření – přístupu k datům, detekce založené na chování, simulace, ochranných štítů AI a observatoře – však budeme i nadále reagovat pouze pasivně, zatímco útočníci se budou neustále zdokonalovat.
Jak brzy se podle vás mohou roje AI stát skutečným nástrojem ovlivňování nadcházejících voleb nebo politických událostí a jaké by byly první varovné signály?
Krátká odpověď zní, že nejde o riziko vzdálené budoucnosti – objevuje se už nyní. Základní ingredience už máme – vysoce schopné jazykové modely, automatizovanou infrastrukturu účtů a aktéry ovlivňující veřejné mínění, kteří jsou motivováni je používat a mají k tomu prostředky.
Co se mění, je úroveň koordinace. S vylepšováním multiagentních systémů se schopnost provozovat mnoho přesvědčivých osobností koordinovaným a adaptivním způsobem stává mnohem realističtější – a mnohem škálovatelnější.
Obava tedy nespočívá v tom, že se přes noc náhle objeví jedna dramatická „událost umělé inteligence“. Jde o to, že tyto schopnosti budou zaváděny postupně a mohou být už využívané v některých částech on-line diskusí, zejména v souvislosti s polarizujícími politickými událostmi, volbami a krizemi.
