Většina chatbotů nedokáže shrnout vědecké studie, aniž by zkreslovala výsledky. Nejčastěji přehání a jen těžko se jí toto chování dá vymluvit. Problém je podle autorů nové studie složitější, než se zdá. Zejména proto, že čím novější verze AI, tím hůř si vedly. A navíc, když se vědci pokoušeli ovlivňovat chatboty k větší přesnosti, dosáhli tím pravého opaku.
Podle studie mezinárodního vědeckého týmu Uweho Peterse poskytují velké jazykové modely, jako je například ChatGPT a DeepSeek, při shrnutí vědeckých studií nepřesné závěry až v 73 procentech případů.
Studie hodnotila, jak přesně deset předních velkých jazykových modelů – včetně ChatGPT, DeepSeek, Claude a LLaMA – shrnuje abstrakty a plné texty článků z nejlepších vědeckých a lékařských časopisů, jako jsou například Nature, Science a The Lancet. Vědci testovali tyto AI po dobu jednoho roku a shromáždili celkem 4900 souhrnů vytvořených pomocí modelů, které se běžně označují za umělou inteligenci (AI).
Bulvární a neoblomné
Šest z deseti modelů systematicky zveličovalo tvrzení obsažená v původních textech. Podle autorů často nenápadným, ale o to působivějším způsobem: například měnilo opatrná tvrzení v minulém čase na rozsáhlejší verzi v přítomném čase. Kupříkladu poznámku „léčba byla v této studii účinná“ si AI vyložila jako „léčba je účinná“. Tyto změny mohou čtenáře uvést v omyl, že zjištění platí mnohem šířeji, než je tomu ve skutečnosti.
Podobné chování je často spojené s bulvárním tiskem, který výsledky výzkumů přehání, ale mnohdy se mu nevyhne ani seriózní komunikace vědy v mainstreamových médiích. Vědci mají se zjednodušujícími vyjádřeními dlouhodobě problém. Zveličování nemusí být u novinářů snahou šokovat nebo přehánět, někdy jde o vedlejší produkt snahy předat složitou informaci laické veřejnosti v co možná nejpochopitelnější formě.
Pozoruhodné podle autorů studie je, že vědci nebyli schopní přimět jazykové modely k tomu, aby své postoje korigovaly. Když chatboty výslovně vyzvali, aby se vyhnuly výše popsaným nepřesnostem, nastal pravý opak: modely vytvářely příliš zobecněné závěry dvakrát častěji, než když dostaly jednoduchou žádost o shrnutí.
„Tento efekt je znepokojivý,“ řekl Peters. „Studenti, vědci i politici se mohou domnívat, že pokud požádají ChatGPT, aby se vyhnul nepřesnostem, získají spolehlivější shrnutí. Naše výsledky ale dokazují opak,“ dodal autor výzkumu.
Čím novější, tím horší
Studie také přímo porovnala shrnutí stejných článků generované chatbotem a napsané člověkem. Chatboti téměř pětkrát častěji než jejich lidské protějšky vytvářeli rozsáhlá zobecnění. „Znepokojující také je,“ řekl Peters, „že novější modely umělé inteligence, jako ChatGPT-4o a DeepSeek, si vedly hůře než starší modely.“
Jedním z možných vysvětlení je, že se AI modely učí na nevhodných datech. Tedy právě například na přehánění bulvárního nebo nekvalitního popularizačního tisku, který má potenciál značného šíření na internetu a snadno se tak dostane i do tréninkových dat AI.
Nejpřesnější byl mezi testovanými modely Claude. Pro lepší výsledky autoři práce doporučují také nastavit chatbotům nižší „teplotu“, což je parametr určující kreativitu.
„Pokud chceme, aby umělá inteligence podporovala vědeckou gramotnost, a ne ji podkopávala,“ dodal Peters, „potřebujeme větší ostražitost a testování těchto systémů v kontextu vědecké komunikace.“
