Nástroje umělé inteligence (AI) používané v medicíně mohou vést k horším výsledkům u žen a etnických menšin. Ve své analýze to uvedl deník Financial Times (FT). Upozornil na studie amerických a britských univerzit, které ukazují, že takzvané velké jazykové modely (LLM) často podceňují příznaky pacientek a projevují méně empatie vůči černošským a asiatským pacientům. Kopírují tak už existující předsudky.
„Někteří pacienti mohou dostávat výrazně méně podpůrné rady jen na základě toho, jak model vnímá jejich rasu,“ uvedla Marzyeh Ghassemiová z Massachusettského technologického institutu (MIT).
Rozšířené používání AI v nemocnicích a lékařských ordinacích má sice ulevit přetíženým zdravotním systémům, ale výzkum vědců z MIT a studie expertů z London School of Economics varují, že technologie posilují už existující vzorce nedostatečné péče o některé sociální skupiny.
AI podceňují problémy žen
Například modely GPT-4 od OpenAI, Llama 3 od firmy Meta nebo Palmyra-Med od společnosti Writer podle výše uvedených studií doporučovaly ženám méně intenzivní léčbu a někdy dokonce jenom domácí samoléčbu. Podobně Google Gemma, používaný britskými sociálními službami, podceňoval problémy žen ve srovnání s muži.
Tyto výzkumy také ukázaly, že pacienti s horší jazykovou vybaveností nebo spíše neformálním vyjadřováním měli o sedm až devět procent vyšší pravděpodobnost, že jim AI poradí nevyhledávat lékařskou pomoc. Znevýhodněni v anglosaských zemích tak mohou být lidé, pro něž není angličtina mateřským jazykem nebo kteří nejsou zvyklí komunikovat digitálně.
Firmy jako OpenAI či Google podle FT tvrdí, že problematiku berou vážně a investují do odstraňování předsudků. OpenAI uvedla, že řada studií hodnotila starší verzi GPT-4 a že se mezitím zvýšila přesnost modelu. Google zase oznámil, že vyvíjí techniky na očištění dat od předsudků a ochranu před diskriminací. Experti doporučují trénovat modely na vyváženějších a reprezentativnějších zdravotních datech, nikoli na obecných internetových zdrojích.
Vše je ukryté v datech
Britské univerzity vytvořily ve spolupráci se státním zdravotním systémem NHS model Foresight, který je trénovaný na anonymizovaných datech 57 milionů pacientů. Cílem je předvídat rizika hospitalizací nebo srdečních onemocnění. Projekt ale pozastavila britská dozorová instituce kvůli stížnostem na ochranu dat.
Nebezpečné zkreslení může pramenit zejména z povahy tréninkových dat. Pokud existují skupiny, o nichž mají zdravotní systémy méně informací, například proto, že třeba z finančních nebo jiných důvodů je pro ně hůře dostupná, pak je jasné, že umělé inteligence budou s takovými údaji pracovat hůř.
Další nedostatky vyplývají přímo z povahy současných umělých inteligencí, zejména z takzvaných halucinací, kdy modely generují nepravdivé nebo zavádějící informace, aby dostály zadání.
Microsoft nedávno oznámil, že jeho nový nástroj založený na AI překonává lidské lékaře v diagnóze složitých případů. Systém Microsoft AI Diagnostic Orchestrator správně identifikoval 85,5 procenta komplikovaných případů popsaných v časopise New England Journal of Medicine (NEJM), zatímco lidským lékařům se to bez konzultací s literaturou nebo kolegy podařilo jen zhruba v pětině případů.
Odborníci ale podle FT upozorňují, že technologie není připravena pro nasazení v klinické praxi a výsledky dosud neprošly recenzním řízením.
