Dva američtí vědci se pokusili upozornit na nedostatky v systému hodnocení vědy. Ten nedokázal odhalit, že mezi úspěšnými a citovanými matematiky se ocitl mourovatý kocour.
Mezi skvěle citované matematiky se dostal Larry Richardson, mourovatý kocour
Larrymu Richardsonovi vyšla spousta vědeckých studií, které získaly víc než 130 citací. Věnovaly se hlavně komplexní algebře. Jenže celý jeho profil byl kompletně vymyšlený, jeho práce nesmyslná a Larry není člověk, nýbrž mourovatý kocour s výrazně zelenýma očima.
Jeho majitel, postgraduální student Reese Richardson, se z mazlíčka rozhodl udělat vědeckou celebritu. Využil k tomu on-line službu, kterou našel náhodou na internetu. Dostat kocoura mezi citované matematiky mu trvalo jen dva týdny. Nedokázal to ale sám, spojil se pro to s Nickem Wisem z Cambridge, který se zabývá vědeckými podvody.
Současná věda pracuje s citačními indexy. Tím nejpoužívanějším je h-index neboli Hirschův index. Má-li v něm vědec dosáhnout například h = 4, musí být autorem čtyř článků, jež mají počet citací právě čtyři a více. Toto hodnocení sice není všechno, ale důležité je. Otevírá dveře při hledání lepšího zaměstnání a usnadňuje šplhání po akademickém žebříčku. A protože je tak důležité, rádi ho zneužívají řady podvodníků, kteří se naučili tento systém obelstít.
Mrtví matematici, smazané práce a nejcitovanější kočka
Vědce vedla k experimentu s kocourem Larrym reklama, kterou jim nabídl Facebook. Ta slibovala zvýšení h-indexu, a to velmi levně, asi deset dolarů za jednu citaci. Oba mladí muži se pokusili systém zmapovat a rozkrýt.
„Ukázalo se, že citace často patřily článkům plným nesmyslných textů, jejichž autory byli dávno mrtví matematici, například Pythagoras. Studie byly nahrány jako PDF na akademickou sociální platformu ResearchGate a následně smazány, čímž byla zastřena jejich podstata,“ popisuje článek v odborném časopise Science. Když zjistili, jak snadné by to mělo být, rozhodli se to sami vyzkoušet.
Jako metu si stanovili porazit až doposud nejcitovanější vědeckou kočku světa. Tou je F.D.C. Willard, kocour teoretického fyzika Jacka Hetheringtona, jenž svého siamského mazlíčka uvedl v jedné ze svých studií jako spolutvůrce, aby práce měla více autorů a on mohl používat „autorský plurál“. Práce byla natolik úspěšná, že F.D.C. Willard získal celkem 107 citací.
Porazit ho pomoci moderních podvodů bylo až příliš snadné. Autorské dvojici trvalo jen hodinu, než vytvořila dvanáct falešných studií o matematice, které nedávaly žádný smysl, tvořila je jen nesmyslná slovní a číselná spojení. Dalších dvanáct falešných prací pak původní dvanáctku citovalo.
To všechno dva výzkumníci nahráli na server ResearchGate a obratem zase smazali, aby se nedalo dohledat, že byly „studie“ podvod. Když si Google výsledky načetl, vyšel mu celkový počet citací 144 a h-index 12. Nástroj, který vědecké studie mapuje, tedy Google Scholar, neodhalil ani jedinou podvodnou studii, spočítal celkové skóre na 132 citací, což bez problémů překonalo výsledek padlého šampiona F.D.C. Willarda.
Naštěstí ne navždy.
Obrat k lepšímu
Redaktoři žurnálu Science se na společnost ResearchGate obrátili s tím, jestli tento podvod považuje za slučitelný s kvalitním hodnocením výzkumu. Její ředitel reagoval poděkováním a omluvou – experti z jeho firmy neměli tušení, že když se falešná studie odstraní, nemá to na výsledný h-index žádný dopad.
„Oceňujeme, že nám Science tuto konkrétní situaci nahlásila, a tuto zprávu využijeme k přezkoumání a případné úpravě našich procesů,“ slíbil – a současně oznámil, že vyvinou nové nástroje, které by mohly zabránit tomu, aby se tyto podvody mohly opakovat.
Není to poprvé a zřejmě ani naposledy, kdy se někomu podařilo podvodem dostat na Google Scholar nepravdivé a nesmyslné výsledky. Už roku 2010 si Cyril Labbé vymyslel neexistujícího vědce Ikeho Antkareho, a tak dlouho pod jeho jménem vydával falešný obsah, až z něj udělal šestého nejcitovanějšího počítačového vědce.
Google Scholar slouží nejčastěji jako rychlé první prověření vědce, ať už pro instituce nebo například pro novináře, když je zapotřebí zjistit, zda se nějakému tématu věnují a jak dobří v něm jsou. Pro detailní informace se vědci a instituce vydávají na jiné odborné weby, primárně Web of Science od společnosti Clarivate.
