ChatGPT lahko piše prepričljive povzetke znanstvenih člankov

Odkar je ChatGPT javno dostopen, se uporabniki čudijo nad najrazličnejšimi vlogami, ki jih je sposoben prevzeti, in nalogami, ki jim je kos. Mednje sodi tudi pisanje povzetkov (abstract) znanstvenih člankov, ki predstavljajo ključno vstopno točko v objavo in često določajo, ali bo nek članek pritegnil pozornost bralca. Pri tem je ChatGPT tako dober, da v številnih primerih znanstveniki ne morejo ugotoviti, ali je nek povzetek napisal človek ali ChatGPT. Raziskovalci z dveh chicaških univerz v (še nerecenziranem) rokopisu poročajo o raziskavi, kjer so ugotavljali, kako dobri so ti povzetki.

Rezultati so zaskrbljujoči, saj ChatGPT piše povzetke, ki so dovolj dobri, da znanstvenike često preslepijo. Za 50 medicinskih revij so poiskali primerne naslove, ki so bili že objavljeni, nato pa ChatGPT naročili, naj napiše povzetek članka glede na ta naslov. Te so potem primerjali z resničnimi povzetki na različne načine. Uporabili so detektor plagiatorstva, detektor pisanja z umetno inteligenco (GPT-2 Output Detector) in ljudi kot recenzente.

V večini primerov je GPT-2 Ouput Detector prepoznal, da je besedilo napisal stroj, ne pa v vseh. V vseh primerih so bili povzetki brez plagiatorstva, in sicer so dosegli celo boljši rezultati kot resnični človeški povzetki. Recenzenti pa so v 68 odstotkih ugotovili, kateri članki so umetni, medtem ko so človeške pravilno prepoznali v 86 odstotkih.

Rezultati so v bistvu še pomenljivejši, če jih postavimo v kontekst. Raziskovalci so namreč uporabili le naslov članka in ime revije, pa je ChatGPT v približno tretjini primerov ustvaril povzetke, ki bi pretentali ljudi. Če bi mu dali več informacij, denimo kratek opis članka in glavnih rezultatov, bi bil rezultat verjetno še precej boljši. In navsezadnje je to tudi ena izmed uporabnih vrednostnih ChatGPT. Gre namreč za orodje, podobno kot je orodje tudi podčrtovanje napačno zapisanih besed in samodejno urejanje referenc.

Ob tem pa ne smemo pozabiti, da je ChatGPT natreniran na obstoječih besedil. Znanstvenoraziskovalno delo pomeni tudi preizpraševanje obstoječega in odkrivanje novega. Tega ChatGPT ne more znati. Ponekod zato že sprejemajo ukrepe, s katerimi želijo zajeziti nebrzdano rabo ChatGPT. Konferenca Fortieth International Conference on Machine Learning, ki bo julija potekala na Havajih, je na primer prepovedala prijavo prispevkov, ki bi bili napisani s ChatGPT.