Nikkei Asia - V sedemnajstih znanstvenih rokopisih, ki so bili objavljeni na strani arXiv, kamor lahko raziskovalci arhivirajo rokopise pred formalno recenzijo in objavo v znanstvenih revijah, so odkrili nov način goljufanja. Rokopisi so imeli skrita navodila, ki so bila očitno namenjena umetni inteligenci. Med drugim je pisalo, da naj bo recenzija zgolj pozitivna in da naj članek priporočijo zavoljo vpliva, metod in novitete. Navodila so bila zapisana v mikroskopsko majhnem besedilu, v belem besedilu ali kako drugače skrita človeškemu bralcu, a zelo jasna za umetno inteligenco.

Zgodba je seveda bizarna iz več razlogov. Uporaba umetne inteligence pri recenziranju znanstvenih člankov, ki ga izvajajo drugi strokovnjaki s sorodnih področij, je načeloma prepovedana. Kljub temu nekateri strokovnjaki to počnejo, kar so sedaj želeli izkoristiti tudi avtorji znanstvenih objav. Večinoma je šlo za objave s področja računalniške znanosti. Ne gre za raziskovalce s kakšnih obskurnih univerz, temveč uglednih...

Slo-Tech - Proizvajalec orodja Turnitin, ki se uporablja za preverjanja avtentičnosti in izvirnosti pisnih del, torej za iskanje plagiatov, že leto dni ponuja tudi prepoznavanje z umetno inteligenco napisanih del. V tem času so pregledali 200 milijonov izdelkov in ugotovili, da jih ima kar desetina vsaj 20 odstotkov vsebine, ki je prepisana od umetne inteligence. Tri odstotke pa jih je v celoto - več kot 80-odstotno - napisala umetna inteligenca.

Preden začnemo biti plat zvona je treba poznati zanesljivosti meritve. Turnitin trdi, da ima njihov sistem manj kot en odstoten lažno pozitivnih. Neodvisnih podatkov o tem ni, a nekatere druge raziskave kažejo drugačno sliko. Lani so v en izmed njih odkrili, da je lažno pozitivnih kar 61 odstotkov primerov, ko so preiskovali esej na izpitu TOEFL, ki meri znanje angleščine za tuje govorce, ki jim ni materni jezik. Turnitin naj bi bil med bolj zanesljivimi orodji, a dejstvo ostaja, da so izdelki ljudi, ki jim je angleščina nematerni jezik, v povprečju...

Slo-Tech - Silovit razmah velikih jezikovnih modelov v tem letu daje napačen občutek, da so računalniki šele sedaj prvikrat res obvladali naravni človeški jezik. Resnično so čedalje boljši, a že pred sedmimi desetletji se je ELIZA pogovarjala z ljudmi. Enega prvih robotov za pogovore (chatbot) je na MIT-u razvil Joseph Weizenbaum. Najnovejši preizkus, ki sta ga izvedla raziskovalca z Univerze v San Diegu, kaže, da je ELIZA bolj človeška od GPT-3.5. Rokopis študije še ni recenziran.

Cameron Jones in Benjamin Bergen sta modele podvrgla Turingovemu testu. Gre za znameniti preizkus, ki si ga je Alan Turing zamislil leta 1950 v članku The Imitation Game. Turingov test je eden najbolj znanih poizkusov, s katerim lahko ugotavljamo, ali se umetna inteligenca lahko uspešno predstavi kot človek. V testu sodelujeta človek in umetna inteligenca, ki z izpraševalcem komunicirata prek računalnika. Izpraševalec ju lahko sprašuje karkoli, nato pa mora iz odgovorov ugotoviti, ali je na drugi strani človek ali...

Slo-Tech - Odkar je ChatGPT javno dostopen, se uporabniki čudijo nad najrazličnejšimi vlogami, ki jih je sposoben prevzeti, in nalogami, ki jim je kos. Mednje sodi tudi pisanje povzetkov (abstract) znanstvenih člankov, ki predstavljajo ključno vstopno točko v objavo in često določajo, ali bo nek članek pritegnil pozornost bralca. Pri tem je ChatGPT tako dober, da v številnih primerih znanstveniki ne morejo ugotoviti, ali je nek povzetek napisal človek ali ChatGPT. Raziskovalci z dveh chicaških univerz v (še nerecenziranem) rokopisu poročajo o raziskavi, kjer so ugotavljali, kako dobri so ti povzetki.

Rezultati so zaskrbljujoči, saj ChatGPT piše povzetke, ki so dovolj dobri, da znanstvenike često preslepijo. Za 50 medicinskih revij so poiskali primerne naslove, ki so bili že objavljeni, nato pa ChatGPT naročili, naj napiše povzetek članka glede na ta naslov. Te so potem primerjali z resničnimi povzetki na različne načine. Uporabili so detektor plagiatorstva, detektor pisanja z umetno...

Slo-Tech - Umetna inteligenca se v raziskavah približuje medicini in psihologiji, kar je precej slabše, kot se sliši. V zadnjem času ima znanost čedalje večji problem s ponovljivostjo rezultatov, medicina in psihologija pa pri tem prednjačita.

Pričakovali bi, da so rezultati znanstvenih raziskav v specializiranih revijah tako natančno popisani, da jih lahko kadarkoli ponovimo in pridemo do istih zaključkov. Žal je resnica bistveno drugačna. Na vsakem področju se najdejo raziskave, ki jih ni mogoče ponoviti; na nekaterih področjih pa jih je nadpovprečno veliko. Pri tem ne gre nujno za ponarejanje, goljufanje ali namerno izbiranje pozitivnih rezultatov, temveč pogosto za površno izvedbo, nepopoln opis, slabo dokumentacijo itd. Problema se zavedajo tako...

XvsXP - Večkrat smo že pisali o tegobah znanstvenega sveta, ki mu vladajo popolnoma isti vzgibi kakor v ostalih sferah življenja. Znanstvena odličnost še zdaleč ni edini in mnogokrat niti najpomembnejši faktor, ampak se tu skriva še cel kup drugih. Po zadnji kritiki kakovosti in recenzije člankov, se bomo danes spet obregnili ob založnike in avtorske pravice znanstvenikov.

O založbi Elsevier, ki ima pod svojim okriljem kopico uglednih znanstvenih revij, je bilo prelitega že mnogo črnila, tudi bojkot je bil način upora. Če smo pošteni, Elsevier ni edini založniški orangutan, le eden največjih in najbogatejših je...