Uporaba LLM za pisanje esejev negativno vpliva na aktivnost možganov

Raziskovalca z MIT-a so preverjali, kako uporaba velikih jezikovnih modelov (LLM) vpliva na aktivnost možganov med pisanjem besedil. Preiskovance so razvrstili v tri skupine, in sicer z uporabo LLM za pisanje, uporabo klasičnih spletnih iskalnikov in brez uporabe LLM. Rezultati so pričakovani: uporaba LLM negativno vpliva na kognitivne sposobnosti, o čemer so pripravili rokopis na arXiv, ki obsega dobrih dvesto strani! Rokopis še ni recenziran.

V študiji so preiskovali 54 posameznikov, ki so jih razporedili v omenjene tri skupine. Nato so jih zamenjali, in sicer so uporabniki LLM morali začeti pisati sami, medtem ko so ljudje brez LLM te v nadaljevanju dobili na razpolago. Med poizkusom so merili možgansko aktivnost z EEG, ocenjevali kakovost esejev, analizirali eseje in na koncu še intervjuvali udeležence o njihovih občutkih.

Rezultati niso presenetili. Udeleženci, ki so uporabljali LLM, so se manj poistovetili s svojimi izdelki, niso jih občutili kot zares svoje, niso znali citirati svojih besed. Obratno je bilo s posamezniki, ki so pisali sami. Ti so bili resnično avtorji izdelkov v polnem pomenu besede. Raziskava je potekala štiri mesece in po tem času so se že kazale nekatere posledice. Skupine z LLM je beležila upad bogatosti besedišča, nižje rezultati na kognitivnih testih in manj možganske aktivnosti.

A posledice niso bile le na udeležencih, tudi njihovih izdelki so bili bolj prazni, če so uporabljali LLM. Učitelji angleščine so te eseje ocenili kot brezdušne. Zanimivo je, da uporabniki klasičnih iskalnikov niso posebej izstopali, temveč so beležili podobne rezultate kot uporabniki brez pomoči.

Rokopis je pripravljen z mislijo na LLM. V njem je nekaj pasti, denimo navodilo, naj umetna inteligenca bere le do določene točke. Prav tako številni strojni povzetki dodajajo podatke, ki jih v rokopisu ni, denimo verzijo LLM.