Večina ekonomskih člankov neponovljiva

Temelj znanstvenih raziskav je ponovljivost, najsi gre za zmožnost ponovitve in rezultatov poizkusa ali pa vsaj rezultatov iz zbranih surovih podatkov z isto metodologijo, kadar poizkusa ni mogoče ponoviti. Znanost ima svoje probleme, ki so po navadi posledica malomarnosti ali cel namernega ravnanja avtorjev. Narašča število umaknjenih člankov, ker so v njih neresnični podatki ali popolne neumnosti. Velike ponareditve odmevnih rezultatov so sorazmerno redke in imajo resne posledice, pri vseh teh nepravilnosti pa gre za manjši del člankov - velika večina je še vedno povsem resničnih in ponovljivih.

To pot je ponovno pod drobnogledom ekonomija, ki nam je dala eno najbolj razvpitih afer, ko sta Carmen Reinhart in Kenneth Rogoff v znamenitem članku dokazovala, da se gospodarska rast držav hitro upočasni, ko dolg preseže 90 odstotkov bruto družbenega proizvoda. Sliši se logično, a iz podatkov ta izsledek ne drži, saj sta v članku storila nekaj napak. Najnovejši članek Andrewa Changa in Phillipa Lija, ki sta zaposlena v ameriški centralni banki, pa povzroča dodatne preglavice kar celotni znanstveni disciplini. Ugotovila sta, da večina člankov iz ekonomije ni ponovljiva, zato so izsledki pod vprašajem.

Chang in Li sta pregledala 67 člankov v 13 uglednih revijah in ugotovila, da je bilo mogoče iz podatkov in metodologije v člankih reproducirati le tretjino rezultatov. Res je, včasih so znanstveniki pri objavljanju malo površni in hote ali nehote kakšnega metodološkega detajla ne objavijo. Ni lepo, a se dogaja. Chang in Li sta zato kontaktirala avtorje člankov in z njihovo pomočjo poizkušala dobiti enake rezultate iz istih podatkov. Še vedno je to uspelo le za slabo polovico člankov. Od tod sta, nekoliko pompozno, zaključila, da je večina ekonomskih raziskav neponovljivih in zato neuporabnih.

Ne bi bilo pravično, da bi se osredotočili le na ekonomijo. Podobne težave imajo tudi druge družboslovne vede, zlasti psihologija, pa tudi medicinske raziskave raka niso nič boljše. Že pred desetletjem je John Ioannidis utemeljeval, kako je večina objavljenih raziskav nujno neresničnih.

Situacija je zapletena, pri čemer vse krivde ne nosijo avtorji. Ločiti je namreč treba dvoje različnih težav, ki imata sicer enak rezultat. Če izsledki iz surovih podatkov z znano metodologijo niso ponovljivi, je z raziskavo nekaj narobe, avtorje pa lahko upravičeno za ušesa. To je problem opisanih ekonomskih člankov. Po drugi strani pa je svet velik in zapleten, zato številne raziskave kljub znanstveni rigoroznosti ne odslikavajo realnosti, ker je parametrov in spremenljivk preprosto več. Svet pač niso samo atomi vodika, pa še ti nam povzročajo preglavice pri opisu.

Z ekonomijo pa so stave večje kot drugod. Makroekonomske odločitve centralnih bank ter poteze vlad in zakonodajalca, ki vplivajo na življenje slehernika, imajo često zaslombo prav v ekonomski teoriji. Zato je hudo neprijetno, ko se izkaže, da ekonomske resnice niso tako zelo absolutne, kot bi ekonomisti želeli.