Neponovljivi znanstveni članki večkrat citirani od ponovljivih

Vse od prelomnega članka Why Most Published Research Findings Are False, ki ga je John Ioannidis objavil pred šestnajstimi leti, se zavedamo krize ponovljivosti (replication crisis). Zlasti v medicini, ekonomiji in družboslovnih znanostih je rezultate iz tudi polovice člankov nemogoče ponoviti, kar pod vprašaj postavlja njihove ugotovitve. Razlogov je več, pametnih rešitev pa še ni. V psihologiji je ponovljiva le zgolj dobra tretjina raziskav, v ekonomiji in družboslovju pa dobra polovica.

Vir težav je tekmovalnost trenutnega sistema v znanosti, kjer je preživetje in napredovanje znanstvenikov odvisno skoraj izključno od števila objav in njihove odmevnosti, torej citiranosti. Ta isti problem imajo tudi uredniki revij, ki zato preferirajo članke z izjemnimi, prelomnimi odkritji. Žal iz zgodovine vemo, da so poročila o izjemnih odkritjih večkrat neresnična od bolj umirjenih in pričakovanih odkritij. Vse to vpliva na to, kaj se objavlja, in skoraj brez izjeme se objavljalo zgolj pozitivni izsledki (objavljenih ne-rezultatov je zelo malo).

Zadnja raziskava v Science pa dodatno kaže, da so članki, ki jih ni moč ponoviti, v povprečju bolj citirani od korektnih. Preiskovali so objavljene članke v najpomembnejših znanstvenih revijah na področju psihologije, ekonomije in v revijah za širši krog bralstva. Rezultati potrjujejo težave, ki jih imajo objave zaradi pritiskov po citiranosti in vplivnosti. V povprečju so neponovljivi rezultati citirani pogosteje - 153 citatov več imajo - od preostalih. Neponovljivi družboslovni članki v Science in Nature imajo celo 300 citatov več.

To pa predstavlja problem, poudarja Brian Nosek, ki na univerzi v Virginiji vodi projekt Open Science Collaboration. Predpostavljamo, da ima znanost vgrajen mehanizem za popravljanje zmot in zablod, ki se seveda dogajajo. A če se neresnične ugotovitve citirajo več od resničnih, to kaže, da morda ta mehanizem ne deluje pravilno. V pričujoči raziskavi se raziskovalci niso opredeljevali do vzrokov, zakaj študije niso ponovljive. Sploh ni nujno, da gre za zlonamerna dejanja, saj so lahko vzroki zelo različni - od statistike (p vrednost 0,05 pomeni, da bo 5 % odstotkov raziskav videlo efekt, kjer ga ni!), do izbiranja podatkov (cherrypicking), slabo zastavljenih poizkusov (bias) in še kaj bolj problematičnega.