"Kdor uporablja faktor vpliva, je statistično nepismen"

Veste, kako se ocenjuje ali bolje rečeno poizkuša oceniti kakovost znanstvenoraziskovalnega dela? Vrhunska znanost občasno zaide v poljudne revije in zelo redko celo v dnevno časopisje, a ogromen delež dela in raziskav je objavljen v znanstvenih revijah, kjer jih berejo le strokovnjaki z danega in sorodnih področij. Obstoji pa še druga pomembna skupina ljudi, ki bi morala biti še posebej seznanjena z rezultati znanstvenoraziskovalnega dela in njegovo kakovostjo, a običajno nima časa brati člankov - tej skupini ljudi pravimo financerji in pri nas obsega v glavnem ARRS.

Najbolj osovražena beseda med znanstveniki je faktor vpliva (IF, impact factor). Leta 1955 ga je prvikrat omenil in predlagal Eugene Garfield, ko so potrebovali objektivno merilo za razvrščajo kakovosti znanstvenih revij. IF se izračuna kot kvocient med številom citatov člankov iz neke revije, ki so bili objavljeni v vseh revijah, in številom vseh člankov, ki so bili objavljeni v tej reviji. Podatki se vsakokrat vzamejo za pretekli polni dve leti. Poenostavljeno povedano je faktor vpliva povprečno število člankov, ki bodo v naslednjih dveh letih citirali posamezen članek iz revije. Zamisel je preprosta in razumljiva: več kot je odmevnih člankov v neki reviji, kakovostnejša je. Žal se je ta indeks izrodil.

Nekdo je nekoč dobil ne tako genialno zamisel, da bi lahko isti indeks uporabili kot merilo za kakovost posameznega članka. Danes se bolj kakor odmevnost članka gleda, kje je bil objavljen. Kdor objavlja v revijah z visokim faktorjem vpliva, velja za odličnega znanstvenika, in obratno. Problem je, da od tega najbolje živijo založniki, znanstveniki pa postajajo podobni treniranim opicam. Zanka se sama krepi (positive feedback), saj vsi znanstveniki poizkušajo objavljati v reviji z visokim IF in od tam citirati, kar samo še dviguje njen IF. Založniki to izkoriščajo in navijajo cene revij v višave, kar je sprožilo upor proti najbolj povampirjenem izdajatelju Elsevier in zahteve nekaterih univerz, da se morajo javno financirane raziskave objavljati javno (Harvard, Velika Britanija).

A faktor vpliva trmasto vztraja in hromi raziskovalno delo. Financerji in habilitacijske komisije (zlasti v manjših državah, kamor po nekem naključju sodi tudi Slovenija) nenavadno ljubijo točkovanje raziskovalnega dela, kjer je ena glavnih metrik prav IF revij, kjer znanstveniki objavljajo. Kritična ocena kakovosti, ki bi jo podali drugi mednarodni priznani in po možnosti tuji znanstveniki s tega področja izostane, saj je lažje premetavati številke in indekse. Če bi bil IF dejansko verna odslikava kakovosti, to ne bi bil problem, a v resnici IF to sploh ni. Že dvajset let je znano, da je povprečna ocena neprimerna za IF, ker razporeditev ni naravna. Več kot polovico vseh citatov prispeva 15 odstotkov najboljših člankov, medtem ko je ostalih 85 odstotkov člankov podpovprečno citiranih - torej tudi podpovprečno kakovostnih? Neumnost je tudi dvoletno okno za izračun, saj ponekod večina citatov prileti v prvih letih (npr. Nature), drugod pa več let pozneje (npr. v Ecology 7-8 let). Tudi način pisanja člankov je različen, tako da je primerjava IF med različnimi vedami nepravična. Dokazano je bilo celo, da je v revijah z visokim IF nesorazmerno več umikov člankov kakor drugod.

Da je IF krivičen, zavajajoč in statistično nepravilen, opozarjajo že več let. Nihče ne pravi, da kakovost raziskovalnega dela ne bi smela biti pogoj za financiranje in dodeljevanje stolic; to je nujno. A kakovosti dela ni mogoče enačiti s faktorjem vpliva revij, kjer je objavljeno. Stephen Curry je v svojem zadnjem blogu šel celo tako daleč, da je vse ljudi, ki IF uporabljajo in navajajo, označil kot statistično nepismene. Rešitev bo treba šele poiskati, a IF to zagotovo ni. Trenutno namreč zasebni indeks podjetja Thomson Reuters skupaj z uredniki revij, ki v veliki meri prejete rokopise zgolj posredujejo recenzentom (katere mora vsak avtor itak sam predlagati!), slednji pa jih brezplačno pregledajo (peer-review), določa milijardna financiranja znanosti po svetu in vzpone in padce raziskovalnih karier. In to je bolno.