Slo-Tech - Eno izmed meril za ocenjevanje raziskovalcev in znanstvenikov je citiranost njihovih del, kar v zadnjih letih zaradi inflacije citatov postaja čedalje manj uporaben kazalnik. Pretirano samocitiranje in navzkrižno citiranje sta že vrsto let znana načina za umetno napihovanje citiranosti posameznika, sedaj pa imamo neizpodbitne dokaze, da je citate možno preprosto kupiti.

Raziskovalci z newyorške univerze so pod drobnogled vzeli orodje Google Scholar, ki je zaradi brezplačnosti in odprtosti med najbolj priljubljenimi za spremljanje akademske produkcije avtorjev. Podatke z Google Scholarja za ocenjevanje uporabljajo tako financerji raziskovalnih projektov kakor delodajalci.

Analiza 1,6 milijona profilov je pokazala, da so prevare povsem možne. Doslej so bili glavni načini za napihovanje citiranosti: samocitati, navzkrižno citiranje (citation cartels) in prisilno citiranje (denimo nadrejenih ali recenzentov). Določen teh tovrstnih citatov je zdrav in potreben, zato je toliko teže...

Slo-Tech - Naslov je namenoma provokativen. Včeraj je Clarivate objavil težko pričakovano preglednico na dobrih dvesto straneh, kjer so izračunani faktorji vpliva za 21.500 znanstvenih revij na dobrih 250 področjih in vedah. Letošnji seznam je še daljši kot običajno, ker so vključili vse revije iz zbirke Web of Science Core Collection. Za razliko od prejšnjih let so faktorji vpliva izračunani na eno decimalno mesto in ne več na tri.

Na tem seznamu je revija CA: A Cancer Journal for Clinicans na prvem mestu s faktorjem vpliva 254,7. Sledijo ji Lancet s 168,9, New England Journal of Medicine s 158,5 in Journal of the American Medical Association s 120,7. Prva splošna revija je šele na 18. mestu, in sicer je to prestižni Nature s 64,8. Te številke jasno povedo, da imajo revije s področja medicine najvišje faktorje vpliva. Niso najboljše, temveč je to specifika področja.

Faktorji vpliva se izračunajo tako, da se število citiranih člankov iz revije v minulih dveh letih (2020, 2021) deli s...

Slo-Tech - Vse od prelomnega članka Why Most Published Research Findings Are False, ki ga je John Ioannidis objavil pred šestnajstimi leti, se zavedamo krize ponovljivosti (replication crisis). Zlasti v medicini, ekonomiji in družboslovnih znanostih je rezultate iz tudi polovice člankov nemogoče ponoviti, kar pod vprašaj postavlja njihove ugotovitve. Razlogov je več, pametnih rešitev pa še ni. V psihologiji je ponovljiva le zgolj dobra tretjina raziskav, v ekonomiji in družboslovju pa dobra polovica.

Vir težav je tekmovalnost trenutnega sistema v znanosti, kjer je preživetje in napredovanje znanstvenikov odvisno skoraj izključno od števila objav in njihove odmevnosti, torej citiranosti. Ta isti problem imajo tudi uredniki revij, ki zato preferirajo članke z izjemnimi, prelomnimi odkritji. Žal iz zgodovine vemo, da so poročila o izjemnih odkritjih večkrat neresnična od bolj umirjenih in pričakovanih odkritij. Vse to vpliva na to, kaj se objavlja, in skoraj brez izjeme se objavljalo zgolj...

Slo-Tech - Dobršen del (zlasti naravoslovne) znanstvene srenje se te dni ukvarja s poročilom JCR, v katerem so zbrani najnovejši faktorji vpliva za znanstvene revije in je za leto 2019 izšlo pred nekaj dnevi. Ti so merilo za povprečno število citatov, ki jih je v minulem letu prejel v minulih dveh letih objavljen članek. Faktor vpliva, ki bi moral biti zgolj eno orodje za približno primerjavo revij s sorodnih področij, je postal v znanosti eno najpomembnejših meril kakovosti objavljenih člankov (čeprav sploh ni namenjen temu). V zadnjih letih pa opažamo, da faktorji vpliva rastejo. Ali drugače povedano: članki se v povprečju bolje citirajo, torej ima tudi vsak članek več referenc. Raziskovalci iz Češke, Avstralije in Kolumbije so se vprašali, zakaj.

Eden izmed razlogov je gotovo več publiciranja, saj število člankov eksponentno narašča. To je svojevrsten problem, saj je čedalje teže ostajati na tekočem z novostmi, prav tako pa inflacija števila člankov erodira njihovo kakovost - kvantiteta...

Slo-Tech - Sundarapandian Vaidyanathan je v svetu znanosti sorazmerno neznano ime. Poučuje na raziskovalnem inštitutu Vel Tech v Chennaiju, kjer se ukvarja s teorijo kaosa in nelinearno dinamiko. Za njegova dela ni slišal skoraj nihče, zato je pogled v njegovo bibliografijo presenetljiv. Ima več kot 18.000 citatov in Hirschev indeks 88, kar sta številki, ki ju bodo takoj razumeli vsi raziskovalci in znanstveniki. Za laike: po bibliometričnih kazalnikih je Vaidyanathan znanstveni velikan, ki se lahko postavi ob bok nobelovcem.

Vaidyanathan...

Slo-Tech - Eden izmed najpomembnejših kazalnikov raziskovalne uspešnosti je citiranost člankov, s čimer se dokazuje odmevnost in relevantnost dela. To, sicer objektivno in pravičnejšo metriko od faktorja vpliva, ki pa je zelo odvisna od raziskovalnega področja, vodstva raziskovalnih inštitucij in financerji prepogosto kujejo v zvezde kot edino zveličavno. Čim večkrat se nek članek citira, tem bolj odmevno je delo njegovega avtorja in tem boljše je, pogosto slišimo. Tisočkrat citiran članek je zelo verjetno opis metode ali programske opreme. Stokrat citirani članek je verjetno pomembno...

Nature - V znanosti je lepo, če rešite velik problem ali odgovorite na pomembno vprašanje, recimo odkrijete teorijo relativnosti ali pojasnite obliko molekule DNK. Toda v današnjem času hiperprodukcije člankov in pomanjkanja raziskovalnih mest ter denarja za financiranje je še lepše, če napišete čim več člankov, ki naberejo čim več citatov.

Nihče sicer neposredno ne trdi, da je članek z več citati boljši od tistega z manj, a število citatov ostaja srž večine...

Slo-Tech - Pred poldrugim mesecem so japonski znanstveniki na Centru za razvojno biologijo RIKEN objavili revolucionarno odkritje, kako lahko iz odraslih mišjih celic pripravijo matične celice. O izjemnem odkritju so pisali vsi mediji, saj je kazalo, da lahko matične celice dobimo z neverjetno enostavno metodo, in sicer z izpostavitvijo celic zmerno kisli raztopini (s pH 5,7) za pol ure, s fizičnim stiskanjem celic ali z uporabo bakterijskega toksina. Zlasti prva možnost se je zdela predobra, da bi bila resnična. Žal se zdi čedalje verjetneje, da navedbe ne držijo.

Raziskave matičnih celic so vroča tema, kjer je ponovljivost poizkusov problematična. Nekaj izmed tako imenovanih kanonskih člankov, ki so najširše citirani, raziskovalci v neodvisnih laboratorijih niso bili sposobno ponoviti. Na seznamu desetih največkrat citiranih člankov s...

Nature - Na teh straneh smo že večkrat pisali o spornem ravnanju, ki ga zasledimo v akademskih vodah in sega od še najbolj nedolžnega nepotrebnega citiranja (da bi si zvišali možnost objave članka) do hudih finančnih prevar pa vse do absurdnih objav nesmiselnih člankov. Cyril Labbé z Univerze Joseph Fourier v Grenoblu je sestavil računalniški algoritem za odkrivanje nesmiselnih računalniško generiranih člankov, ga pognal skozi povzetke s konferenc (proceedings) iz let 2008-2013 in našel 120 popolnoma nesmiselnih člankov. Ti niso bili objavljeni v kakšnih obskurnih revijah, ampak večinoma pod okriljem IEEE, manjši del pa v Springerjevih publikacijah.

Kot je znano, sestaviti nesmiseln znanstveni članek ni posebno težko, še zlasti od leta 2005, ko so na MIT-u pripravili SCIgen. Gre za orodje, ki...

Slo-Tech - Večkrat smo že pisali o tegobah znanstvenikov in raziskovalcev, ki se morajo soočati s kruto realnostjo publish or perish (objavljaj ali pogini), ki je še posebej kričeča prav v državah, kot je Slovenija. ARRS namreč kot najbolj zveličavni kriterij za znanstveno odličnost postavlja število točk, kjer največ šteje število objavljenih člankov in citatov, ki jih ti dosežejo. O tem več v nadaljevanju, sedaj pa poglejmo eksperiment, ki ga je za Science opravil harvardski biolog John Bohannon.

Veliki založniki znanstvenih revij so velik problem, saj naročnine na svoje revije drago zaračunavajo, univerze in inštituti pa so jih skoraj primorani kupiti, saj največ štejejo prav objave v teh revijah z visokim faktorjem vpliva. In ko imaš enkrat visok faktor vpliva, ki se računa kot povprečno število citatov članka iz revije v vseh revijah na svetu, bodo najboljša dela...

Slo-Tech - Afera, ki je nedavno izbruhnila zaradi ugotovljenih manipulacij faktorja vpliva nekaterih znanstvenih revij, je priložnost za osvetlitev tega problema in vnovičen razmislek. Faktor vpliva se izračunava za vsako resno znanstveno revijo, kar počne Thomson Reuters. Izračuna se tako, da se v začetku leta i+1 pogleda, koliko člankov iz leta i je citiralo v tej reviji objavljene članke v letih i-2 in i-1. O smiselnosti tega početja je bilo prelitega že ogromno črnila, tudi na naši strani. Glavni problem je, da z enakimi vatli merimo različne znanstvene discipline, ki imajo svoje zakonitosti glede citiranja in časovnega zamika med objavo in citiranostjo. Na primer, biokemijski članki imajo običajno veliko...

Slo-Tech - Veste, kako se ocenjuje ali bolje rečeno poizkuša oceniti kakovost znanstvenoraziskovalnega dela? Vrhunska znanost občasno zaide v poljudne revije in zelo redko celo v dnevno časopisje, a ogromen delež dela in raziskav je objavljen v znanstvenih revijah, kjer jih berejo le strokovnjaki z danega in sorodnih področij. Obstoji pa še druga pomembna skupina ljudi, ki bi morala biti še posebej seznanjena z rezultati...