» »

Znanstvene stranpoti: problem avtocitatov

Znanstvene stranpoti: problem avtocitatov

Slo-Tech - Sundarapandian Vaidyanathan je v svetu znanosti sorazmerno neznano ime. Poučuje na raziskovalnem inštitutu Vel Tech v Chennaiju, kjer se ukvarja s teorijo kaosa in nelinearno dinamiko. Za njegova dela ni slišal skoraj nihče, zato je pogled v njegovo bibliografijo presenetljiv. Ima več kot 18.000 citatov in Hirschev indeks 88, kar sta številki, ki ju bodo takoj razumeli vsi raziskovalci in znanstveniki. Za laike: po bibliometričnih kazalnikih je Vaidyanathan znanstveni velikan, ki se lahko postavi ob bok nobelovcem.

Vaidyanathan je ekstremni primer čedalje pogostejše prakse, ko nekateri znanstveniki ekscesno citirajo lastne članke. Normalno je, da raziskovalcih v svojih delih citirajo minulo delo, če je povezano in relevantno z novo raziskavo, a zmerno. Če je v nekem članku več kot nekaj lastnih citatov, je to že znak za alarm, kar lahko preverjamo tudi iz druge smeri. Kdor ima med citati lastnih del več kot kakšnih 10-15 odstotkov avtocitatov, hodi po tanki meji med etičnim in neetičnim.

Raziskovalci s Stanforda so zato prečesali bazo več kot 100.000 raziskovalcev, v kateri so njihova objavljena dela in citiranost. Rezultate so objavili v reviji PLoS Biology. Kažejo, da je avtocitiranje večji problem, kot bi si mislili. Kar 250 znanstvenikov je zbralo več kot 50 odstotkov vseh citatov svojih del z avtocitati (to so citati v članku, kjer je vsaj en avtor isti kot v citiranem članku). Povprečna stopnja avtocitiranosti znaša 12,7 odstotka. Raziskovalci pravijo, da kdor to mejo preseže za dvakrat, zasluži podrobnejši pregled.

Avtocitati pa niso edini problem, ki ga je v znanost prinesla huda objektivizacija in numerično merjenje uspešnosti. Kot je ugotovil že Goodhart, postanejo objektivna merila slaba, kot postane njihovo doseganje samo sebi namen, kar se je z znanstvenimi metrikami že zdavnaj zgodilo. Poleg avtocitatov, ki jih je sorazmerno enostavno poloviti in tudi odšteti (to že počne slovenski SICRIS), so problem tudi farme citatov. V nekaterih znanstvenih vejah je raziskovalnih skupin tako malo, njihova povezanost pa tako močno meji na domačnost, da se navzkrižno citirajo do astronomskih razsežnosti. Takšne otoke citiranosti lahko najdemo s statistično analizo, a treba jih je ovrednotiti vsebinsko. Brazilska shema je bil znameniti primer zlorabe citatov.

A rezultate je treba presojati v vsakem primeru posebej. Pri fizikih delcev so tipično stopnje avtocitatov ogromne (skoraj 40 odstotkov), ker je taka narava dela. Večina dela se opravi v ogromnih kolaboracijah, ki imajo tudi več sto članov in posledično tudi avtorjev v člankih. Podobno velja tudi astronomijo. To ne pomeni, da so fiziki kaj manj etični. Drugi primer so mlajši znanstveniki. Dokler njihovo delo ne pritegne večje prepoznavnosti, bodo imeli neproporcionalno veliko avtocitatov, saj v svojem delu pač citirajo prejšnje povezane članke. Zanimiv je tudi razrez po državah, kjer prednjačita Rusija in Ukrajina, ker je tam citiranost pač zelo zelo pomembna metrika in tudi nagrajevana. Hkrati imata sorazmerno malo raziskovalcev v primerjavi z ZDA ali Kitajsko.

Srž težav niso avtocitati, temveč celotni sistem merjenja uspešnosti raziskovalcev. Najgloblji razlog je seveda pomanjkanje profesorskih mest, zaradi česar je konkurenca izredno ostra. Dodatne težave prinaša obsedenost s takojšnjimi rezultati rabe davkoplačevalskega denarja, zaradi česar je stalnih raziskovalnih mest po svetu izjemno malo. Namesto tega se uveljavlja kratkoročno (2-3 leta) projektno financiranje, kar pomeni, da morajo raziskovalci tekmovati drug proti drugemu za zelo omejeno pogačo denarja. V Sloveniji je v resnici situacija še zelo solidna, ker ARRS približno 40 odstotkov denarja razdeli med programske skupine, ki predstavljajo stabilno dolgoročno financiranje.

Ker je ocenjevanje projektov zahtevno (in pogosto neplačano početje!), recenzenti povsod po svetu pogosto kot bližnjico (vsej neuradno) uporabijo življenjepis in bibliografijo prijavitelja. V večini projektov je to tako ali tako ena izmed točk, ki se ocenjujejo, pogosto pa potem vpliva še na ostale točke. Poliranje lastnih življenjepisov in bibliografij (tudi) z avtocitati je samo posledica teh dejstev.

26 komentarjev

sandmat ::

"V Sloveniji je v resnici situacija še zelo solidna, ker ARRS približno 40 odstotkov denarja razdeli med programske skupine, ki predstavljajo stabilno dolgoročno financiranje."

hehe good one. To ni solidna situacija, temveč popolnoma izrojena situacija.

tikitoki ::

Beden sistem, bedni rezultati.

carota ::

Najgloblji razlog je seveda pomanjkanje profesorskih mest

Torej, če bi bilo več profesorjev za isto število študentov, bi bila stvar rešena! Heureka!

To bi bila neke vrste ponzijeva shema, študiraš, da lahko poučuješ druge, da postanejo profesorji ...

poweroff ::

V resnici število študentov na profesorja narašča. Včasih je bilo 20 študentov na profesorja, danes je (v prvih letnikih) 200 ali več. To ima posledice tudi za kakovost poučevanja.

Kar se pa tiče ARRS, to ni financiranje znanosti, to je rentništvo.
sudo poweroff

nekikr ::

No, ARRS je čisto ok za slovenske razmere in mentaliteto. Drugje v svetu se gredo tekmovanje, velikokrat precej in preveč ostro, pri nas se pa, kot je že avtor prispevka ugotovil, egalitarnost še uspešno drži. Vsakemu raziskovalcu rento, da lahko dela (ali pa tudi ne), bo že sam povedal. Da bi imel konkurenco? To pa ne paše v naš sistem uravnilovke.

fujtajksel ::

Avtocitati niso nikakršen problem. Problem so samo neumne metrike.

jype ::

carota je izjavil:

To bi bila neke vrste ponzijeva shema, študiraš, da lahko poučuješ druge, da postanejo profesorji ...



nekikr je izjavil:

Da bi imel konkurenco? To pa ne paše v naš sistem uravnilovke.
Sodelovanje je ključno, če se moraš tepst za drobtinice, ga je pa težko zagotoviti.

Zgodovina sprememb…

  • spremenilo: jype ()

poweroff ::

Problem ARRS-ja je v tem, da kot prvo ohranja obstoječi sistem oz. zmanjšuje konkurenčnost/tekmovalnost. Kot drugo, gre za sistem rentništva, kjer je cilj, da se vzdržuje obstoječe stanje.

Kot tretje, je pa znanstveni denar pri nas tako majhen, da ne omogoča nekega resnega razvoja. Tiste drobtinice so dovolj za to, da ljudje ravno preživijo oz. ne crknejo, po domače povedano. S tem se jih seveda lepo drži v šahu - tepejo se za drobtinice, kaj resnejšega ne uspejo narediti, nagrajuje oz. naprej poriva se manj sposobne, in s tem se kupuje socialni in siceršnji mir.

Bolj sposobne zatirajo tisti na vrhu prehranske piramide, Oblast pa ima mir pred znanstveniki.

Idealen sistem - če se seveda zavedamo kaj je cilj tega sistema. Razvoj znanosti pač ne.

OK, malo pretiravam, ampak opisano je resna bolezen sistema, ki jo še vedno niso uspeli odpraviti. Sumim da zato, ker to vsem ustreza.
sudo poweroff

nekikr ::

Zdaj si opisal celotni javni sektor, ne samo znanstvene panoge :)

jype ::

nekikr je izjavil:

Zdaj si opisal celotni javni sektor, ne samo znanstvene panoge :)
Tudi zasebnega.

nekikr ::

Tudi, ponekod. Sploh v večjih sistemih in vseh paradržavnih.

jype ::

Škoda, da ste zatrli razvoj samoupravljanja s temelji marksizma, te težave bi bile že zdavnaj rešene, če ga ne bi.

nekikr ::

Kdo to?

tikitoki ::

jype je izjavil:

Škoda, da ste zatrli razvoj samoupravljanja s temelji marksizma, te težave bi bile že zdavnaj rešene, če ga ne bi.


Seveda, ker tam v praksi ni bilo nobenih priviligiranih prisklednikov.

Okapi ::

sandmat je izjavil:

"V Sloveniji je v resnici situacija še zelo solidna, ker ARRS približno 40 odstotkov denarja razdeli med programske skupine, ki predstavljajo stabilno dolgoročno financiranje."

hehe good one. To ni solidna situacija, temveč popolnoma izrojena situacija.

Sem ravno mislil vprašati, od kje ideja, da je to dobro. Eni so varno pri koritu, na račun številnih odličnih znanstvenikov, ki denarja ne dobijo.

jype ::

tikitoki je izjavil:

Seveda, ker tam v praksi ni bilo nobenih priviligiranih prisklednikov.
Seveda so bili, a jih je bilo bistveno lažje izločiti, kot jih je zdaj.

WhiteAngel ::

Raziskovalci s Stanforda so zato prečesali bazo več kot 100.000 raziskovalcev, v kateri so njihova objavljena dela in citiranost. Rezultate so objavili v reviji PLoS Biology.


Heh, ta sploh zmaga. Dajmo napisat še en znanstveni članek na temo, kako se objavljalci člankov samo-citirajo. Me spominja na tisti xkcd o standardih. Povrh pa še ena (nepotrebna) raziskava, ki smo jo mi financirali. Zdaj mora samo še slediti raziskava, ki demantira tale članek ;((

poweroff ::

Okapi je izjavil:


Sem ravno mislil vprašati, od kje ideja, da je to dobro. Eni so varno pri koritu, na račun številnih odličnih znanstvenikov, ki denarja ne dobijo.

To je dobro za Oblast. Dobri znanstveniki so namreč že po definiciji tisti, ki bi lahko prevzeli kakšne revolucionarne ideje in zahtevali spremembe. Namesto tega se borijo za drobtinice denarja. Dol jih pa ne tlači Oblastnik, pač pa drugi znanstveniki.

Kokoši se tepejo med sabo, lisica se pa oblizuje.
sudo poweroff

PaX_MaN ::

WhiteAngel je izjavil:

Heh, ta sploh zmaga. Dajmo napisat še en znanstveni članek na temo, kako se objavljalci člankov samo-citirajo.

Ioannidis je (so)avtor treh člankov od osmih, ki jih Ioannidis citira v članku. :P

Markoff ::

poweroff je izjavil:

V resnici število študentov na profesorja narašča. Včasih je bilo 20 študentov na profesorja, danes je (v prvih letnikih) 200 ali več. To ima posledice tudi za kakovost poučevanja.

Kar je ravno nasprotno kot v OŠ in SŠ. Mislim na št. dijakov na učitelja. Kljub temu kakovost primarnega / sekundarnega šolstva prav nič ne narašča.

jype je izjavil:

Škoda, da ste zatrli razvoj samoupravljanja s temelji marksizma, te težave bi bile že zdavnaj rešene, če ga ne bi.

Razlastitev tebe, velikega forumskega kapitalista, pride na vrsto, brez skrbi. Če te ne bo mesečnik, te bo pa kordež z bajonetom.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

Zgodovina sprememb…

  • spremenilo: Markoff ()

carota ::

Markoff je izjavil:

poweroff je izjavil:

V resnici število študentov na profesorja narašča. Včasih je bilo 20 študentov na profesorja, danes je (v prvih letnikih) 200 ali več. To ima posledice tudi za kakovost poučevanja.

Kar je ravno nasprotno kot v OŠ in SŠ. Mislim na št. dijakov na učitelja. Kljub temu kakovost primarnega / sekundarnega šolstva prav nič ne narašča.

Seveda narašča kakovost šolstva - ravno danes so pri poročilih povedali, da bodo vsi učitelji / profesorji napredovali za en plačni razred v novem šolskem letu!

Markoff ::

My bad then.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

jype ::

Markoff je izjavil:

Razlastitev tebe, velikega forumskega kapitalista, pride na vrsto, brez skrbi. Če te ne bo mesečnik, te bo pa kordež z bajonetom.
Come at me.

Če mi vzamete bicikl, bom pa anarhist s skirojem!

Markoff ::

Miha in Luka sporočata: v Barbarinem rovu ne boš imel s skirojem česa početi.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

JaVonTech ::

To je potem akademska verzija osnovnošolskih virov "vir: lastno znanje" :))

Phantomeye ::

JaVonTech je izjavil:

To je potem akademska verzija osnovnošolskih virov "vir: lastno znanje" :))


Ma v bistvu je malo smešno. Recimo, ti pišeš diplomo o X temi. Potem se pa odločiš, da boš temo nadgradil v svoji magistrski. Simple - skopiraš diplomsko in potem dodaš ekstra vsebino. Nope - plagiat samega sebe. Dejansko moraš navajat samega sebe - torej vsebino diplomske.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Znanstvene stranpoti: problem avtocitatov

Oddelek: Novice / Znanost in tehnologija
265447 (3388) Phantomeye
»

Večina znanstvenih člankov je v resnici citiranih

Oddelek: Novice / Znanost in tehnologija
85394 (4107) eVro
»

Nekaj gnilega je v deželi znanstveni

Oddelek: Novice / Znanost in tehnologija
2113243 (7113) Okapi
»

Spet o faktorju vpliva in citatih

Oddelek: Novice / Znanost in tehnologija
106210 (3955) fujtajksel
»

Upor proti izdajatelju strokovnih revij Elsevier

Oddelek: Novice / Znanost in tehnologija
347775 (5574) lmorgh

Več podobnih tem