» »

"Kdor uporablja faktor vpliva, je statistično nepismen"

"Kdor uporablja faktor vpliva, je statistično nepismen"

S takšnimi reklamami založniki vsiljujejo IF kot edino zveličavno merilo kakovosti.

Slo-Tech - Veste, kako se ocenjuje ali bolje rečeno poizkuša oceniti kakovost znanstvenoraziskovalnega dela? Vrhunska znanost občasno zaide v poljudne revije in zelo redko celo v dnevno časopisje, a ogromen delež dela in raziskav je objavljen v znanstvenih revijah, kjer jih berejo le strokovnjaki z danega in sorodnih področij. Obstoji pa še druga pomembna skupina ljudi, ki bi morala biti še posebej seznanjena z rezultati znanstvenoraziskovalnega dela in njegovo kakovostjo, a običajno nima časa brati člankov - tej skupini ljudi pravimo financerji in pri nas obsega v glavnem ARRS.

Najbolj osovražena beseda med znanstveniki je faktor vpliva (IF, impact factor). Leta 1955 ga je prvikrat omenil in predlagal Eugene Garfield, ko so potrebovali objektivno merilo za razvrščajo kakovosti znanstvenih revij. IF se izračuna kot kvocient med številom citatov člankov iz neke revije, ki so bili objavljeni v vseh revijah, in številom vseh člankov, ki so bili objavljeni v tej reviji. Podatki se vsakokrat vzamejo za pretekli polni dve leti. Poenostavljeno povedano je faktor vpliva povprečno število člankov, ki bodo v naslednjih dveh letih citirali posamezen članek iz revije. Zamisel je preprosta in razumljiva: več kot je odmevnih člankov v neki reviji, kakovostnejša je. Žal se je ta indeks izrodil.

Nekdo je nekoč dobil ne tako genialno zamisel, da bi lahko isti indeks uporabili kot merilo za kakovost posameznega članka. Danes se bolj kakor odmevnost članka gleda, kje je bil objavljen. Kdor objavlja v revijah z visokim faktorjem vpliva, velja za odličnega znanstvenika, in obratno. Problem je, da od tega najbolje živijo založniki, znanstveniki pa postajajo podobni treniranim opicam. Zanka se sama krepi (positive feedback), saj vsi znanstveniki poizkušajo objavljati v reviji z visokim IF in od tam citirati, kar samo še dviguje njen IF. Založniki to izkoriščajo in navijajo cene revij v višave, kar je sprožilo upor proti najbolj povampirjenem izdajatelju Elsevier in zahteve nekaterih univerz, da se morajo javno financirane raziskave objavljati javno (Harvard, Velika Britanija).

A faktor vpliva trmasto vztraja in hromi raziskovalno delo. Financerji in habilitacijske komisije (zlasti v manjših državah, kamor po nekem naključju sodi tudi Slovenija) nenavadno ljubijo točkovanje raziskovalnega dela, kjer je ena glavnih metrik prav IF revij, kjer znanstveniki objavljajo. Kritična ocena kakovosti, ki bi jo podali drugi mednarodni priznani in po možnosti tuji znanstveniki s tega področja izostane, saj je lažje premetavati številke in indekse. Če bi bil IF dejansko verna odslikava kakovosti, to ne bi bil problem, a v resnici IF to sploh ni. Že dvajset let je znano, da je povprečna ocena neprimerna za IF, ker razporeditev ni naravna. Več kot polovico vseh citatov prispeva 15 odstotkov najboljših člankov, medtem ko je ostalih 85 odstotkov člankov podpovprečno citiranih - torej tudi podpovprečno kakovostnih? Neumnost je tudi dvoletno okno za izračun, saj ponekod večina citatov prileti v prvih letih (npr. Nature), drugod pa več let pozneje (npr. v Ecology 7-8 let). Tudi način pisanja člankov je različen, tako da je primerjava IF med različnimi vedami nepravična. Dokazano je bilo celo, da je v revijah z visokim IF nesorazmerno več umikov člankov kakor drugod.

Da je IF krivičen, zavajajoč in statistično nepravilen, opozarjajo že več let. Nihče ne pravi, da kakovost raziskovalnega dela ne bi smela biti pogoj za financiranje in dodeljevanje stolic; to je nujno. A kakovosti dela ni mogoče enačiti s faktorjem vpliva revij, kjer je objavljeno. Stephen Curry je v svojem zadnjem blogu šel celo tako daleč, da je vse ljudi, ki IF uporabljajo in navajajo, označil kot statistično nepismene. Rešitev bo treba šele poiskati, a IF to zagotovo ni. Trenutno namreč zasebni indeks podjetja Thomson Reuters skupaj z uredniki revij, ki v veliki meri prejete rokopise zgolj posredujejo recenzentom (katere mora vsak avtor itak sam predlagati!), slednji pa jih brezplačno pregledajo (peer-review), določa milijardna financiranja znanosti po svetu in vzpone in padce raziskovalnih karier. In to je bolno.

27 komentarjev

vidz81 ::

Znanstveni članki bi morali biti javni!

Podoben (ali isti) sistem kot Wikipedija (ne le PLOS, arxiv, ampak da je bolj klikabilen in polinkan, znanje bolj povezano).

Potem se IF ne bi koncentriral na posamezne revije, sploh bi se pa navedlo citiranost posameznih člankov in bi IF prišel iz mode.

poweroff ::

Oh, ko bi tole o faktorjih vpliva našim metuzalemom na ljubljanski univerzi dopovedali... pa nujno bi bilo spremeniti sistem financiranja.
sudo poweroff

71GA ::

@vidz81 Wikipedia je malo nezanesljiva...

71GA ::

@Matthai UNI LJ je zanič univerza. Sem študiral tam in to trdim.

Gandalfar ::

71GA je izjavil:

@Matthai UNI LJ je zanič univerza. Sem študiral tam in to trdim.


In na 6-tih drugih da lahko primerjas?

terryww ::

dokler se raziskovalci sami ponašajo s to metriko, se ne bo nič spremenilo
It is the night. My body's weak.
I'm on the run. No time to sleep.

PaX_MaN ::

terryww je izjavil:

dokler se raziskovalci sami ponašajo s to metriko, se ne bo nič spremenilo

Res, če bi sodil iz subjektivnega tona novice, bi rekel da enga fovšija daje ker ga zarad IF ne spustijo na višji stolček.
:P

poweroff ::

V resnici je problem IF realen problem, ki po mojem mnenju škodi razvoju znanosti. Pomaga pa ohranjati etablirane strukture.
sudo poweroff

PaX_MaN ::

V resnici je problem IF realen problem, ki po mojem mnenju škodi razvoju znanosti.

Če se raziskovalci namesto raziskovanju posvečajo kako bodo dobili čim večji IF faktor ker bi si radi prigrabili višji stolček - se strinjam, da.

Pomaga pa ohranjati etablirane strukture.

To samo pomeni, da opensource, pardon, znanstveniki ne znajo narest dobre konkurence microsoftu, pardon, Thomson Reuters.

root987 ::

To samo pomeni, da opensource, pardon, znanstveniki ne znajo narest dobre konkurence microsoftu, pardon, Thomson Reuters.

Opensource? Microsoft? Explain yourself pls.
"Myths which are believed in tend to become true."
--- George Orwell

poweroff ::

PaX_MaN je izjavil:

V resnici je problem IF realen problem, ki po mojem mnenju škodi razvoju znanosti.

Če se raziskovalci namesto raziskovanju posvečajo kako bodo dobili čim večji IF faktor ker bi si radi prigrabili višji stolček - se strinjam, da.

Težava je v tem, da se nekatere klike med sabo načrtno citirajo in si nabijajo indekse citiranosti in IF. Obstaja cel kup strategij kako si povečati IF. V času dodiplomskega študija smo imeli o tem na FDV celo predmet (Sociologija znanosti, pri prof. dr. Francu Maliju - je bil sicer zelo kritičen do teh pojavov).

Ko sem se zaposlil na ljubljanski univerzi pa smo imeli celo več seminarjev o tem kako narediti strategijo svojega objavljanja, da boš imel čim višji IF in citate. Takrat sem videl, da ni pomembna kvaliteta znanstvenega dela - se pravi kaj boš dobrega doprinesel k družbi ali industriji in kako kvalitetno boš opravil raziskavo - pač pa gre za zbiranje točk ob minimalnem vložku, katerega cilj je skoraj izključno pridobivanje raziskovalnega denarja.

PaX_MaN je izjavil:

Pomaga pa ohranjati etablirane strukture.

To samo pomeni, da opensource, pardon, znanstveniki ne znajo narest dobre konkurence microsoftu, pardon, Thomson Reuters.

Težava je v tem, da so etablirane strukture kot jih imenujem zlizane z državo (govorim za Slovenijo). Pogoj za financiranje znanstvenega dela je kakovost. Merila kakovosti pa določa ARRS, ki seveda tudi deli državni denar. Brez državnega denarja pa slovenske znanosti preprosto ni. OK, nekaj je evropskih sredstev, vendar se tam tudi zelo dobro ve kaj in kako prijavljati, da boš dobil raziskovalni denar, naredil pa minimalno.

Poglej pa kdo sedi v upravnem in drugih odborih ARRS. Ljudje, ki se tudi sami prijavljajo na razpise, posredno ali celo neposredno. Oni določajo kaj je to "kakovost" in seveda so merila takšna, da bodo državni denar dobili pravi ljudje. Zato se določeni članki enkrat štejejo tako, drugič drugače. Enkrat je zelo pomembno število citatov v zadnjem letu, spet drugič ne. Enkrat ti točke prinaša udeležba na konferencah, potem to ukinejo. Enkrat ti izvedba eksperimentalnega dela raziskave ne prinese nič točk, drugič veliko, tretjič spet malo.

Pa naj se nehajo zajebavat in pošteno povedo, da gre v bistvu za rente. Da pa prideš do rente je pa treba pojesti precej dreka - vprašaj kakšnega asistenta na faksu ali mladega raziskovalca. Valjda se potem renti ne boš odpovedal. Vsaj prostovoljno ne.

Še osebna izkušnja. Pripravil sem nek članek in ga pokazal znanemu nemškemu profesorju z vprašanjem kje bi se zadevo splačalo objaviti (v kateri SCI reviji). Odgovor je bil, da je članek preprosto preveč dober, da bi se objavljal v SCI reviji, saj je na voljo kar nekaj kvalitetnejših revij... OK, to je bil prvi šok. Imel pa je nekaj pripomb in predlog, da bi naredil primerjalno analizo z Nemčijo. Ker nemške zakonodaje ne obvladam, sva se na koncu načeloma dogovorila, da bi nemški del napisal on, zadevo pa potem objaviva v soavtorstvu, prvi avtor pa sem jaz.

Sedaj pa drugi šok. Na fakulteti začeli prepričevati, da moram vseeno nujno zadevo objaviti v SCI reviji, saj sicer ne bom mogel postati docent. In to čimprej, v takšni obliki kot je. Problem pa je bil kako priti v SCI revijo... ni problema, pravi nek profesor iz ljubljanske univerze - jaz bom podpisan kot soavtor in bova potem po mojih kanalih poslala zadevo naprej in bo gotovo objavljena.

Na moj ugovor, da on ni k članku prispeval nič, je rekel, da lahko notri vstavim en graf iz neke njegove raziskave, kar pa po mojem mnenju sploh ni vsebinsko pasalo notri.

Konec zgodbe: rekel sem ne, in v kratkem dal odpoved. Ker v takem okolju ne morem in ne želim delati, saj bi imel iste "scene" kar naprej.

P. S. Ta profesor ima seveda kup SCI člankov, kjer je drugi ali prvi avtor (recimo nekdo napiše dva članka in se potem dogovorita, da bo v prvem eden prvi, v drugem pa drugi avtor), posledično pa tudi precej več možnosti, da dobi raziskovalni denar tako od ARRS, kot od EU. Kako pa je njegovo znanstveno delo doprineslo k razvou družbe... hja, to je pa že drugo vprašanje.

Torej, če odgovorim: opensource znanstveniki lahko naredijo alternativo corporate znanstvenikom. Problem je pa v tem, da bo država denar dajala izključno slednjim. In raziskovalna oprema stane precej več, kot programiranje dejanskega opensource softwera.

P. S. 2: ko bom enkrat pri volji bom povedal še kakšno zgodbico oz. osebno izkušnjo o mariborski univerzi...
sudo poweroff

Okapi ::

ko bi tole o faktorjih vpliva našim metuzalemom na ljubljanski univerzi dopovedali..
Samo je en mali zajeb. Ti si sicer premlad, da bi to vedel, ampak pred impact faktorjem in točkami je bilo še precej slabše.

S sedanjim sistemom točkovanja je nekako tako kot je Churchill rekel za demokracijo:
... democracy is the worst form of government except all those other forms that have been tried from time to time.


Bodo pa vsi veseli, če boš predlagal kaj boljšega.;)

O.

Zgodovina sprememb…

  • spremenil: Okapi ()

poweroff ::

Prav dobro vem kakšno sranje oziroma veze i poznanstva so bile prej. Težava je le v tem, da to ni nikakršen argument.

Sploh zato ne, ker se sistem točkovanja jemlje kot povsem neproblematičen in se niti ne skuša izumit kaj boljšega. Razen v zadnjem letu so neki mali premiki...
sudo poweroff

Okapi ::

ker se sistem točkovanja jemlje kot povsem neproblematičen in se niti ne skuša izumit kaj boljšega.
Kar seveda niti približno ni res. Problematizira se ga od samega začetka in sem precej prepričan, da ne samo pri nas. Samo doslej nikomur ni uspelo odkriti nič bolj objektivnega, in to ne zaradi tega, ker nihče ne bi poskušal.

Zdaj se znanstveniki vsaj trudijo objavljati v tujih revijah. Pred tem so po 10 let pacali en članek, ki je bil nato na koncu objavljen v kakšni lokalni reviji, ki je ni nihče bral, po 40 letih so pa pred penzijo pri tej ali oni državni ali univerzitetni založbi kot svoje življenjsko delo izdali monografijo (ki je tudi ni nihče bral).

O.

BaToCarx ::

Matthai pohvalno da si eden od tistih, ki se ni uklonil, nažalost je na enega 99 takih, ki se upognejo.

poweroff ::

Okapi je izjavil:

ker se sistem točkovanja jemlje kot povsem neproblematičen in se niti ne skuša izumit kaj boljšega.
Kar seveda niti približno ni res. Problematizira se ga od samega začetka in sem precej prepričan, da ne samo pri nas.

URL PLS.

Hočem reči - lahko navedeš kakšrn članek, raziskavo, polemiko, ki ga problematizira?
sudo poweroff

Okapi ::

V Delovi prilogi Znanost je bilo v letih med 1990 in 2000 kar precej o tem napisanega.

Lahko pa vprašaš Lojzeta Marinčka, ki je bil minister za znanost od 1997-2000, s čim se je predvsem ukvarjal.;) On je prišel z enega od tistih inštitutov (biološki inštitut na ZRC SAZU), ki jih je točkovanje in impact faktor najbolj "prizadelo", ker je bilo tam prej znanstveno objavljanje v tujini nekaj skoraj nezaslišanega. Tam so znanstveniki lepo v miru delali na svojih življenjskih projektih, ne oziraje se preveč na objavljanje, tistih nekaj, ki so nadpovprečno veliko objavljali (veliko je veljalo, če si opisal novo vrsto ali podvrsto hrošča, metulja, deževnika, kuščarja ..., in to je seveda štelo le, če si objavil v znanstveni reviji), so pa objavljali v glavnem v nekih obskurnih balkanskih revijah.

In so imeli, ko so takoj na veliko problematizirali nove sisteme točkovanja znanosti, po svoje seveda prav, ker je precej krivično z enakimi vatli merit recimo fizikalno odkritje, ki je vsako zanimivo za ves svet, in recimo botanično, ki je lahko zanimivo samo za Slovenijo. Poleg tega lahko v "laboratorijskih" ali teoretičnih znanostih sproduciraš vsak teden po en članek, če si dovolj hiter, če z naravo delaš na terenu, pa mogoče niti enega na leto ne moreš.

V glavnem, če ti ne veš, kdo vse je imel ugovore proti točkovanju člankov, to še ne pomeni, da tega ni bilo. Trditev
Razen v zadnjem letu so neki mali premiki...
je pa sploh LOL in jo lahko izreče samo nekdo, ki ne ve, kaj se je dogajalo zadnjih 20 let.

O.

SloKnap ::

Gandalfar je izjavil:

71GA je izjavil:

@Matthai UNI LJ je zanič univerza. Sem študiral tam in to trdim.


In na 6-tih drugih da lahko primerjas?


Univerza v Ljubljani je glede na svojo velikost med najslabšimi univerzami na svetu. To ni provokativna izjava temveč dejstvo, ki si ga lahko vsak razbere iz uvrstitve LJ UNI na sezamih vseh svetovnih univerz merjenih po kvaliteti (vsak seznam ima svojo metodologijo in kljub temu nam ni uspel preboj med prvih 100 ali 200 ali 300). Se pa znamo hvaliti, da je LJ UNI med 10 največjimi univerzami v Evropi, kot da to kaj pomeni...

Malo gradiva za razmislek :
- QS World Ranking (551-600)
- Times Higher Education (nad ni med prvih 400)
- Academic Ranking of World Universities (401-500)

Vem, da takšni seznami ne pomenijo vse so pa precej dober indikator kje se slovenske univerze nahajajo v primerjavi z ostalimi. Upam, da kdo ne bo vzel moj post preveč osebno saj sem tudi sam diplomiranec LJ UNI in med študijem me ti seznami sploh niso nič brigali vse dokler ti potencialni delodajalec reče, da so zelo navdušeni nad mojimi več letnimi izkušnjami in bi si želeli tudi trajnega sodelovanja z mano me pa zaradi internih pravil (guidelinih) ne morejo zaposliti ker imam diplomo iz univerze, ki ne rangira dovolj visoko. Sucks.

Gandalfar ::

No sam glej to metodologijo:

> Alumni of an institution winning Nobel Prizes and Fields Medals
> Staff of an institution winning Nobel Prizes and Fields Medals
..

Sej ostali so mal boljs, ampak se zmer se meri vpliv na zahodni svet tvoj univerze. Kolk zlo lahko objavljas v ameriskih klikah.

poweroff ::

Nene, ta metodologija rangiranja univerz je čisto dobra. Odlična pravzaprav, boljše nimamo.

Hočem reči - UNI-LJ se seveda pizdi nad to metodologijo, tiho je pa glede IF in sistema točkovanj. Dvoličnost.
sudo poweroff

WarpedGone ::

Lej lej lej, na glas se upa rečt, da državno podpiranje (bazične) znanosti ne deluje ok. Horrorzzzz. Ko sm isto trdil nekaj let nazaj (pa za kulturo tut) sm bil označen za odpadnika, ki nima pojma.

Rešitev? Privat mecenstvo: vsak mecen si sam postavi kriterije po katerih bo talal svoj denar. Hec je, da je v povprečju bistveno težje do takšnega denarja pridit, ker ga je a) manj kot državnega, ki ta denar pod prisilo jemlje gospodarstvu in b) kriteriji niso le birokracija ampak tut vsebina.
Zbogom in hvala za vse ribe

Okapi ::

Na brzino pobrskal po Delovem arhivu, za tiste, ki mislijo, da se je nekaj malega začelo premikati šele letos.;)

Bodoči minister Žiga Turk, 2002
Članek - Založniki [znanstvenih revij] postajajo ovira

dr. Viktor Nekrep, 2002
Članek - Za prost dostop do znanosti

Prof. Wraber, 2003
Sedanji sistem točkovanja za asistente in mlade doktorje znanosti je razvrednotil pisanje znanstvenih člankov v slovenščini.


Dr. Kuntner, 2006
Za raziskovalce, ki se potegujejo za javna sredstva ARRS, med katere sodimo vsi, ki se ukvarjamo z bazičnimi znanostmi, tak sistem pomeni nujno prilagajanje strategije objavljanja. To je delno koristno, saj je vsota točk odvisna od števila objav ter kvalitete periodike, delno pa kontraproduktivno, saj vzpodbuja pragmatičnost, oziroma objavljanje minimalnih enot v tujih revijah, manj poudarka pa je na vsebini ter na dviganju kvalitete domačih revij.
Dobrodošle novosti sistema so transparentnost točkovanja po enotni formuli ter normaliziranje točk neke objave glede na moč področja. Tako se v naravoslovju pri točkovanju neke objave v tuji znanstveni reviji razvpiti faktor vpliva revij (IF) postavi v kontekst področja, saj je znano, da so vrednosti IF na manj popularnih, pa zato za civilizacijo nič manj pomembnih področjih (t.i. neprivilegiranih področjih) velikokrat manjše kot na nekaterih vročih področjih. Slaba stran sistema je, da se nekateri raziskovalci več ukvarjajo s primerjanjem točk kolegov kot s svojim raziskovalnim delom ter da posledično medinštitutske povezave niso spodbujane, saj bi delitev točk z drugimi inštitucijami povečala tekmovalnost za sredstva. Prav sodelovanje (tu mislim tako na mednarodno kot narodno) pa je kritično za moderno in kvalitetno raziskovalno delo, predvsem v majhnih državah, kjer so močno omejena sredstva, znanje in infrastruktura.


In tega je še precej.

O.

jype ::

WarpedOne> Lej lej lej,

Sine, pojma nimaš. Če ne bi bilo državnega mecenstva, bi ti še vedno pomije skozi okno metal na cesto.

Gandalfar ::

poweroff je izjavil:

Nene, ta metodologija rangiranja univerz je čisto dobra. Odlična pravzaprav, boljše nimamo.

Hočem reči - UNI-LJ se seveda pizdi nad to metodologijo, tiho je pa glede IF in sistema točkovanj. Dvoličnost.


A tako dobra kot IF? Ali je to zdaj odlicno, ker ti ustreza naslednje leto pa vec nau dost dobra?

poweroff ::

Gand - smajlija sem pozabil dodati. Ironija, pa to.

Warped - državno financiranje (bazičnih) raziskav je nujno, ker privat mecenstvo preprosto ne deluje. BTW, najbolj zalite z državnim denarjem (pa tudi zasebnim) pa so ravno ameriške zasebne univerze in raziskovalni inštituti. Posledično dosegajo tudi dobre rezultate.

Ni problem vir financiranja. Problem je ključ delitve oziroma odsotnost strtegije kaj želimo z znanostjo sploh doseči.

V Sloveniji je namen financiranja znanosti vzdrževanje posameznikov in institucij skozi sistem rentništva. Ne smejo dobiti premalo, ker potem crknejo in začnejo delat štalo, pa tudi preveč ne, ker hitro lahko postanejo preglasni in prezahtevni. Najbolje da jim daš nek minimum, hkrati pa sistem naštelaš tako, da se bodo raje klali med sabo za tiste fičnike, kot da bi se usmerili v kakšno resno delo.

To nam pa odlično uspeva v tej državi...
sudo poweroff

zaj_tam ::

A se ne računa tisti rang v SICRIS po večih parametrih, IF mislim da je vmes ampak so še druge stvari?

z00s ::

Tako je, je še več drugih stvari, npr. število objav v top rangiranih revijah, število monografij, raziskovalnih projektov,...

lp,Z00s

ps: jype - se strinjam.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

ZDA razmišljajo o obveznem prostem dostopu do znanstvenih člankov

Oddelek: Novice / Znanost in tehnologija
4312379 (10253) jype
»

Sci-hub: znanstveni pirate bay pod žarometi

Oddelek: Novice / Znanost in tehnologija
4214912 (10025) Lonsarg
»

Rezultati javno financiranih raziskav v Veliki Britaniji odslej javno dostopni

Oddelek: Novice / Znanost in tehnologija
126725 (5506) kitaj
»

Harvard se pridružuje boju zoper pohlepne založnike znanstvenih revij

Oddelek: Novice / Znanost in tehnologija
4419051 (15697) ZaphodBB
»

Upor proti izdajatelju strokovnih revij Elsevier

Oddelek: Novice / Znanost in tehnologija
348135 (5934) lmorgh

Več podobnih tem