» »

Nekaj gnilega je v deželi znanstveni

Nekaj gnilega je v deželi znanstveni

Slo-Tech - Večkrat smo že pisali o tegobah znanstvenikov in raziskovalcev, ki se morajo soočati s kruto realnostjo publish or perish (objavljaj ali pogini), ki je še posebej kričeča prav v državah, kot je Slovenija. ARRS namreč kot najbolj zveličavni kriterij za znanstveno odličnost postavlja število točk, kjer največ šteje število objavljenih člankov in citatov, ki jih ti dosežejo. O tem več v nadaljevanju, sedaj pa poglejmo eksperiment, ki ga je za Science opravil harvardski biolog John Bohannon.

Veliki založniki znanstvenih revij so velik problem, saj naročnine na svoje revije drago zaračunavajo, univerze in inštituti pa so jih skoraj primorani kupiti, saj največ štejejo prav objave v teh revijah z visokim faktorjem vpliva. In ko imaš enkrat visok faktor vpliva, ki se računa kot povprečno število citatov članka iz revije v vseh revijah na svetu, bodo najboljša dela prihajala k tebi, kar bo še naprej dvigovalo faktor vpliva. O smiselnosti tovrstnega ocenjevanja kakovosti dela le taka prispodoba - je še manj pravično, kot GURS-ovo vrednotenje nepremičnin. Deluje tako, kakor da bi bil edini kriterij katastrska občina (ime revije) in kvadratura (število avtorjev), pa če je hiša popolnoma razbita (zanič članek) ali pa na novo prenovljena (revolucionarno odkritje). Očitki založnikom pa so izkoriščanje raziskovalcev, saj ti zanje brezplačno opravljajo pregled (peer review) prispelih člankov.

Ena izmed rešitev so odprte revije, ki pa imajo svoje bolezni, kot ugotavlja Bohannon. Članki v teh revijah so sicer zastonj za bralce, a jih morajo v večini primerov ob odobritvi objave plačati avtorji. Cene segajo od sto do nekaj tisoč dolarjev, odvisno od revije, avtorja in njegovih pogajalskih veščin.

Bohannon je izvedel zanimiv eksperiment. Pripravil je članek o odkritju zdravilne učinkovite s protirakavim delovanjem, ki naj bi jo izoliral iz nekega lišaja. Isti članek je poslal 304 znanstvenim revijam, odgovorilo pa jih je 255. Od teh jih je 157 članek sprejelo v objavo, preostale pa so ga zavrnile. S člankom je bila le manjša težava - napisal ga je neobstoječi človek iz neobstoječega inštituta, v njem pa so bile tako osnovne in očitne napake, da bi ga moral zavrniti vsakdo, ki je opravil maturo iz biologije. Seveda istega članka ni mogoče poslati v več revij, zato je Bohannon spremenil ime človeka, ustanove, lišaja in spojine, sicer pa je članek ostal z enakimi metodološkimi napakami (napačna kontrola, neskladnost rezultatov z ugotovitvijo itn.) in v enako zanikrni angleščini (da ga ne bi izdala angleščina kot materni jezik, ga je najprej z Google Translate prevedel v francoščino in nazaj v angleščino, potem pa malenkostno popravil).

Večina revij, ki je članek naposled objavila, je želela le manjše spremembe, kot je več slik, oblikovanje, daljši povzetek ipd. Seveda pa je velika večina želela plačilo, ki je glavni vir financiranja odprtih revij. Največji delež teh odprtih revij prihaja iz Indije, pa tudi sicer so večidel iz dežel v razvoju. Številni imajo precej skrite kontakte, njihovi ameriški naslovi so v resnici neobstoječe lokacije, na seznamu uredniškega odbora imajo ljudi, ki to niso več ali sploh nikoli niso bili, članke objavljajo kljub nasprotovanju recenzentov itn.

Zrasla je cela industrija izkoriščevalskih revij, ki pravzaprav objavijo popolnoma vsak "pofl", dokler ga lahko zaračunajo. Seznam vseh odprtih revij najdemo na naslovi DOAJ, medtem ko seznam lažnih in izkoriščevalskih odprtih revij sestavlja Jeffrey Beall z univerze v Koloradu. Če najdete revijo tam, se ji ognite v velikem loku. Žal je med seznamoma velik presek. Pa saj je logično - plačljive revije so lahko privoščijo vsaj malo izbirčnosti, medtem ko se morajo številne odprte revije (z vsega spoštovanja vrednimi izjemami) prostituirati.

A da ne bo pomote, Bohannon je članek uspel objaviti tudi v revijah uglednih izdajateljev, kot sta Elsevier in Wolters Kluwer. Povedna je tudi reakcija urednika ene revije izdajatelja Sage, ki je - ko je bilo vse razkrito - odgovoril, da sprejetje v objavo še ne pomeni objave (zagotovo pa pomeni fakturo v višini 3100 dolarjev) in da mora v znanstvenem svetu obstajati določena mera zaupanja in odgovornosti, ki ju je Bohannon izdal, zato je v resnici dosegel ravno nasprotno od namena. Toda saj veste - lepo je zaupati, toda treba je tudi preveriti.

Na koncu je Bohannon članek vedno sam umaknil, da ni bil objavljen. Revija, ki se je med odprtimi izkazala najbolje, je bil dejansko PLOS ONE, ki je bila ena redkih, kjer so članek zavrnili na podlagi znanstvene pomanjkljivosti. Članek namreč mnogokrat revije zavrnejo tudi zato, ker enostavno nimajo prostora za vse prispele, pa četudi metodološko ni z njim nič narobe. Gre za znanstveno odličnost, če hočete. No, PLOS ONE je ugotovil, da v omenjenem primeru ne gre zato, ampak je članek dejansko zanič.

Če se vrnemo k temi iz uvoda, vidimo, da imamo v znanstveni srenji problem. Gonja za objavami je prerasla vse meje zdravega, saj so točke (skorajda) edino merilo. Izkaže se, da objava treh člankov v Acta Chimica Slovenica (z vsem dolžnim spoštovanjem do domače revije, toda tam se objavlja kemijsko delo, ki drugam ne pride) prinese več točk kot enega v ugledni Journal of American Chemical Society. Za objavo slednjega pa ni treba le trikrat več dela in bistveno boljša ideja ter rezultati, ampak vsaj za velikostni razred več (primerjava mogoče ni stoodstotno umestna, ker objava v slednji vendarle prinese točke A'', a za veliko večino ostalih revij drži). Sistem trenutno sili v objavljanje več krajših in manj poglobljenih ali originalnih člankov, kot pa izvajanje daljših in bolj zaokroženih raziskav. In tako se dogaja, da iste stvari z malenkost spremenjenega zornega kota pogrevamo v nedogled. Saj veste, izberi molekulo ali model, izvedi meritve ali račune, napiši članek, zamenjajo molekul in ponovi vajo. In tako v nedogled. To ni dobro delo - recimo bobu bob, gre za "štancanje" - a po trenutnem točkovanju prinese ogromno točk v kratkem času. Drugi način umetnega zviševanja lastnih ocen ("nabijanje točk") so navzkrižni citati. Citate ARRS deli na čiste citate in avtocitate. Za slednje štejejo, če ima citirajoč članek vsaj enega istega avtorja kot citirani članek, in ne prinesejo nobene točke. Vsi ostali citati so enakovredni (pomembno je le, kje je bil objavljen citiran članek, ne pa citirajoč), zato niso redki primeri, ko si kolegi navzkrižno citirajo članke, a več o tem kdaj drugič.

Vse to so resni problemi, ki niso endemični le znanosti. Moderni svet je tak - hiter, površinski, zlagan in neučakan. Žal se te lastnosti plazijo tudi v znanost, zato moramo budno paziti, da jih zaustavimo, dokler je še kaj časa. Problem je, da lahko proti temu ukrepajo le ljudje s stažem in na položajih, medtem ko mlajšim raziskovalcem, ki so prekerno zaposleni, ne preostane drugega kot udinjanje starejšim kolegom, "štancanje" člankov in upanje, da bodo dobili vsaj naslednji projekt, dokler ne bo prosto kakšno stalno mesto.

21 komentarjev

WiseBear ::

Super članek. Kot novopečeni dr. se podpišem pod tole.

.:joco:. ::

Odličen prispevek.
PLOS ONE FTW!
"Is science true?"
You don't get it.
Science is the process of trying to find out what's true.

...:TOMI:... ::

Odličeno napisano. Ko bi ta članek bil povod za odpravo anomalij...
Tomi

gzibret ::

> Problem je, da lahko proti temu ukrepajo le ljudje s stažem in na položajih, medtem ko mlajšim raziskovalcem, ki so prekerno zaposleni, ne preostane drugega kot udinjanje starejšim kolegom, "štancanje" člankov in upanje, da bodo dobili vsaj naslednji projekt, dokler ne bo prosto kakšno stalno mesto.

Naslenji (predvidevam da ARRS) projekt. LOLROFL.... Za celo NAMO (naravoslovno matematične vede) jih bo v trenutnem raspisu 9 temeljnih! Torej, komplet matematika, fizika, kemija, geologija, biologika, kmetijstvo, gozdravstvo, rudarstvo, gradbeništvo, elektro, strojništvo....

Glede na to, da vlada ne zmanjšuje sredstev za raziskave, me zelo zanima, kam dejansko gre denar (malo provokacij).
Vse je za neki dobr!

Gregor P ::

Skratka sedanji sistem dobesedno sili ljudi v neproduktivno "štancanje":8)
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).

Glugy ::

Da človeška pamet pri vseh teh znanstvenikih ni sposobna najdt boljšega sistema za vrednotenje novih odkritij.

Yerpo ::

Glugy je izjavil:

Da človeška pamet pri vseh teh znanstvenikih ni sposobna najdt boljšega sistema za vrednotenje novih odkritij.


Obstaja kar nekaj boljših sistemov, recimo H-indeks, ki so nastali z napredkom informatike - včasih dejansko ni bilo možno spremljati citatov za vsakega posameznika posebej. Vendar so obstoječi sistemi preobsežni za hitre spremembe (in dosti je tudi politike vmes, ker nekaterim pač obstoječi sistem ustreza), tako da bo še nekaj vode preteklo.
Mrbit ja

Daedalus ::

Izkaže se, da objava treh člankov v Acta Chimica Slovenica (z vsem dolžnim spoštovanjem do domače revije, toda tam se objavlja kemijsko delo, ki drugam ne pride) prinese več točk kot enega v ugledni Journal of American Chemical Society.


Ja doh. Kako pa mislite, da se ohranja domača univerzitetna "elita"? Najprej si lepo prilagodijo pravila (objava v lokalni brezvezni reviji je vredna več, kot v mednarodno priznani reviji, za manj dela, seveda), pol pa lepo dodajo še kak filter prek, da ni morebitna konkurenca preveč uspešna. Stolčki garantirani. Znanost pa... jebat ga, nekaj je treba žrtvovat, ane? Pol pa na veliko opletat s pasjimi značkami in se sklicevat na "dosežke" (izpred desetletja, raje dveh).
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]

bojanradej ::

odličen tekst; ravno danes naletel na spodnje, New forms of open peer review will allow academics to separate scholarly evaluation from academic journals. http://blogs.lse.ac.uk/impactofsocialsc...!

ScumbagSteve ::

Zdaj vemo koliko verjeti raznim samooklicanim strokovnjakom tu gor, ko lepijo razne linke kot "dokazno gradivo" za podpiranje njihovih besed :D
Scumbag Štefko

T-h-o-r ::

Why have a civilization anymore
if we no longer are interested in being civilized?

Smurf ::

ScumbagSteve je izjavil:

Zdaj vemo koliko verjeti raznim samooklicanim strokovnjakom tu gor, ko lepijo razne linke kot "dokazno gradivo" za podpiranje njihovih besed :D

Tole novico si potem narobe razumel.
Se zmeraj so znanstveni clanki za nekaj razredov bolj kredibilni od random "sosed mi je povedal", "tukaj imas conspiracy youtube filmcek". Pa tudi sicerso na slo-techu v 99.9% debate o ze dokazani mainstream znanosti, kjer lahko mirne duse verjames clankom.

ScumbagSteve ::

Smurf je izjavil:

ScumbagSteve je izjavil:

Zdaj vemo koliko verjeti raznim samooklicanim strokovnjakom tu gor, ko lepijo razne linke kot "dokazno gradivo" za podpiranje njihovih besed :D

Tole novico si potem narobe razumel.
Se zmeraj so znanstveni clanki za nekaj razredov bolj kredibilni od random "sosed mi je povedal", "tukaj imas conspiracy youtube filmcek". Pa tudi sicerso na slo-techu v 99.9% debate o ze dokazani mainstream znanosti, kjer lahko mirne duse verjames clankom.


Delno se strinjam. Lahko pa si tole razlagaš tudi kot "Prjatu, verjemi mi, nikomur ni za verjet".
Scumbag Štefko

Okapi ::

Ja, ampak še vedno znanstvenemu članku bolj kot čemurkoli drugemu. V novici sicer manjka ključen podatek - kakšen je povprečen faktor vpliva tistih revij, ki so članek zavrnile, v primerjavi s povprečnim faktorjem vpliva tistih revij, ki so članek sprejele.

Sumim, da bi bil podatek v prid uglednim (in dragim) revijam, zaradi česar ga "rahlo" pristranska novica (in morda tudi sam poskus) ne navaja.>:D

O.

.:joco:. ::

Poleg tega je fajn vedet, da večino (post-doc) raziskovalecev, ki so že dolgo v neki branži dobro vedo kako gre zadeva. En sam članek ne pomeni nič in je treba počakat da ostala znanstvena srenja s področja še malo pregnete zadevo.
Bullshit se slej kot prej spuca. Tale prispevek predvsem opozarja na napake in kako bi lahko to pucanje bilo bolj učinkovito/hitrejše.
"Is science true?"
You don't get it.
Science is the process of trying to find out what's true.

Okapi ::

Bullshit se slej kot prej spuca.
Pri bolj odmevnih zadevah se, drugače pa obstaja en kup "manj pomembnih" člankov oziroma ugotovitev, ki se lahko nepreverjeno citirajo desetletja dolgo. En tak klasičen primer je recimo število človeških kromosov. Leta 1923 je izšel članek, v katerem so objavili, da je 48 kromosomov. In potem so ta članek citirali in ponavljali številko 48 še dobrih 30 let, dokler ni nekdo bolj natančno pogledal in naštel samo 46 kromosomov (ter bil o tem tako prepričan, da je napisal članek). Pa število kromosomov je vse prej kot "manj pomemben" podatek.

V resnici je en kup zadev, ki jih praktično nihče ne preverja, če je podatek že objavljen. Običajno to stori šele tisti, ki se mu objavljeni podatek ne sklada z dobljenimi rezultati in ko izloči vse svoje napake, gre iskat še napake v že objavljenih rezultatih.

Ampak druge možnosti tako ali tako ni - nihče ne trdi, da je sistem idealen, samo boljšega še ni nihče pogruntal. Tudi kar se tiče točkovanja in naših znanstvenikov. Menda ne misli kdo, da je bilo bolje včasih, ko ni bilo točk in je za 80% naših znanstvenikov po inštitutih in na faksih veljala tista Prešernova zbadljivka na račun Čopa - "Dihur, ki noč in dan žre knjige, od sebe pa ne da najmanjše fige";)

O.

LuiIII ::

Glede na to, da sem bil nekoč zaposlen na nekem inštitutu bom rekel samo to, da strokovnost, znanje in razvoj niso bili ravno primarni dejavniki obstoja.

shubell ::

TBit ::

Zelo vredu članek.
Kar nakazuje dejstvo tudi o našem MMC portalu, ki podobno štanca (prepisuje) novice.

Tako da ne vem če je vredno čestitati avtorju članka, za njegovo citiranje na MMC portalu.

CaqKa ::

Okapi ::

Ko imaš enkrat Nobelovo, si lahko privoščiš marsikaj.;) Ampak v resnici si je izbral napačne tarče. Namreč, niso krivi Nature, Science in Cell, ampak razna ministrstva in ustanove, ki jim dajejo preveliko težo. Naj bojkotira tiste, ki podeljujejo denar po napačnih kriterijih, če upa.>:D

O.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Elsevier dobil tožbo zoper Sci-hub

Oddelek: Novice / Znanost in tehnologija
199116 (6984) mojster_joni
»

Kako objaviti nesmiseln znanstveni članek

Oddelek: Novice / Znanost in tehnologija
128313 (5596) martincek1
»

Harvard se pridružuje boju zoper pohlepne založnike znanstvenih revij

Oddelek: Novice / Znanost in tehnologija
4418944 (15590) ZaphodBB
»

Upor proti izdajatelju strokovnih revij Elsevier

Oddelek: Novice / Znanost in tehnologija
348097 (5896) lmorgh
»

Preprodaja gesel za dostop do znanstvenih revij (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
5123866 (21263) poweroff

Več podobnih tem