Business Insider - Temelj znanstvenih raziskav je ponovljivost, najsi gre za zmožnost ponovitve in rezultatov poizkusa ali pa vsaj rezultatov iz zbranih surovih podatkov z isto metodologijo, kadar poizkusa ni mogoče ponoviti. Znanost ima svoje probleme, ki so po navadi posledica malomarnosti ali cel namernega ravnanja avtorjev. Narašča število umaknjenih člankov, ker so v njih neresnični podatki ali popolne neumnosti. Velike ponareditve odmevnih rezultatov so sorazmerno redke in imajo resne posledice, pri vseh teh nepravilnosti pa gre za manjši del člankov - velika večina je še vedno povsem resničnih in ponovljivih.
To pot je ponovno pod drobnogledom ekonomija, ki nam je dala eno najbolj razvpitih afer, ko sta Carmen Reinhart in Kenneth Rogoff v znamenitem članku dokazovala, da se gospodarska rast držav hitro upočasni, ko dolg preseže 90 odstotkov bruto družbenega proizvoda. Sliši se logično, a iz podatkov ta izsledek ne drži, saj sta v članku storila nekaj napak. Najnovejši članek Andrewa Changa in Phillipa Lija, ki sta zaposlena v ameriški centralni banki, pa povzroča dodatne preglavice kar celotni znanstveni disciplini. Ugotovila sta, da večina člankov iz ekonomije ni ponovljiva, zato so izsledki pod vprašajem.
Chang in Li sta pregledala 67 člankov v 13 uglednih revijah in ugotovila, da je bilo mogoče iz podatkov in metodologije v člankih reproducirati le tretjino rezultatov. Res je, včasih so znanstveniki pri objavljanju malo površni in hote ali nehote kakšnega metodološkega detajla ne objavijo. Ni lepo, a se dogaja. Chang in Li sta zato kontaktirala avtorje člankov in z njihovo pomočjo poizkušala dobiti enake rezultate iz istih podatkov. Še vedno je to uspelo le za slabo polovico člankov. Od tod sta, nekoliko pompozno, zaključila, da je večina ekonomskih raziskav neponovljivih in zato neuporabnih.
Ne bi bilo pravično, da bi se osredotočili le na ekonomijo. Podobne težave imajo tudi druge družboslovne vede, zlasti psihologija, pa tudi medicinske raziskave raka niso nič boljše. Že pred desetletjem je John Ioannidis utemeljeval, kako je večina objavljenih raziskav nujno neresničnih.
Situacija je zapletena, pri čemer vse krivde ne nosijo avtorji. Ločiti je namreč treba dvoje različnih težav, ki imata sicer enak rezultat. Če izsledki iz surovih podatkov z znano metodologijo niso ponovljivi, je z raziskavo nekaj narobe, avtorje pa lahko upravičeno za ušesa. To je problem opisanih ekonomskih člankov. Po drugi strani pa je svet velik in zapleten, zato številne raziskave kljub znanstveni rigoroznosti ne odslikavajo realnosti, ker je parametrov in spremenljivk preprosto več. Svet pač niso samo atomi vodika, pa še ti nam povzročajo preglavice pri opisu.
Z ekonomijo pa so stave večje kot drugod. Makroekonomske odločitve centralnih bank ter poteze vlad in zakonodajalca, ki vplivajo na življenje slehernika, imajo često zaslombo prav v ekonomski teoriji. Zato je hudo neprijetno, ko se izkaže, da ekonomske resnice niso tako zelo absolutne, kot bi ekonomisti želeli.
Problem družboslovja je ker ti lahko prov mislš sam tega ne morš dokazat..še posebej je problem če je že "dokazano" kot drugačno od tvojega. Če si študent ti v bistvu najprej nataknejo ovratnico da ne greš predaleč..šele potem ko si pa že čisto v okvirju in doktoriraš in vse...šele potem pa lahko spreminjaš to znanost ampak problem je ker vso to pot k si jo prehodu do sm si porabil za okvirjevanje potrjevanje njihovih postavljenih okvirjev. Torej..juhu? Ne bi reku. Predvsem bi moral biti družboslovec družboslovec preko učinkovitosti. Če je nekdo učinkovit in je samouk pa naj bo.. in to na priznan način..sam rezulate naj pokaže. Ne pa da se unič kreativni duh z obvezno akademskostjo. Dejansko si kot družboslovec omejen ker ne morš tko k mizar dobit pač delovne kvalifikacije po tem ko si kot samouk se naučil kako mizariti. Ne moreš..ne pustijo ..sistem ne dovoli. Enostavno je to razervirano za piflarje ne pa za tiste ki imajo čut za sočloveka na ravni ki ni strokovno zbirokratizirana. V glavnem družboslovje zna bit problematično iz večih vzornih kotov. Pa ne rečem da je slabo..prov je da obstaja samo zorganizirat bi ga mogl drgač ane.
Problem družboslovja je ker ti lahko prov mislš sam tega ne morš dokazat..še posebej je problem če je že "dokazano" kot drugačno od tvojega. Če si študent ti v bistvu najprej nataknejo ovratnico da ne greš predaleč..šele potem ko si pa že čisto v okvirju in doktoriraš in vse...šele potem pa lahko spreminjaš to znanost ampak problem je ker vso to pot k si jo prehodu do sm si porabil za okvirjevanje potrjevanje njihovih postavljenih okvirjev. Torej..juhu? Ne bi reku. Predvsem bi moral biti družboslovec družboslovec preko učinkovitosti. Če je nekdo učinkovit in je samouk pa naj bo.. in to na priznan način..sam rezulate naj pokaže. Ne pa da se unič kreativni duh z obvezno akademskostjo. Dejansko si kot družboslovec omejen ker ne morš tko k mizar dobit pač delovne kvalifikacije po tem ko si kot samouk se naučil kako mizariti. Ne moreš..ne pustijo ..sistem ne dovoli. Enostavno je to razervirano za piflarje ne pa za tiste ki imajo čut za sočloveka na ravni ki ni strokovno zbirokratizirana. V glavnem družboslovje zna bit problematično iz večih vzornih kotov. Pa ne rečem da je slabo..prov je da obstaja samo zorganizirat bi ga mogl drgač ane.
@Glugy si družboslovec? Veliko napisanega z malo povedanega. Kar sicer sovpada z mojim laičnim posploševanje družboslovja (kar ni nujno slabo, le zelo drugačno od večinoma eksplicitnega naravoslovja, ki je ravno obratno: z malo napisanega lahko povemo zelo veliko).
Predvsem je treba ločit par stvari, ki jih je avtor novice malo pobrkal. Kot prvo, ni problem v ponovljivosti raziskave, ampak v ponovljivosti rezultata. Čemur se pravilneje reče zmožnost napovedovanja (to je bistvo znanosti, ne ponovljivost raziskav). Kot drugo, če rezultati niso ponovljivi, sta v osnovi dva vzroka. Lahko je teorija (oziroma hipoteza), na osnovi katere napovemo izid, napačna, lahko pa je teorija pravilna, ampak so okoliščine drugačne oziroma spremenljive. Okoliščine so pa lahko drugačne zato, ker iz neznanja ali površnosti nismo zagotovili enakih pogojev oziroma upoštevali vseh vplivov (tudi fizika metanja kamenja "odpove", če ne upoštavamo vetra), ali pa ker jih preprosto ne moremo (bodisi, ker jih je preveč - kaos -, ali ker se jih ne da - recimo kvantna nedoločljivost).
Pri ekonomiji je osnovni problem, da v glavnem ne moremo nadzorovati vseh okoliščin, v katerih poteka poskus, ker je človeška družba preveč kompleksna. Dodaten problem je, ker ekonomisťi to težko priznajo.
"Lahko je teorija (oziroma hipoteza), na osnovi katere napovemo izid, napačna, lahko pa je teorija pravilna, ampak so okoliščine drugačne oziroma spremenljive. " Tudi v drugem primeru je teorija napačna, ker ne upošteva vseh spremenljivk. To naj bi bilo znanstveno delo, ne pa umetniški pristop.
Predvsem je treba ločit par stvari, ki jih je avtor novice malo pobrkal. Kot prvo, ni problem v ponovljivosti raziskave, ampak v ponovljivosti rezultata. Čemur se pravilneje reče zmožnost napovedovanja (to je bistvo znanosti, ne ponovljivost raziskav). Kot drugo, če rezultati niso ponovljivi, sta v osnovi dva vzroka. Lahko je teorija (oziroma hipoteza), na osnovi katere napovemo izid, napačna, lahko pa je teorija pravilna, ampak so okoliščine drugačne oziroma spremenljive. Okoliščine so pa lahko drugačne zato, ker iz neznanja ali površnosti nismo zagotovili enakih pogojev oziroma upoštevali vseh vplivov (tudi fizika metanja kamenja "odpove", če ne upoštavamo vetra), ali pa ker jih preprosto ne moremo (bodisi, ker jih je preveč - kaos -, ali ker se jih ne da - recimo kvantna nedoločljivost).
Pri ekonomiji je osnovni problem, da v glavnem ne moremo nadzorovati vseh okoliščin, v katerih poteka poskus, ker je človeška družba preveč kompleksna. Dodaten problem je, ker ekonomisťi to težko priznajo.
Eno je moč napovedovanja, ki ga ima teorija. Tu je jasno, da pri ekonomiji in psihologiji itd. ne moremo dobiti stoodstotne napovedljivosti, ker se svet spreminja.
Drug problem, o katerem govori novica, pa je ponovljivost rezultatov. Če vzameš iste surove podatke, kot so bili uporabljeni v članku, in ne moreš dobit istih rezultatov, je nekaj hudo hudo narobe.
Temelj znanstvenih raziskav je ponovljivost, [...]
Ekonomija ni znanstvena veda. Debata zaključena. :)
V Guardianu je bil en članek:
One problem with economics is that it is necessarily focused on policy, rather than discovery of fundamentals. Nobody really cares much about economic data except as a guide to policy: economic phenomena do not have the same intrinsic fascination for us as the internal resonances of the atom or the functioning of the vesicles and other organelles of a living cell. We judge economics by what it can produce. As such, economics is rather more like engineering than physics, more practical than spiritual.
Največji problem ekonomije kot znanosti je eksperimentiranje. Ne moreš izolirat nek pojav tako kot v fiziki in ga potem proučevat in merit.
Že merjenje inflacije je nemogoče oz rezultati ne dajo pravih informacij. Inflacija oz mera vrednosti denarja je pa za ekonomijo tako kot meter. Kako bi zgledalo da se vam fizikom, inžinirjem ipd meter spreminja z meseci oz leti. In sami nebi vedeli za koliko se je to spremenilo. Recimo, a je denar več vreden, če je cena iphona na začetku leta višja kot na koncu leta. Ali je to posledica tega da bo Apple izdal nov telefonč čez par dni. In se trenutni generaciji iztekal življenjski cikel, ali pa je Samsung izdal nov tulifon. Tako merjenje ne moreš replicirati v laboratoriju.
Če pa iz istih podatkov ne dobiš enakega rezultata je to prevara isto velja za fiziko ali za ekonomijo. Očitno je več prevarantov e ekonmiji.
Problem je, da je treba za ponovljivost celotnega postopka raziskave potrebno temu namenit čas in aktivno delat na tem. Postopek mora zato biti kolikor je mogoče determinističen. Random data mora imet znan seed, softver mora imet znane verzije in build. Vhodne datoteke za simulacijske programe bi morale biti objavljene v celoti, pa skoraj praviloma niso...
Pri ekonomiji in drugih teoretičnih znanostih (modeliranje) ti uspe zagotoviti ponovljivost edino tako, da na točno določen datum preneseš vhodne podatke in poskriptaš celoten proces obdelave od začetka do konca. Čim pa klofaš ukaze ad hoc in nimaš _popolne_ sledljivosti, je ponovljivost praktično nedosegljiva, ker se niti prvotni raziskovalec ne bo spomnil na čisto vsako malo operacijo, ki jo je moral izvest, da je dobil rezultat.
Kot avtor diplome s tega podrocja (ekonomija-statistika) se sprasujem kako je sploh mozno, da nekdo da od sebe nekaj, kjer rezultati niso ponovljivi.
Jaz sem navedel vire podatkov, ki so prosto dostopni (primarno SLRS), zraven sem prilozil izpise iz SPSSa na papirju in za povrh se kompletne SPSSove fajle z vso vsebino (viri, racunica, grafikoni). Opisal sem tudi inkrementalni postopek razvoja vseh modelov, katerih rezultate sem interpretiral.
Vsak ekonomist, ki ima pet minut prostega casa, bi moral biti sposoben preveriti moje navedbe. Kako neumen/naiven bi torej moral biti, da bi dal od sebe nekaj, kar je zelo lahko preverljivo, in na cemer temelji kredibilnost?
"Lahko je teorija (oziroma hipoteza), na osnovi katere napovemo izid, napačna, lahko pa je teorija pravilna, ampak so okoliščine drugačne oziroma spremenljive. " Tudi v drugem primeru je teorija napačna, ker ne upošteva vseh spremenljivk. To naj bi bilo znanstveno delo, ne pa umetniški pristop.
Morda nisem dovolj jasno napisal - okoliščine so drugačne, samo tega ne upoštevamo (ker mislimo, da niso drugačne, čeprav v resnici so).
Recimo po Newtonovih zakonih napoveš, kako se gibljejo planeti. Potem pa ugotoviš, da se Uran ne giblje tako, kot bi se moral. Teorija je še vedno pravilna, samo ti ne veš, da se nekje tam skriva še Neptun.
Drug problem, o katerem govori novica, pa je ponovljivost rezultatov. Če vzameš iste surove podatke, kot so bili uporabljeni v članku, in ne moreš dobit istih rezultatov, je nekaj hudo hudo narobe.
Kot rečeno, na te surove podatke morda vpliva še kaj, česar ne poznaš, oziroma tega ne upoštevaš, čeprav bi moral.
"Lahko je teorija (oziroma hipoteza), na osnovi katere napovemo izid, napačna, lahko pa je teorija pravilna, ampak so okoliščine drugačne oziroma spremenljive. " Tudi v drugem primeru je teorija napačna, ker ne upošteva vseh spremenljivk. To naj bi bilo znanstveno delo, ne pa umetniški pristop.
Morda nisem dovolj jasno napisal - okoliščine so drugačne, samo tega ne upoštevamo (ker mislimo, da niso drugačne, čeprav v resnici so).
Recimo po Newtonovih zakonih napoveš, kako se gibljejo planeti. Potem pa ugotoviš, da se Uran ne giblje tako, kot bi se moral. Teorija je še vedno pravilna, samo ti ne veš, da se nekje tam skriva še Neptun.
Drug problem, o katerem govori novica, pa je ponovljivost rezultatov. Če vzameš iste surove podatke, kot so bili uporabljeni v članku, in ne moreš dobit istih rezultatov, je nekaj hudo hudo narobe.
Kot rečeno, na te surove podatke morda vpliva še kaj, česar ne poznaš, oziroma tega ne upoštevaš, čeprav bi moral.
O.
Mislim, da je bilo iz članka jasno razvidno, da gre za ponovljivost rezultatov v raziskavi na podlagi objavljenih podatkov. Torej, na osnovi teh podatkov sem po tej metodi dobil te rezultate. Če tukaj ni ponovljivosti je članek popolnoma brez vsake vrednosti oz. je celo škodljiv, ker zavaja! To je edina ponovljivost, ki je v v znanosti pomembna. Izračuni za realne primere pa so približki in odstopanja od realnosti so pričakovana (seveda si želimo čimmanjša odstopanja).
Mešanje tega in praktičnih primerov nima nobenega smisla.
Je pa res, da lahko v nekaterih primerih na rezultate vpliva tudi verzija programa, ki smo ga uporabili za simulacijo. Po drugi strani pa dvomim, da je to dejanski problem, ker večina študij se ne oklepa rezultatov dobljenih s pomočjo simulacij in mislim, da je nekorektno in nekredibilno, če v takem primeru verzija programske opreme ni navedena. Mislim tudi, da takšne raziskave niso najbolj kredibilne.
Če v raziskavi/članku ni (zelo) natančno napisano, kako so prišli od podatkov do rezultata, je težko priti do povsem enakega rezultata (ne samo v ekonomiji). Ampak to v resnici pomeni samo, da so avtorji površno opisali raziskavo oziroma postopek. Mogoče so standardi pisanja znanstvenih člankov v ekonomiji drugačni oziroma slabši, to je pa tudi vse, kar lahko samo na podlagi tega rečeš.
Skratka, ločit je treba dve zadevi - ponovno preračunavanje že izmerjenih podatkov in ponovitev raziskave oziroma poskusa z zajemom novih podatkov.
Če je problem v prvem, bi moral to prispevek posebej poudarit - in analizirati vzroke, ker samo na osnovi tega reči, da je z ekonomijo kot znanostjo kaj narobe, je precej zgrešeno.
Če v raziskavi/članku ni (zelo) natančno napisano, kako so prišli od podatkov do rezultata, je težko priti do povsem enakega rezultata (ne samo v ekonomiji). Ampak to v resnici pomeni samo, da so avtorji površno opisali raziskavo oziroma postopek. Mogoče so standardi pisanja znanstvenih člankov v ekonomiji drugačni oziroma slabši, to je pa tudi vse, kar lahko samo na podlagi tega rečeš.
Skratka, ločit je treba dve zadevi - ponovno preračunavanje že izmerjenih podatkov in ponovitev raziskave oziroma poskusa z zajemom novih podatkov.
Če je problem v prvem, bi moral to prispevek posebej poudarit - in analizirati vzroke, ker samo na osnovi tega reči, da je z ekonomijo kot znanostjo kaj narobe, je precej zgrešeno.
O.
Problem je oboje. Šlamparija pri navajanju metodologije je itak klasika v vsej znanosti. Ampak načeloma je tako, da če se s področjem ukvarjaš, veš, kaj je kdo mislil. Načeloma. Tale dva tipa sta ekonomista iz FED-a, ki sta najprej poizkusila sama ponovit, pa ni šlo. Potem sta kontaktirala prvotne avtorje, kako so to naredili. Sta ponovila, in ni bilo isto. TO je problem. Sploh ker se priporočila in politike sprejemajo na podlagi člankov, ne na podlagi neke abstraktne ekonomije.
Da je ekonomija omejena zaradi tega, ker eksperimentira na realnih sistemih, ki jih ni mogoče nadzorovati ali celo ponavljati eksperimentov, je pa drug problem. Ni rečeno, da manjši
Problem je edino v tem, da se niso poglobili v vzroke, zakaj ne uspejo ponoviti rezultata. Lahko so se avtorji zmotili ali goljufali*, lahko tisti, ki ponovno računa, ne zna računati, ali pa uporablja drugačne formule.
* resničen primer z ruskega vlaka, še v sovjetskih časih. Sedimo v vagonu-restavraciji in naročimo večerjo. Ko je treba plačati, dobimo račun (izpis registrske blagajne). Na kup dajemo denar, kolikor je vsak pojedel in popil, in ko preštejemo kupček, manjka nekaj rubljev. Še enkrat vsak preračuna, koliko je zapravil, in še vedno manjka nekaj rubljev. Gremo na računu preverjati posamezne postavke in vse se ujema s tem, kar si je vsak zase naračunal in dal na kupček. Ampak še vedno manjka nekaj rubljev. Potem se pa nekdo spomni, da bi šel še enkrat seštevati tisto z računa (čeprav je bil izpis iz registrske blagajne). In res, vsota se ni ujemala s tistim, kar je seštela blagajna.
Točnega vzroka nismo šli raziskovati, ampak zelo nepošteno bi bilo za neponovljivost rezultata okriviti matematiko. Ko smo povedali točajki, da je račun napačen, je še enkrat seštela na roko in za napačno vsoto na računu okrivila "mašino".
Recimo po Newtonovih zakonih napoveš, kako se gibljejo planeti. Potem pa ugotoviš, da se Uran ne giblje tako, kot bi se moral. Teorija je še vedno pravilna, samo ti ne veš, da se nekje tam skriva še Neptun.
Ubistvu teorija pove kje se bo nahajal neptun. Če ga tam ni. Je pa jeba.
Recimo po Newtonovih zakonih napoveš, kako se gibljejo planeti. Potem pa ugotoviš, da se Uran ne giblje tako, kot bi se moral. Teorija je še vedno pravilna, samo ti ne veš, da se nekje tam skriva še Neptun.
Ubistvu teorija pove kje se bo nahajal neptun. Če ga tam ni. Je pa jeba.
No, v bistvu teorija prav nič ne napove, da je tam Neptun. Izračuni bi pač izgledali narobe. More pa en znanstvenik napovedat, da je mogoče to odstopanje posledica še enaga planeta in ponoviti vse izračune. To včasih ni trivialno.
V takem primeru so načeloma tri možnosti: 1) Teorija je napačna 2) Pri gibanju Urana moraš upoštevati še nek dejavnik, ki ga nisi. 3) Gibanje Urana si napačno izmeril
Pri ponovljivosti samih izračunov pa gre za načeloma čisto drug problem, ki nima dosti (ali nič) skupnega s pravilnostjo oziroma znanstvenostjo teorije. Ker namreč tudi če je teorija popolnoma napačna, so lahko izračuni povsem ponovljivi. Izračuni krožnic planetov po Ptolomejevi teoriji so lepo ponovljivi.
Zato je hudo neprijetno, ko se izkaže, da ekonomske resnice niso tako zelo absolutne, kot bi ekonomisti želeli.
Ekonomist, ki misli, da pozna resnico, celo absolutno resnico, ni znanstvenik. Prej dogmatik.
In zakaj je analiza Carmen Reinhart in Kennetha Rogoffa, ki pred objavo ni bila podvržena strokovni recenziji (peer review), obveljala kot Resnica? Ne zaradi svoje teoretske/analitske prepričljivosti, kot Resnico jo je pravzaprav ustoličila politika, ki služi interesom nekaterih ekonomskih akterjev.
Recimo po Newtonovih zakonih napoveš, kako se gibljejo planeti. Potem pa ugotoviš, da se Uran ne giblje tako, kot bi se moral. Teorija je še vedno pravilna, samo ti ne veš, da se nekje tam skriva še Neptun.
Ubistvu teorija pove kje se bo nahajal neptun. Če ga tam ni. Je pa jeba.
Boljša bi bila primerjava z Merkurjem. In ravno pri tem planetu so fiziki našli en zelo lep izraz: teorija je "nepopolna".
Kar za njih pomeni, da lahko pravilno napove stvari pri določenih pogojih, ne pa pri vseh.
Ja, v bistvu je edini ponovljiv rezultat vsegaskupaj to, ta je rezultat izračuna neponovljiv. To pa zato, ker makroekonomija sloni na točno istih izračunih in predikcijah, vsled optimizacije se pa obnaša mimo teh izračunov: 1+1!=2 ampak 2 in še nekaj. Zavoljo napredka.
Ko smo povedali točajki, da je račun napačen, je še enkrat seštela na roko in za napačno vsoto na računu okrivila "mašino".