Slo-Tech - Umetna inteligenca se v raziskavah približuje medicini in psihologiji, kar je precej slabše, kot se sliši. V zadnjem času ima znanost čedalje večji problem s ponovljivostjo rezultatov, medicina in psihologija pa pri tem prednjačita.
Pričakovali bi, da so rezultati znanstvenih raziskav v specializiranih revijah tako natančno popisani, da jih lahko kadarkoli ponovimo in pridemo do istih zaključkov. Žal je resnica bistveno drugačna. Na vsakem področju se najdejo raziskave, ki jih ni mogoče ponoviti; na nekaterih področjih pa jih je nadpovprečno veliko. Pri tem ne gre nujno za ponarejanje, goljufanje ali namerno izbiranje pozitivnih rezultatov, temveč pogosto za površno izvedbo, nepopoln opis, slabo dokumentacijo itd. Problema se zavedajo tako raziskovalci kakor revije in financerji, a pametnih rešitev še ni.
Raziskave umetne inteligence so med tistimi, kjer je težav s ponovljivostjo največ. Raziskovalci umetne inteligence ne morejo ponoviti starejših raziskav ali tamkajšnjih izsledkov uporabiti za primerjave, ker koda, algoritmi in podatki pogosto niso nikjer javno objavljeni. Neobjavljanje izvorne kode je osnovni problem, zakaj starejših izsledkov ni mogoče vedno uporabiti za primerjavo z novimi. Odd Erik Gundersen z univerze v Trondheimu je pregledal 400 algoritmov, ki so bili opisani v zadnjih dveh letih, in ugotovil, da je le za 6 odstotkov koda dostopna. Le pri tretjini so znani podatki, na katerih so jih urili, in le polovica je opisala vsaj psevdokodo.
Razlogi za neobjavo kode so seveda mnogoteri in legitimni - avtorske pravice, zahteve privatnih financerjev, nedokončanost, odvisnost od druge nejavne kode, izgubljena koda (ljudje menjajo službe, mlajši doktorji še posebej), tekmovalnost v znanosti itd. Tudi če kodo poznamo, je pri umetni inteligenco zelo pomembno, da poznamo podatke za trening. Z različnimi so rezultati lahko zelo drugačni. Potem je tu še cel kup malenkosti, odločitev in podrobnosti, ki so lahko ključne za rezultate, a o njih v člankih ne piše nič.
Psihologija, kjer je bil problem neponovljivosti zelo pereč, je začela težavo reševati. Postavili so nove protokole in smernice, danes je pri objavi rezultatov raziskav ponovljivost ključna. Nekaj podobnega se začenja tudi na področju umetne inteligence. Joaquin Vanschoren z univerze v Eindhovnu je postavil stran OpenML, kamor lahko raziskovalci odložijo algoritme in podatke. IBM Research je predstavil orodje, ki na podlagi znanih informacij poizkuša obnoviti neobjavljeno kodo ostalih nevronskih mrež. Gre za nevronsko mrežo, ki bo raziskovalcem prihranila precej časa. Leta 2015 je bila ustanovljena revija ReScience, ki se posveča predvsem objavi ponovitev, a za zdaj nihče ne upa objaviti negativnih rezultatov (neuspelih ponovitev).
Znanstveniki ob tem poudarjajo, da je glavni problem moderni način financiranja in pritisk. Ker morajo ves čas producirati nove rezultate in članke, nimajo časa preverjati algoritmov na čisto vseh mogočih pogojih, pisati poglobljenih člankov z vsemi nadrobnostmi in poizkusi. Medtem pa vsak dan na arXiv še pred recenzijo pristanejo novi in novi članki.
saj ponovljivost ni mogoca, ker je v clankih dalec, dalec premalo informacij. velika vecina jih pac nima objavljenega githuba s kompletno kodo. to je razumljivo, saj ne delajo vsi open-source, in cez cas se rezultati tako ali drugace vidijo v nekem produktu oz. storitvi.
Ne razumem kako ni pametne rešitve? Revije in publicisti naj pač ne objavijo če ne zadostuje znanstvenim kriterijem. Sicer bi bilo njim na škodo, ker zdaj vsak nekateri dajejo prednost kvantiteti pred kvaliteto, ampak če bodo šli tako naprej bomo kmalu spet v inkviziciji. Znanost ne sme bit zgolj orodje posla in politike.
večinoma se objavlja članke v znanstvenih revijah, ker tako zahteva delovno mesto. pol pa kr neki objavljajo brez repa in glave da lahko obdržijo delovno mesto. večina je pol samo sebi namen.
V programiranju je itak največji problem, ko ne moreš ponoviti napake, ki jo javi stranka.
Delajo nekaj, kar še sami ne vedo, zakaj delajo tisto točno. Dejmo reproducirat nevornski sistem gliste, se bomo že kaj naučili, ko bomo to delali. Ko pa kdo vpraša, zakaj točno to delajo in kaj so se iz tega naučili te imajo pa za neumnega. Zato se noben ne upa vprašat, kaj sploh delajo. Kaj je osnovni motiv globalno gledano? To se ne moreš nikoli prevečkrat vprašat, se pa ljudje tako bojijo to spraševat, da ne bi izpadli neumni, da si ne bi uničili ugleda.
Ne naredijo si dovolj dobrega načrta na začetku, kaj mora biti input (testni primeti) in kaj output (testni rezultati) in ne zapišejo si tega. Pol pa seveda ne vedo, kaj naj bi raziskava sploh delala, ko že vse pozabijo čez leta.
A iz mojega "Obvladat osnove je bistvo za uspeh. " si razumel "Vse kar so naredili je zanič".
No, sej razumem, da ljudje ne berete kaj dejansko pove človek ampak berete znake med vrsticami, na kaj namiguje. Se moram izboljšat tukaj. Samo še na to mislit, katere namige bo potegnil poslušalec, ne pa kaj dobesedno povem. To mi je postalo precej jasno v zadnjih dneh.
Seveda je bolje nekaj delati kot pa nič. Pišem o tem, kako še izboljšat stvari, kaj je pomembno, ko delaš. To pa so osnove. Osnove pa so za moje pojme da veš, kaj bi rad dosegel in da veš, kako boš to stestiral, s točnimi primeri in čimveč naj jih bo. Tega jim očitno manjka, če poskusov ne morejo ponoviti. Če bi to imeli bi poskuse že nekako ponovili, če ni na razpolago psevdokode bi pa novo napisali. Za osnove pa niso poskrbeli zato, ker je to težko področje, v bistvu zelo podobno kot psihologija in so si mislili, da je bolje, da najprej začnejo delat in bodo že vmes ugotovili, kaj točno hočejo doseči. Niso vedeli, kje se lotiti po domače povedano in je bil cel projekt en sam neorganiziran test. Kar je čist razumljivo seveda, to je zelo težko področje.
Površno bereš, naravnan si v kritiko, zato ne vidiš rešitev, kajti tudi rešitev sem ponudil. Pripravit si točne teste in kakšen mora biti rezultat. To je najboljši nasvet za AI. V to smer je treba iti. Vse drugo je tavanje v megli. Lahko pričakujemo zanimive stvari v AI po moje v kratkem. Že dolgo govorijo to ampak zdaj pa res. Kako vem? Zato ker so že tu. Roboti ki smučajo in vozijo so že tu. Google prevajalnik je tudi impresiven. WTF.
Kaj pa tovarna robotov v Kočevju, ki jo bodo odprli? Ni nobene novice o tem. Lahko bi šli slo tech novinarji mau v akcijo in naredili kakšen intervju.
Verjetno veš, da AI projektov ni tako preprosto testirati ter da potrebuješ najmanj snapshote, ker se zadeve učijo in dataseti več niso enaki po vsakem naslednjem poskusu. Včasih pač te zadeve preprosto vzamejo preveč časa in se jih predvidevam da zaradi pomanjkanja sredstev sploh ne lotevajo.
Vse se da, če se hoče. Samo vprašanje je kaj ti je pomembno. Ali ti je pomembno, da veš kaj delaš in točno vse lahko stestiraš ali pa delaš nekaj z občutkom in si zadovoljen s tem. Odvisno od značaja človeka v bistvu. Meni je pomembno, da imam vse pod nadzorom zavesti, z občutkom nerad delam. Tudi AI se da programirat s točnimi testi in točnimi rezultati. Ljudje tega ne delajo, ker čakajo, da se bo program sam napisal in iz lenobe in zaradi značaja.
Stochastični proces je ugibanje: "the formation or expression of an opinion or theory without sufficient evidence for proof. " Čist jypejevsko zveni. Tudi to bi znalo biti koristno, ko delaš teste, kako nekaj narediti. Ne smeš pa iz tega pričakovat rezultatov, lahko mimogrede naletiš na njih. Podobno brainstormingu, pridobivanju čimveč teorij, ki jih moraš potem tudi preizkusiti v praksi. Ampak tudi tukaj moraš imeti nekaj, kar točno stestira tvojo izmišljeno teorijo. V bistvu je vse, kar je bilo narobe z AI ravno ta način. Upanje na nek čudež, namesto da bi se usmerili v praktične dosežke, korak za korakom in bili zadovoljni z malimi sanjajo o singularnosti in o tem, kako se bo AI sam razvijal. Bedarija.
V Kočevju bodo baje rabili 200 strokovnjakov, največji svetovni proizvajalec industrijskih robotov. Saj v Ribnici že imajo nekaj. Gre se za industrijske robote, kjer prevladuje predvsem strojno znanje po moje, ne toliko programersko. Po moje to okolje ni ravno idealno za razvoj neke hude inteligence, boljše kakšno, kjer imaš opravka z jezikom.
No bomo videli, kdo ima prav. Drgač pa mi tvoja družba ne paše. Ne zato, ker se ne strinjava ampak zarad tvojega značaja. Tako da mi ne več odgovarjat, jaz pa tebi ne bom.
GT: The Google compiler is also impressive. compiler?
Površno bereš, naravnan si v kritiko, zato ne vidiš rešitev, kajti tudi rešitev sem ponudil. GT: You are superbly reading, you are in criticism, so you do not see a solution, because I also offered a solution. površno -> superbly?
Drgač pa mi tvoja družba ne paše. Ne zato, ker se ne strinjava ampak zarad tvojega značaja. Tako da mi ne več odgovarjat, jaz pa tebi ne bom.
OK, samo še eno vprašanje imam zate: Zakaj se ti zdi, da lahko od mene zahtevaš, da te ignoriram? Moja družbena funkcija na tem forumu je, da ljudi spravim v intelektualno zadrego, ker je to eden najboljših katalizatorjev kritičnega razmišljanja.
Jype, zato ker tako življenje funkcionira, da gremo stran od ljudi, za katere opazimo, da nam škodijo. Če bi videl, da mi debatiranje s teboj koristi ti ne bi tega rekel ampak ni zame taka vrsta pogovarjanja. Če se o nečem pogovarjam s teboj malo izgubim motivacijo za tisto, tega pa ne bi rad.
Ja. Ženejo ga čustva k tem početju (ker mu gre in je zasvojen ratal s tem), potem pa si razlaga, da to dela iz koristi za družbo (kot si je že marsikdo pred njim). Ker pač človek ne more živet, če se čustva in razum ne ujemata.
Iz lastnih raziskav tekom let vem, da ga ženeta čokolino in nutela. Raziskave žal niso objavljene in so pomanjkljivo dokumentirane (da ostanemo pri temi).
Umetna inteligenca se v raziskavah približuje medicini in psihologiji, kar je precej slabše, kot se sliši. V zadnjem času ima znanost čedalje večji problem s ponovljivostjo rezultatov, medicina in psihologija pa pri tem prednjačita.
Tukaj se mal mesajo jabolka in hruske. Ce raziskave ni mozno ponoviti, ker je uporabljena metoda nezanesljiva in da vsakic drugacne rezultate je drugacen problem, kot ce ponovljivost ni mozna zaradi nepopolnih informacij (s katerimi bi lahko dobili enake rezultate). Res je, da pri drugem problemu ostali ne morejo preverit, ce gre tudi za prvi problem, vendar je treba tudi upostevat, da precej clankov zadnje case pride iz industrije, kjer seveda hocejo zascitit intelektualno lastnino. Zakaj bi se oni moral sekirat, ce drugi ne morejo dobit istih rezultatov, oz. se bolje je, ce jih ne morejo, ce zelijo imeti prednost pred konkurenco. Se pa strinjam, da je to problem za znanost, kjer je pa ze tako problem, da se te 'ponovitvene studije' opravljajo zelo redko (kot je bilo receno v eni oddaji: "there is no Nobel prize for fact checking"). Zame je bilo bolj presenetljivo, kako pogosto najdem kodo na githubu za te raziskave, je pa mogoce to specificno za podrocje, ki ga bolj podrobno spremljam.
Kaj preprečuje enmu fakerju da ne objavi za 10% boljše rezultate kot jih doseže? Itak ne moreš preveriti rezultatov tudi če bi hotel :d Potem pa procente na 2 decimalke objavljajo
Rezultati se pogosto objavljajo za problem standardne datasete. Ce bi imel rezultate toliko boljse, bi hitro postalo sumljivo, nekje so pa itak tudi public benchmarki, kjer ti test dataseta ne poznas v naprej in potem oni objavijo rezultate. Tiste decimalke so pogosto brezvezne za moje pojme (oz. bi nujno mogli vkljucit se kaksen std, ko se model z istimi hyperparametri 2x natrenira, ali kaj podobnega). Nekateri imajo pa tudi mal napacne predstave, kaj je pomankljiv opis. Se najvecja neznanka tukaj je training data, kjer imajo nekateri prednost zaradi vecje kolicine podatkov, ki so jim na voljo. Za standardne datasete se itak uporablja specificen training dataset, ce se pa tega raziskovalci dejasnko drzijo, je pa druga stvar :)
