» »

Petkova predavanja v Hekovniku (Tehnološki park)

Hekovnik - Z manjšo luknjo nadaljujemo s petkovimi predavanji v Hekovniku. Tudi ta petek bo rdeča nit umetna inteligenca in sicer s primeri na realnih podatkih, predaval pa bo Gorazd Žibret. Na predstavitvi bodo najprej v 15 minutah na kratko razloženi osnovni principi delovanja in uporabe nevronskih mrež, nato pa bo sledila približno eno-urna predstavitev nekaterih primerov s pomočjo uporabe programa MemBrain: razvrščanje (classification), modeliranje stanj oziroma interpolacije (functional approximation), modeliranje časovnih serij (time series prediction), klasifikacija (classification), na kratko pa tudi nekaj besed o prepoznavanju slik (image recognition) na podlagi realnih podatkov.

Vabljeni ob 19h na predavanje, kekse in čaj ter druženje z zanimivimi ljudmi v kletne prostore Tehnološkega parka (Teslova 30, Ljubljana).

47 komentarjev

Vapo1 ::

ummm.. torej prejsnj petek je bilo tudi o umetni intiligenci?? ... ce ja - kje lahko vidim predavanje od prejsnjega petka? ... upam da je video posnetek na voljo

Zgodovina sprememb…

  • spremenilo: Vapo1 ()

terryww ::

ne, prejšnji petek sta oba kandidata odpovedala. bomo pa poskusili posnet predavanja in debato
It is the night. My body's weak.
I'm on the run. No time to sleep.

gzibret ::

> Vabljeni ob 19h na predavanje, kekse in čaj ter druženje z zanimivimi...

Kaj pa pivo?
Vse je za neki dobr!

terryww ::

zaenkrat imamo samo čaj pa kekse, bomo pa mogoče v prihodnosti upgradali :)
It is the night. My body's weak.
I'm on the run. No time to sleep.

eee ::

Video? Bo? pls!

Thomas ::

Man muss immer generalisieren - Carl Jacobi

terryww ::

@Thomas
super ideja :), hvala!

@eee
ta tedn še ne, žal :(
It is the night. My body's weak.
I'm on the run. No time to sleep.

Thomas ::

Bomo v petek vidli, kdo bo reku, da je pršu čez lesswrong v hehovnik. ;)
Man muss immer generalisieren - Carl Jacobi

Vapo1 ::

jmakov
oba kandidata sta odpovedala??
a to pmeni da prejsnji petek ni bilo predavanja o umetni intiligenci in torej nisem nic zamudil ???

terryww ::

Elementary my dear Vapo1 ;)

jah, zaj je pač bilo tak, da so ljudje bili vsak na svojem koncu sveta in so bile luknje pri predavanjih. se trudimo, da bi bilo vsak petek kaj za slišat in za nasl petek je recimo tud kandidat (upam da ne bo odpovedal..), tako da se trudimo ohranit neko čim manj škrbasto kontinuiteto
It is the night. My body's weak.
I'm on the run. No time to sleep.

Zgodovina sprememb…

  • spremenil: terryww ()

eee ::

Naj nekdo posname z mobitelom in objavi na videolectures ali youtubu :) Ziher boste vsi tam imeli minimalno Nokio N95.

Fave ::

Tole bi bilo treba posnet. Na vsak način. In vsa nadaljnja predavanja tudi.
My mind's a hyper tool that fixes everything.

terryww ::

kot rečeno, tud nam je v interesu, da se to posname, ampak ta tedn še verjetno ne bo. stric, ki razvija videolectures je tudi v hekovniku, tak da ja :), se pogovarjamo tudi v to smer. če ne drugega, bi imeli podobno oblikovan portal s takšno tehnologijo...
It is the night. My body's weak.
I'm on the run. No time to sleep.

Vapo1 ::

kako "ta teden se ne bo" ???... saj nismo v kameni dobi... v skrajnem primeru lahko se posname magari samo mp3 na diktafon(vsak telefon snema zvok) in vsaj samo zvok naredi avalable na netu za downloadat...

res ni nobenega razloga da nebi bilo ze ta teden.. pa magari v shitty telefonski video obliki in na amaterski nacin

video na youtube uploadat potem ni noben problem

torej upam da bo kdo stisnil tisti record gumb - vsaj samo za zvok ce ne drugega

noraguta ::

ah toj že simptomatsko. v cernu nimajo štroma ,v tehnološkem parku pa ni kamere :~)))
Pust' ot pobyedy k pobyedye vyedyot!

terryww ::

no, očitno ob tej uri še kdo iz TP-ja bere ta thread... kamera se je namreč našla :)
It is the night. My body's weak.
I'm on the run. No time to sleep.

Fave ::

yeeeee! :)
My mind's a hyper tool that fixes everything.

zee ::

Super, da se je kamera nasla.

Ta petek se bom namrec moral opraviciti, saj me na predavanju ne bom. Smrk.
zee
Linux: Be Root, Windows: Re Boot
erwin3: Dual Xeon X5650, 32 GB RAM, 14 TB HDD

imagodei ::

Presneti treningi v petkih... Termini za srečanja so potem bolj ali manj fiksni? Petki ob 19h?

Bo zgleda treba kdaj spustit trening... :|
- Hoc est qui sumus -

gzibret ::

Če bojo prišli tudi neslovensko govoreči... lahko govorim tudi v angleščini. No, bomo videli.
Vse je za neki dobr!

Thomas ::

Po moje jih ne bo kaj veliko. Vsaj v petek še ne. Mislim, da jih bo zaenkrat 0.
Man muss immer generalisieren - Carl Jacobi

Zero0ne ::

Zanimiva tema, po vsej verjetnosti pridem.
uname -o

gzibret ::

>Po moje jih ne bo kaj veliko.

OK. Vseeno bom prinesel angleško verzijo pverpointa, za vsak slučaj.
Vse je za neki dobr!

rasta ::

Tule manjka nekdo, ki bi spljuval nevronske mreže in navijal za alternativne metode (npr. fuzzy modele in metode temelječe na Gaussovih procesih) :D

Žal v petek ne utegnem.

gzibret ::

No, pa dejmo tukaj...

Kakšna pa je razlika med fuzzy modeli in NN? Vsak fuzzy model je (poenostavljena) NN, obratno pa to ne gre. Štos je le v tem, kakšno aktivacijsko funkcijo pri NN uporabiš. NN so superiorne napram fuzzy logiki.

Prav tako so NN superiorne napram statističnim modelom, temelječim na gaussovih porazdelitvah. Ne zahtevajo normalne porazdelitve, podatki so lahko v simplexu, kar pa gaussovi modeli ne dovoljujejo (zahtevajo spremenljivke, porazdeljene na intervalu od -oo do +oo), ali pa atributivni. Gaussovi modeli so zelo slabo tolerantni na šum, kar pa ne velja za NN (na predstavitvi bomo modelirali tudi zelo "šumeče" podatke, bo zelo dobro prikazana superiornost NN modelov napram drugim).

Toliko zaenkrat.
Vse je za neki dobr!

rasta ::

(Takagi-Sugeno) mehki model je prav tako univerzalni aproksimator kot nevronska mreža, tako da sta s tega z vidika ekvivalentna. Seveda pa je (znanih) topologij nevronskih mrež precej, precej več.
Prednost mehkih modelov je, da so membership funkcije (stopnje pripadosti?) včasih koristna informacija.

Prednost statističnih metod pa je, da dobimo tudi oceno zanesljivosti izhoda (točnosti napovedi). Tovrstna ocena nam pove, kako blizu smo podatkov iz učne množice in ali model zlorabljamo za napoved obnašanja modela v območju, za katerega nismo podali učnih podatkov.
Slabost je seveda kompleksnot.

Tako kot za prav vse algoritme, je mogoče tudi za nevronske mreže (omejimo se tu na večplastni perceptron in mreže radialnih baznih funkcij) najti neki problemski razred, kjer je le-te izkažejo porazno (t.i. no-free lunch theorem). Tak primer je npr. funkcija enotina zakasnitev.


Vsekakor pa so nevronske mreže good enough za večino problemov in v marsičem superiorne ostalim metodam.
Eden od razlogov je tudi, da nevronske mreže poznamo že veliko več časa kot ostale metode in posledično je navoljo veliko več zrelih orodij.
Izbira je tako bolj stvar okusa in specifičnih potreb. Na mojem področju (control engineering) so tako npr. mehki modeli veliko bolj priljubljeni.

Kar se mi zdi pomembno, je, da se omeni, da nevronske mreže niso edino kar obstaja za ta namen (so pa glavna (najbolj uveljavljena) metoda in tudi če o drugih ne slišite nič, niste nič zamudili).
Če pa sem še pikolovski, bi se zapičil še v izraz "umetna inteligenca". Gre za računsko inteligenco (computational intelligence).

Thomas ::

Vsaka inteligenca je računska.

Lahko porabi več computinga kot bi ji ga bilo treba, vendar z manj kot ga je nujno porabiti, ne more shajati nobena.

Ja, lahko ga pa porabi milijonkrat več ali še več, kot bi bilo treba.
Man muss immer generalisieren - Carl Jacobi

noraguta ::

Thomas je izjavil:

Vsaka inteligenca je računska.

Lahko porabi več computinga kot bi ji ga bilo treba, vendar z manj kot ga je nujno porabiti, ne more shajati nobena.

Ja, lahko ga pa porabi milijonkrat več ali še več, kot bi bilo treba.

ja sam taksomizacija je vendarle semantična disciplina. torej če te zanimajo le varne in stabilne rešitve je veliko ceneje če podaš (jabolko , hruška , ananas) namesto kemijske sestave plodov ako te zanima užitna hrana v sadovnjaku.
Pust' ot pobyedy k pobyedye vyedyot!

Thomas ::

Tako narediš in s tem prihraniš 99.999999 % computinga, kaj takega.

Vendar se včasih zaplete, ker za kakšno sadje ni ravno najbolj jasno, spada med jabolka ali hruške.

Ampak ja, poenostavitve so lahko drastične. Kemija recimo, namesto kvantne mehanike.
Man muss immer generalisieren - Carl Jacobi

gzibret ::

> Prednost mehkih modelov je, da so membership funkcije (stopnje pripadosti?) včasih koristna informacija.

Res je, vendar kolikor je meni znano, moramo membership funkcije konstruirati sami (ali pa imamo učne algoritme, to ne vem, ker se na te zadeve ne spoznam najbolje). Ekvivalent membership funkciji v NN bi lahko bila aktivacijska funkcija. V NN se resda največ uporablja logistična funkcija, pa tudi druge (tangens hiperbolicus, step, linear itd...). Vendar lahko to funkcijo, če želimo, sprogramiramo sami, kakor nam paše. Vendar v tem primeru odpovejo učni algoritmi, in NN nam preide v neko fuzzy strukturo. Morda klamfam neumnosti, vendar so te neumnosti le semantične narave, ker si neke izraze lahko morda malo drugače interpretiramo.


> Prednost statističnih metod pa je, da dobimo tudi oceno zanesljivosti izhoda (točnosti napovedi). Tovrstna ocena nam pove, kako blizu smo podatkov iz učne množice in ali model zlorabljamo za napoved obnašanja modela v območju, za katerega nismo podali učnih podatkov.

Je res, samo to ni nobena prednost, saj lahko tudi pri drugih modelih (NN recimo) določimo oceno zanesljivosti. In to precej dobro, bolje, kot pri statistiki, še posebej, če imamo na voljo dovolj učnih podatkov in jih nekaj žrtvujemo za izračun "validacijske" napake (torej napake na podatkih, ki jih nismo uporabili za učenje).
Vse je za neki dobr!

DeusVult ::

V živo sem videl Thomasa, zdaj lahko umrem :))
http://www.rtvslo.si/blog/deusvult
Iz 26:2 "Naj vstopi zaslužen Narod, Narod, ki varuje Vero."

terryww ::

@deus
pridi vsak petek, lahko umreš večkrat ;)

da že kar vnaprej odgovorim kje se da videti posnetke.. posneli smo 4gb, tako da ko se stvar obdela in da na web, javim na ta thread
It is the night. My body's weak.
I'm on the run. No time to sleep.

Vapo1 ::

jmakov.. evo.. sem bil na predavanju (pohvale!)... zdaj me pa zanima kje je tisti forum kjer tece debata naprej...
hvala

in pa ce mogoce se lahko omenis kako se je tisti program za simuliranje nevronov imenoval - da se lahko cimprej zacnem igrati z njim (ker sem namrec pozabil kako se imenuje- in bi moral pogledati video se da bi spet slisal - zacuda pa na google nisem nikakor sam mogel najti programa)

Fave ::

Ja, pohvale gzibret-u, odlično predavanje. Hvala za nesebično deljenje znanja. ;)

@Vapo1: Program se imenuje MemBrain.
My mind's a hyper tool that fixes everything.

Thomas ::

gzibret uporablja nek AI tool na svojem področju, medtem ko je mainstream na njegovem in na vseh drugih področjih precej starožiten.

NN so underused. Škoda se dela iz tega naslova vsak trenutek. Že samo tista aplikacija s padavinami, temperaturami in pretokom Soče, bi bila komot pan-slovenska, plus še s pokrajinami v Italiji in Avstriji, od koder teče k nam. Zaradi poplav, zaradi elektraren ... Morda elektrikarji celo imajo kaj, ne vem, za zadnje poplave pa so eni zvedeli šele, ko jim je voda segala do postelje. Brez potrebe!

Motilo me je tudi, ker se je večina številnega poslušalstva takoj po predavanju izgubila.

No, nismo se vsi.
Man muss immer generalisieren - Carl Jacobi

terryww ::

@thomas
se strinjam. bo treba malo premislit kako jim razložit, da je predavanje samo uvod v debato..
It is the night. My body's weak.
I'm on the run. No time to sleep.

WarpedOne ::

To najbolje dosežeš s tem, da ni jasnega konca predavanja - da se vse skup spremeni v široko debato, kjer na odru ni več enga ključnega osebka ampak se začne fokus prestavljat sem in tja med prisotnimi.
What do you Think to Know?
Why do you Think you Know it?

gzibret ::

> jmakov.. evo.. sem bil na predavanju (pohvale!)... zdaj me pa zanima kje je tisti forum kjer tece debata naprej...

Lahko tukaj, še bolje pa, da se debata o nevronskih mrežah nadaljuje tukajle (je bila že odprta tema 2 leti nazaj):

Neural Networks

Link do programa: http://www.membrain-nn.de/

Če bi si kdo rad kaj več in bolj podrobno prebral o tem, je ena čudovita knjiga, in sicer tale. Najde se tudi na travniku.

Glede nadaljevanja debate... saj je debata bila. V bistvu glede na moje izkušnje s predavanji... je bila debata. Ponavadi je tega dosti manj. Po drugi strani pa je bila kar velika publika, in je težko vodit neko živahno debato s tolikšnim številom ljudi, da bi lahko vsi sodelovali (koliko vas je bilo? kakih 40?).

Hvala za pohvale. Me veseli, da vam je bilo všeč :)
Vse je za neki dobr!

Zgodovina sprememb…

  • spremenilo: gzibret ()

terryww ::

@gzibret
ko si rekel, da nova metoda z NN ni bila dobro sprejeta na tvojem področju.. a nima to tud pozitivno stran v tem smislu da lahko zdaj deliveraš ti boljše napovedi od drugih? mimogrede, a veš za koga, ki bi poskusil z NN napovedovat vreme?
It is the night. My body's weak.
I'm on the run. No time to sleep.

rasta ::

Res je, vendar kolikor je meni znano, moramo membership funkcije konstruirati sami (ali pa imamo učne algoritme, to ne vem, ker se na te zadeve ne spoznam najbolje)

Seveda obstajajo za to algoritmi, npr. fuzzy clustering.

Sicer pa je ideja nevronskih mrež in mehkih modelov podobna: zamislimo si neko splošno strukturo in identificiramo parametre tako, da se model obnaša zadovoljivo glede na učno množico podatkov.
Le, da je včasih pomembno tudi kako ta struktura izgleda (npr. za namene vodenja (control design)).

Je res, samo to ni nobena prednost, saj lahko tudi pri drugih modelih (NN recimo) določimo oceno zanesljivosti. In to precej dobro, bolje, kot pri statistiki, še posebej, če imamo na voljo dovolj učnih podatkov in jih nekaj žrtvujemo za izračun "validacijske" napake (torej napake na podatkih, ki jih nismo uporabili za učenje).

Seveda, lahko vedno dodaš še nekaj dodatnih izhodov. Le dovolj bogato učno množico je potrebno imeti.

Problem oz. "problem" nevronskih mrež in mehkih modelov je, da so to parametrični modeli. Izhod modela ti v osnovi ne da nobene informacije o kvaliteti točno tega izhoda -- ali si v območju, ki je dobro podprto z vzorci iz učne množica ali pa (pretirano) ektrapoliraš (in je podani izhod modela praktično "naključna" vrednost).

Morda sem uprabil preveč splošen izraz "statistične metode". V mislih sem imel neparametrične modele osnovane na Gaussovih procesih.
Pri teh učne množice nikoli ne vržeš stran. Pravzaprav gre za nekakšno sofisticirano obliko interpolacije.
Vedno je jasno, kako dobro je izhod podprt z vzorci učne množice. Enostavno je tudi dodajati nove vzorce online.

So pa to dokaj eksotične metode in o njih ne vem kaj dosti in niti še nisem videl prave ("industrijske") uporabe.

Thomas ::

Smo dali gzibretov primer padavin v Kobaridu in temperature Soče, Critticallu za pošnofat.

Poleg tega smo notri pustili še dan in mesec in si je pomagal še z njima.

Dobrih 50 linij razvlečene Critticallove kode tudi odlično napove vodostaj v Solkanu. Vsega parkrat v 18 letih manj kot 30% premalo. Očitno včasih priteče neka voda z Zahoda, ko padavine ne pridejo do Kobarida. Ali z Vzhoda, ne moremo vedeti. Redko, a vendarle, manj kot 30% več od napovedi programa.

Data in C koda predikcije bo na razpolago soon, vsem.
Man muss immer generalisieren - Carl Jacobi

Lorelei ::

Kako kaj kaže z videom od predavanja o nevronskih mrežah? A je mogoče na voljo na kakšni drugi strani?
Res bi rada (kmalu) pogledala to predavanje.. Gre za uporabno stvar in glede na pohvale baje tudi dobro predavanje..


lp

Zgodovina sprememb…

  • spremenila: Lorelei ()

Fave ::

Mene pa zanima, če se planirajo še kakšna predavanja v Hekovniku. Tako dobro je kazalo, sedaj pa...;((
My mind's a hyper tool that fixes everything.

Thomas ::

Jaz bom enkrat govoril o tem, zakaj sem prepričan, da S event ni več daleč.

Kadarkoli lahko, pravzaprav.
Man muss immer generalisieren - Carl Jacobi

Fave ::

I'll b there 8-)
My mind's a hyper tool that fixes everything.

gzibret ::

Me2 :)
Vse je za neki dobr!

Aasimar ::

jst tud.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Srečanje v septembru (strani: 1 2 3 4 )

Oddelek: Znanost in tehnologija
1529932 (2713) Nor-mal
»

Petkova predavanja v Hekovniku (Tehnološki park)

Oddelek: Novice / Ostalo
473232 (1229) Aasimar
»

Predavanje s področja računalniškega vida

Oddelek: Novice / Ostalo
132981 (1831) bozjak
»

Tehnološki park - kako priti zraven

Oddelek: Loža
201671 (1023) fosil
»

WebCampLjubljana

Oddelek: Novice / --Nerazporejeno--
81857 (1026) Gandalfar

Več podobnih tem