» »

Industrija išče naslednika globokega učenja

Industrija išče naslednika globokega učenja

Ars Technica - Največja konferenca o strojnem učenju na svetu, NeurIPS, je letos minila v znamenju vse večjega zavedanja o kritičnih omejitvah globokih nevronskih mrež in iskanju načinov, kako bi ovire prešli.

Globoko učenje - se pravi, raba globokih nevronskih mrež - si je v zadnjem desetletju praktično podredilo področje strojne inteligence. Dalo nam je algoritme, ki premagujejo ljudi v strateških igrah, prepoznavajo obraze, diagnosticirajo bolezni in vozijo avtomobile ... dokler cesta ni preveč luknjasta, mokra in polna nepredvidljivih kolesarjev. Prav ta zadnji primer pa že kaže, kako omejen je pravzaprav ta pristop, saj se avtonomna vozila kar ne morejo izviti iz primeža eksperimentalnih faz, pa čeprav naj bi bila že nekaj časa tik za ovinkom. Kdor redno bere našo stran, zna našteti šibke točke globokega učenja na izust: občutljivost na šum; ogromne baze podatkov, potrebne za učenje; pristranskost in pa katastrofično pozabljanje, se pravi neučinkovitost izven zelo ozko zastavljenih okvirjev.

Tega se vse bolj odprto začenja zavedati tudi industrija. Pred tedni je Facebookov šef AI oddelka Jerome Pesenti opozoril, da bo umetna inteligenca kmalu "trčila ob zid", njegovo mnenje pa očitno že deli tudi znaten delež strokovnjakov, če gre soditi po vzdušju na letni konferenci NeurIPS (Conference on Neural Information Processing Systems), ki se je pretekli vikend zaključila v Vancouvru (plačljiv vir, alternativa). Konferenca, ki se je letos odvila že 33-tič in privabila prek 13.000 strokovnjakov z vsega sveta, je bila v zadnjih letih razvpita predvsem po razuzdanih zabavah, s katerimi so firme novačile kader, in visokoletečih najavah. Letos je bilo precej drugače (omejen vir).

Osrednje predavanje je pripadlo Yoshui Bengiu, enemu od "treh mušketirjev umetne inteligence", ki so si letos razdelili Turingovo nagrado za dosežke v računalništvu. Opozoril je, da je potencial klasičnih globokih mrež v navezi z utrjevanim učenjem bržkone docela izrabljen, zato za nadaljnji napredek potrebujemo nove pristope, ki jih je nekaj tudi predstavil. Ti principi, kot je meta-učenje, v glavnem gradijo na potiskanju strojne pameti v vedno nove nepredvidljive situacije, kar jo prisili, da je bolj vsestranska in se ne zgolj uči odzivov, temveč kratkomalo "uči učiti". Tako želijo strokovnjaki dobiti algoritme, ki bodo znali posnemati človeka v njegovi sposobnosti, da se uči na zelo majhnih vzorcih podatkov, ker zna posploševati naučene principe od drugod, česar AI trenutno ne zna. To je ponazoril denimo nedavni natečaj MineRL Competition, ki je tekmovalcem zadal napraviti algoritem, ki bo znal v Minecraftu rudariti diamante. Kljub temu, da je to nekaj, česar se osnovnošolec nauči v nekaj minutah, pa so bili vsi algoritmi na tekmovanju neuspešni.

Kljub treznejšim besedam na letošnji konferenci pa je optimizem še vedno v zraku in malokdo dvomi, da bomo tegobe premagali. Kakor pravi ravnokar izdani Stanfordov pregled področja, AI Index 2019, je strojno učenje še vedno v skokovitem porastu in otipljivi napredek nezmanjšan: medtem ko so algoritmi za prepoznavo podob še predlani za učenje neke omejene naloge potrebovali več ur, letos primerljiv zadatek opravijo v nekaj minutah. Vprašanje torej ni, ali bo AI napredovala, temveč, na kakšen način in kdo bo imel od tega največjo korist.

15 komentarjev

WhiteAngel ::

Ja najbolje, da naredijo digitalnega dojenčka po razvitosti možganov, ga postavijo v digitalni svet in ga učijo vse od puzanja, hranjenja, hoje na wc, odpiranja vrat, prižiganja luči in hoje v šolo/vrtec. Potem bodo imeli protočloveka, ki ga lahko specializirajo v specifična področja. Samo to za sabo potegne tudi vse omejitve človeka pri razmišljanju in UI ne bi imela smisla.

PS: utrjevanim učenjem -> vzpodbujevalnim učenjem

Majki37 ::

Vrhunsko napisan članek

7982884e ::

WhiteAngel je izjavil:

Ja najbolje, da naredijo digitalnega dojenčka po razvitosti možganov, ga postavijo v digitalni svet in ga učijo vse od puzanja, hranjenja, hoje na wc, odpiranja vrat, prižiganja luči in hoje v šolo/vrtec. Potem bodo imeli protočloveka, ki ga lahko specializirajo v specifična področja. Samo to za sabo potegne tudi vse omejitve človeka pri razmišljanju in UI ne bi imela smisla.

PS: utrjevanim učenjem -> vzpodbujevalnim učenjem

ja super, samo da so mozgani dojencka hudo kompleksna stvar, ki niti priblizno niso "prazni", ampak imajo en kup struktur taksne in drugacne sorte, ki dojencku omogocajo da se uci bistveno hitreje in bolje kot bilokatera nevronska mreza

tl;dr: spoznavajo da se problema inteligence ne da resiti tako, da samo meces vec compute in data v problem

DamijanD ::

Kako daleč pa so s simulacijami možganov oz. s posebnimi čipi, ki simulirajo nevrone (npr. human brain project)? A za njih veljajo identične omejitve kot za globoke nevronske mreže?

7982884e ::

problem je da so mozgani mnogo vec kot samo 3d mreza nevronov, tako da tudi ce lahko repliciramo same nevrone, to se ne bo dosti

pegasus ::

DamijanD je izjavil:

(npr. human brain project)
Major egotrip in fuckup. Novo vodstvo sedaj sestavlja projekt nazaj.

Okapi ::

WhiteAngel je izjavil:

Ja najbolje, da naredijo digitalnega dojenčka po razvitosti možganov, ga postavijo v digitalni svet in ga učijo vse od puzanja, hranjenja, hoje na wc, odpiranja vrat, prižiganja luči in hoje v šolo/vrtec. Potem bodo imeli protočloveka, ki ga lahko specializirajo v specifična področja. Samo to za sabo potegne tudi vse omejitve človeka pri razmišljanju in UI ne bi imela smisla.

PS: utrjevanim učenjem -> vzpodbujevalnim učenjem

Saj že umetna pamet na ravni povprečno pametnega človeka bi bila revolucija, kot je še nismo doživeli. S tako pametjo opremljeni roboti bi lahko delali praktično vse, kar sedaj delajo ljudje. In dovolj bi bilo enega takega razviti, ker ga lahko potem takoj skopiraš v poljubnem številu.

kuall ::

Obstaja zelo veliko tipov podobnosti in analogij v svetu. Najbrž so nevronske mreže sposobne zaznati samo določen tip analogij/podobnosti, zato so omejene.

Gre se samo za to, kdo bo sposoben napisat program, ki bo znal čimbolj prepoznavat podobnosti med stvarmi Podobnosti so lahko zelo skrite. Pomislite samo na IQ teste, kako je težko včasih pogruntat, kaj imajo slikice skupno, v čem so si podobne. To je ta največji trik inteligence.

proto ::

Trenutno stanje strojnega ucenja je katastrofa in sluzi v veliki meri za boostanje vrednosti izdelkov/podjetja zaradi prenahypane besede. Enako kot npr nosql baze pred casom. Enako kot vse ostale obskurne "iznajdbe" bo morda sluzil nekemu obskurnemu in ozkemu namenu, cez 30 let se bojo pa zagovornikom novodobniki rezali, da so bile nase generacije taki kreteni, da smo mu hoteli prepustiti voznjo avtomobila.

V poduk in opozorilo naslednjic, tega je danes ze toliko, da sploh zadevi ne mores reci vec hype ampak kar klasicno obnasanje milenijcev in naslednjih generacij. Modus operandi.

Zgodovina sprememb…

  • spremenilo: proto ()

Kandidat ::

@proto

A ti bi tak grafek narisal tudi za integrirano vezje v 70ih ali pa za internet v 90ih? Samo vprašam.

proto ::

Kandidat je izjavil:

@proto

A ti bi tak grafek narisal tudi za integrirano vezje v 70ih ali pa za internet v 90ih? Samo vprašam.


Ne, tista dva sta nekaj takega, kot za vsako tehnologijo, ki ni overhypana. Bi pa zgornji graf pasal na orgromno stvari v ITju,... nosql, ML, IoT, blockchainov, docker, VR, 5G... Industrija ne deluje vec na nova odkritja ampak na overhypanje obstojecih (ML npr. je tam 1950) in stvar deluje, ker ogromno cepcev nekriticno pade na vse kar je novo, zgodovinskega spomina pa nimajo.


(dodatek: poglej poglej, pa ravno blockchain, ML in VR so dobili "The noonies award 2019"... kaksno presenecenje)

 O yeah...

O yeah...

Zgodovina sprememb…

  • spremenilo: proto ()

Okapi ::

Kandidat je izjavil:

@proto

A ti bi tak grafek narisal tudi za integrirano vezje v 70ih ali pa za internet v 90ih? Samo vprašam.

A ti misliš, da če je ena stvar žrtev pretiranega navdušenja, so vse?

Lahko pogledaš tudi z druge strani. A ti misliš, da Moorov zakon velja za vso tehnologijo? Kako je z napredkom raketne tehnologije zadnjih 50 let? Samo vprašam.;)

Okapi ::

Mimogrede, ko sem še hodil (službeno) na sejme, sem pred 15+ leti na Ifi v Berlinu in Cesu v Las Vegasu gledal 3D televizorje in poslušal velikopotezne obete o njihovem razvoju in napredku. Kje so sedaj?

Še huje, pred 50 leti sem na Sodobni elektroniki v Ljubljani občudoval hologramsko projekcijo, in poslušal napovedi, da bomo čez 20 let imeli hologramske televizorje. Pa opet ništa:D

.:joco:. ::

Kandidat je izjavil:

@proto
za internet v 90ih? Samo vprašam.

Dotcom bubble?
"Is science true?"
You don't get it.
Science is the process of trying to find out what's true.

jype ::

Pomoje je čas, da se ustanovi machineblockchainlearning.com in požanje sinergijo.

Zgodovina sprememb…

  • spremenilo: jype ()


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Umetna inteligenca našla nove antibiotike (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
634137 (92) gruntfürmich
»

Intelov nevromorfni računalnik dosegel osem milijonov nevronov

Oddelek: Novice / Procesorji
102363 (758) bbbbbb2015
»

Evolutionary computation a.k.a Digitalna evolucija (strani: 1 2 3 )

Oddelek: Znanost in tehnologija
1057191 (5039) Double_J
»

Človeški jezik (strani: 1 2 )

Oddelek: Znanost in tehnologija
738407 (4722) kuall
»

Neural Networks

Oddelek: Znanost in tehnologija
104716 (3702) rasta

Več podobnih tem