» »

Nov uspeh za večopravilne nevronske mreže

Nov uspeh za večopravilne nevronske mreže

TechXplore - Znanstveniki iz Chicaga so pokazali, da je mogoče že s preprostim prijemom, ki posnema delovanje človeških možganov, napraviti umetno nevronsko mrežo večopravilno in močno omejiti njeno pozabljanje ob učenju novih veščin.

Današnja umetna inteligenca sicer počne nekatere navdušujoče stvari, kot sta prepoznava govora in obrazov. A tudi najnaprednejši algoritmi so v svoji namembnosti izredno togi, saj tisti za vožnjo ne znajo prodajati delnic. Ko običajni deep network poskušamo priučiti česa drugega, namreč izgubi originalno znanje, ker nove izkušnje s spreminjanjem moči sinaps podrejo prvotno strukturo. Temu strokovnjaki pravijo katastrofalno pozabljanje (catastrophic forgetting). Intuitivno bi zato sklepali, da bi morala biti večopravilna nevronska mreža skupek ločenih podmrež, kjer bi bila vsaka namenjena lastni nalogi ... kar pa ni res, saj raziskave človeških možganov kažejo, da se isti skupki nevronov prižigajo pri zelo različnih dejavnostih, pa ob učenju kolesarjenja nismo naenkrat pozabili držati žlice v rokah.

Raziskovalci s Čikaške univerze so zato na nevronski mreži uporabili preprost princip kontekstualnih zapornic in vsaki od nalog dodelili petino naključno izbranih vozlišč. Tako delujoča živčna mreža je celo po učenju petstotih različnih veščin zabeležila občutno nižji padec v učinku za posamezno sposobnost kot pri doslej uporabljanih praksah. Gre za važno dognanje pri stremenju k bolj splošni strojni inteligenci, ki bi premogla "zdravo pamet", in nadgrajuje obstoječe Googlove izkušnje v tej smeri. Hkrati je to zmaga za sodelovanje med nevroznanostjo in preučevanjem AI, kar bo pomagalo obema, saj na ta način napreduje tudi poznavanje naših možganov.

10 komentarjev

dexterboy ::

Ali smo res kot družba pripravljeni za AI? Priznam, da bi marsikateri starejši osebi kakšen "Android" prišel še kako prav, ampak sem pa prepričan v to, da vsako bitje, pa najsi bo to naravnega ali pa umetnega izvora, ki je sposobno razmišljati, pride do vprašanja "pa koji kur... jest služim temu idiotu od človeka?"
Se bojim, da se bomo še prehitro morali na pamet naučiti vse tri zakone robotike izpod rok Isaac Asimova.
Ko ne gre več, ko se ustavi, RESET Vas spet v ritem spravi.

jype ::

dexterboy je izjavil:

ampak sem pa prepričan v to, da vsako bitje, pa najsi bo to naravnega ali pa umetnega izvora, ki je sposobno razmišljati, pride do vprašanja "pa koji kur... jest služim temu idiotu od človeka?"
Drži:



Citizen rights za AI, čimprej.

gus5 ::

Hkrati je to zmaga za sodelovanje med nevroznanostjo in preučevanjem AI, kar bo pomagalo obema, saj na ta način napreduje tudi poznavanje naših možganov.
Konekcionisti že od vsega začetka 'oponašajo' strukturo kortikalnega dela možganov (npr. večslojnost). Zakaj 'zmaga' šele zdaj, z uporabo kontekstualnih zapornic?

Aggressor ::

1. Večslojnost nevronskih mrež v principu ni izšla iz posnemanja možganov, temveč iz razparceliranja problemov na konceptualni ravni - psa na sliki se prepozna tako, da en del prepozna oči, drugi del štiri tace etc. Modeli nevronskih mrež so izšli iz matematike, ne slikanja možganov.

2. Dvosmerna povezava med področjema, kjer tudi nevroznanost pobira od izkušenj z deep neural networki, je stvar zadnjih let, ne "od vsega začetka".
en CRISPR na dan odžene zdravnika stran

nevone ::

pa koji kur... jest služim temu idiotu od človeka


Sej niso vsi ljudje idioti. Sploh bo pa AI spravila idiotizem iz ljudi. Ona ne odneha tako hitro, ker ima ogromno učinkovitih idej.

o+ nevone
Either we will eat the Space or Space will eat us.

gus5 ::

Aggressor je izjavil:

1. Večslojnost nevronskih mrež v principu ni izšla iz posnemanja možganov, temveč iz razparceliranja problemov na konceptualni ravni - psa na sliki se prepozna tako, da en del prepozna oči, drugi del štiri tace etc. Modeli nevronskih mrež so izšli iz matematike, ne slikanja možganov.
Večslojnost umetnih nevronskih mrež je prav v principu posnemanje nevronske strukture korteksa.

sandmat ::

Aggressor je izjavil:

1. Večslojnost nevronskih mrež v principu ni izšla iz posnemanja možganov, temveč iz razparceliranja problemov na konceptualni ravni - psa na sliki se prepozna tako, da en del prepozna oči, drugi del štiri tace etc. Modeli nevronskih mrež so izšli iz matematike, ne slikanja možganov.


Ni res. "Večslojnost" je izšla iz nelinearnosti problemov. Pri NN globokih modelih še vedno nimamo pojma kaj se kje "abstrahira", zato je vizualizacij malo in še te so večinoma neuporabne za poglobljeno analizo. Še učiti jih moramo z data augmentationom, da se slučajno ne naučijo, da je pes vedno obrnjen v levo stran in so prve tace točno 45 pikslov od levega roba.

Kompozicionalni modeli pa delajo na zgoraj opisan način.

Aggressor ::

sandmat je izjavil:

"Večslojnost" je izšla iz nelinearnosti problemov.


Saj se strinjava; moj primer je bil pač na hitro, ker trenutno nimam časa na dolgo pisat. Povedat sem hotel, da nismo delovanja možganov neposredno preslikavali v umetne NN.

sandmat je izjavil:

Pri NN globokih modelih še vedno nimamo pojma kaj se kje "abstrahira"


Tu se pa ne strinjava. Res je, da se ne ve vedno točno, kjer pride do prepoznave, ampak da "nimamo pojma"? Resno?

gus5 je izjavil:

Večslojnost umetnih nevronskih mrež je prav v principu posnemanje nevronske strukture korteksa.


Korelacija ni enako kavzalnost.
en CRISPR na dan odžene zdravnika stran

sandmat ::

Aggressor je izjavil:



sandmat je izjavil:

Pri NN globokih modelih še vedno nimamo pojma kaj se kje "abstrahira"


Tu se pa ne strinjava. Res je, da se ne ve vedno točno, kjer pride do prepoznave, ampak da "nimamo pojma"? Resno?


o slučajno ugotovimo kaj se je dejansko mreža naučila, nas kar boli srce. Na MIR področju tale primer (http://ismir2018.ircam.fr/doc/pdfs/189_... zelo lepo pokaže state-of-the-art Deep NN-based pristop in kaj se dejansko nauči. V praksi za posamezen node (od vseh milijonov, ki jih uporabimo za relativno trivialne taske) nimamo pojma kaj se nauči.

Aggressor ::

Thx za doku. :)
en CRISPR na dan odžene zdravnika stran


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Intelov nevromorfni računalnik dosegel osem milijonov nevronov

Oddelek: Novice / Procesorji
106182 (4577) bbbbbb2015
»

IBM razvil umetne nevrone

Oddelek: Novice / Znanost in tehnologija
2010925 (8544) antonija
»

O čem sanjajo umetni možgani

Oddelek: Novice / Znanost in tehnologija
3234699 (10696) lexios
»

Neural Networks

Oddelek: Znanost in tehnologija
106090 (5076) rasta

Več podobnih tem