» »

IBM razvil umetne nevrone

IBM razvil umetne nevrone

IBM - Raziskovalci iz IBM-a so razvili prve umetne nanometrske nevrone iz pomnilnika na fazne spremembe (PCM), ki se obnašajo zelo podobno kot naravni nevroni v živih bitjih. Ekipa IBM Researcha v Zürichu je iznašla postopek za njihovo izgradnjo ter postavila omrežje 500 takih nevronov, s čimer se odpira pot k širši uporabi strojnega učenja in, če se optimistično zazremo v prihodnost, h gradnji umetnih možganov.

Že dolgo časa je sprejeto dejstvo, da s klasičnimi računalniki in proceduralnim programiranje ne bomo umetni inteligenci prišli niti blizu. Človeški možgani pač delujejo drugače in trenutno so edini pametni model kolikor toliko univerzalne inteligence, ki nam je poznan. Strojno učenje, ki svoj razcvet doživlja v zadnjih letih, kot raziskovalna disciplina pa obstaja že petdeset let, zato posnema naravo. Nevronske mreže delujejo podobno kot možgani - sestavljajo jih nevroni, ki so med seboj povezani po plasteh, pri čemer nevroni predhodne plasti vzdražijo nevrone naslednje plasti, odziv posameznega nevrona pa je odvisen od kombinacije na vhodu. V biološkem jeziku nevrone sestavlja kopica dendritov, po katerih prihajajo signali, celica za procesiranje podatkov in akson, po katerem teče izhodni signal.

Vse te nevronske mreže in algoritmi za strojno učenje tečejo na klasičnih računalnikih, ki nevronsko mrežo v bistvu simulirajo. Z vidika algoritma to ni tako zelo bistveno, je pa seveda manj elegantno in tudi manj učinkovito. Človeške možgane sestavlja 100 milijard nevronov, med katerimi je na bilijone povezav, saj imajo nevroni tudi do 10.000 povezav. Vse to plava v manj kot poldrugi liter veliki posodi, za delovanje pa moramo nenehno zagotavljati vsega 10-20 W energije, ki je resda izključno v nepraktični obliki raztopljene glukoze ali ketonskih teles (možgani so izjemno izbirčni) in primerne koncentracije kisika, kar je izjemno učinkovito. Najboljši varčni procesorji nimajo več kot dveh milijard tranzistorjev, porabijo pa v istem velikostnem razredu energije.

IBM-ovi nevroni so sicer še daleč od uspešnosti človeških, so pa kljub temu izjemen znanstveni in inženirski dosežek, kar dokazuje tudi objava v Nature Nanotechnology. Umetne nevrone so napravili iz germanij-antimon-telurja (GeSbTe), ki opravlja funkcijo lipidnega dvosloja v živi nevronski celici. Membrana v nevronih ima namreč lastnosti upornikov in kondenzatorjev. Do vzdražnega pragu namreč ne prevaja toka oziroma signala, potem pa popusti in ustvari zadosten sunek napetosti, da aktivira sosednji nevron. To funkcijo opravlja GeSbTe, ki je znan po tem, da obstaja v dveh zelo različnih fazah (eni kristalinični in eni amorfni, kar ni nič nenavadnega), med katerima lahko enostavno preklapljamo z laserjem ali električnim tokom (to pa je zelo dobra lastnost). V umetnem nevronu je GeSbTe najprej amorfen, ko pa je na vhodu dovolj napetosti, kristalizira, s čimer postane prevoden. Dodatna prednost teh nevronov je stohastična narava, saj se ne aktivirajo vedno ob enakem potencialu, kar je slučaj tudi v človeških nevronih. Po neaktivnosti pa se GeSbTe spontano spremeni nazaj v amorfno obliko.

Teorija deluje odlično, en sam nevron tudi, IBM pa je šel še korak dlje in nevrone tudi dejansko izdelal. In to več, saj si z enim samim nimamo kaj pomagati. Naredili so mrežo 10x10 nevronov, potem pa so med seboj povezali pet takih mrež, kar je že zadosti nevronov, da lahko z njimi počnemo kaj pametnega (čisto solidno strojno učenje, denimo prepoznavanje fotografij).

Če ste ob besedi PCM zastrigli z ušesi, imate prav in tudi dober spomin. Računalniški velikani že dlje časa preiskujejo materiale, ki bodo uporabni pri gradnji pomnilnika na fazne spremembe. Gre za tehnologijo, ki obljublja v primerjavi z NAND do 100-krat hitrejši pomnilnik, ki bo podatke hranil tudi brez napajanja (non-volatile). IBM pa dokazuje, da lahko iste materiale uporabimo tudi za povsem drugačne namene. Mimogrede, ta isti GeSbTe je tudi ključni sestavni del prepisljivih medijev Blu-ray.


20 komentarjev

SimplyMiha ::

Ok, 500 nevronov je res malo, vendar v tem vidim veliko prelomnico za razvoj. Do sedaj so bili nevroni samo simulirani, zdaj pa jih lahko že izdelujemo. S časom se bo zmogljivost samo še povečevala; pa ne linearno, kot je pri procesorjih, pač pa eksponentno. Več nevronov kot je v sistemu, kompleksnejši je ta sistem oz. je zmožen kompleksnejših nalog. Možnosti praktične uporabe so neslutene. Samo v medicini: umetni vid, sluh, tip, vonj - vse to lahko nadomestijo ustrezno natrenirani umetni nevroni.

dexterboy ::

Jeap, tole pa je novica za poklon. Tisti rek "It's not a Bug, it's a Feature", bo od heca prišel k resnosti :)
Če se prav spomnim, jih ima polž 20.000, tako da, če upoštevamo, da gre razvoj ekponentno, bomo res kmalu srečali vesoljce.
Samo ne tiste prave, ampak umetne 8-)
Ko ne gre več, ko se ustavi, RESET Vas spet v ritem spravi.

FireSnake ::

SimplyMiha je izjavil:

Ok, 500 nevronov je res malo, vendar v tem vidim veliko prelomnico za razvoj. Do sedaj so bili nevroni samo simulirani, zdaj pa jih lahko že izdelujemo. S časom se bo zmogljivost samo še povečevala; pa ne linearno, kot je pri procesorjih, pač pa eksponentno. Več nevronov kot je v sistemu, kompleksnejši je ta sistem oz. je zmožen kompleksnejših nalog. Možnosti praktične uporabe so neslutene. Samo v medicini: umetni vid, sluh, tip, vonj - vse to lahko nadomestijo ustrezno natrenirani umetni nevroni.


Koliko si imel ti opravka z umetno inteligenco?

Večja nevronska mreža ne rešuje nujno kompleksnejših nalog.
Ko načrtuješ reševanje problema z nevronskimi mrežami je treba začrtati zgradbo nevronske mreže (to je zelo pomembno).
Poglej in se nasmej: vicmaher.si

Peter14 ::

Par napak:

  • Volumen možganov je nekje med 1,1 in 1,4 litra, zato težko plavajo v "v manj kot pol litra veliki posodi"

  • Sodobni 14nm procesorji, ki kurijo kakih 15W energije imajo 1.9 milijarde transistorjev, kar je nekaj več od navedbe da "Najboljši varčni procesorji nimajo več kot 100 milijonov tranzistorjev, porabijo pa v istem velikostnem razredu energije"

SimplyMiha ::

FireSnake je izjavil:

Koliko si imel ti opravka z umetno inteligenco?

Večja nevronska mreža ne rešuje nujno kompleksnejših nalog.
Ko načrtuješ reševanje problema z nevronskimi mrežami je treba začrtati zgradbo nevronske mreže (to je zelo pomembno).

Govoriš o strogo determinističnem sistemu, kjer vsakemu nevronu določiš funkcijo ter povezave. Govorim o nedeterminističnem, učljivem sistemu, ki sam prerazporeja nevrone glede na potrebe. V prvem ti morda zadostuje 500 nevronov, a kaj več od določene funkcije ne moreš pričakovati. Drugi sistem pa je po vsej verjetnosti neučinkovit (neizkoriščene kapacitete, neučinkovite rešitve...), vendar ima mnogo večji potencial. In ravno to mene zanima, ne umetna inteligenca v smislu "if player is visible, attack him".

Peter14 ::

dexterboy je izjavil:

Če se prav spomnim, jih ima polž 20.000, tako da, če upoštevamo, da gre razvoj ekponentno, bomo res kmalu srečali vesoljce.
Samo ne tiste prave, ampak umetne 8-)

Ja. Sej to se mi zdi ful hecno da vsi ZF filmi vesoljce prikazujejo kot ena organska bitja, ampak pomojem je ful bolj verjetno, da se v vesolje pošlje umetno inteligenco...
Pač nekje na eni stopnji razvoja elektronika preseže inteligenčne sposobnosti organsikih organizmov, pa še lažje se jo da nadgrajevati, hibernirati, servisirati, dopolnjevati ipd. Narava rabi milijardo let, da naredi polža, mi bomo pa v 82 letih (če ima Kurzweil prav) prišli od prvega tranzistorja do inteligence, ki nas prekaša.
Pa, btw, nenazadnje tudi ljudje naokoli po vesolju večinoma pošiljamo robote, ki postajajo vse bolj samostojni in sofisticirani.

Zgodovina sprememb…

  • spremenilo: Peter14 ()

McHusch ::

Peter14 je izjavil:

Par napak:

  • Volumen možganov je nekje med 1,1 in 1,4 litra, zato težko plavajo v "v manj kot pol litra veliki posodi"

  • Sodobni 14nm procesorji, ki kurijo kakih 15W energije imajo 1.9 milijarde transistorjev, kar je nekaj več od navedbe da "Najboljši varčni procesorji nimajo več kot 100 milijonov tranzistorjev, porabijo pa v istem velikostnem razredu energije"



Ups, pol litra imajo gorile, ne ljudje :-)

Peter14 ::

Ena zanimiva primerjava med možgani in polprevodniki je še tale (a me lahko kdo popravi, če se motim):

Možgani sicer imajo 100 milijard nevronov, ampak ti večinoma počivajo. V povprečju se v eni sekundi v cerebralnem korteksu (moderni nagubani možgani v zgornjem delu glave) zgodi samo približno 10 milijard aktivacij posameznih nevronov, pri čemer ena aktivacija nevrona pravzaprav v tistem trenutku pomeni samo en bit informacije. Če upoštevamo, da je povprečen nevron povezan s 7000 sinapsami, to pomeni 70.000 milijard računskih operacij na sekundo.

Moderni GPU-ji (Tesla P100), po drugi strani zmorejo 10.000-20.000 milijard operacij na sekundo (odvisno ali se računa z 32-bitnimi ali s 16-bitnimi realnimi števili -- slednja so za simulacijo nevronskih mrež menda zadosti natančna), tako da smo glede računskih simulacij že prekleto blizu procesni zmogljivosti možganov. Nekoliko sicer zavede dejstvo, da procesna moč GPU-ja zelo presega pomnilniško prepustnost (700 milijard prenosov na sekundo), tako da bo treba narediti še kakšen korak dlje z novimi oblikami pomnilnikov.

Se pravi da rabimo 3.5-7x več procesne zmogljivosti in 100x več pomnilniške prepustnosti da bomo lahko uspešno simulirali možgane. Ampak dejstvo pa je, da nas silicijska umetna inteligenca kar hitro lovi.
...Tudi brez upoštevanja IBM-ovih umetnih nevronov.

ales85 ::

Peter14 je izjavil:

Se pravi da rabimo 3.5-7x več procesne zmogljivosti in 100x več pomnilniške prepustnosti da bomo lahko uspešno simulirali možgane. Ampak dejstvo pa je, da nas silicijska umetna inteligenca kar hitro lovi.
...Tudi brez upoštevanja IBM-ovih umetnih nevronov.

Ali se ti ne zdi, da morda mešaš surovo računsko moč z inteligenco? Ker tudi, če imaš 1000x bolj zmogljivo strojno opremo, ti to nič ne koristi, če je ne znaš izkoristiti (inteligenca - algoritem).

pegasus ::

Peter14 je izjavil:

Se pravi da rabimo 3.5-7x več procesne zmogljivosti in 100x več pomnilniške prepustnosti da bomo lahko uspešno simulirali možgane.
Lepa analiza. Ozko grlo naše tehnologije je energijska "cena" pomnilniške prepustnosti. Narava je to rešila mnogo (res mnogo) bolj učinkovito.

Peter14 ::

ales85 je izjavil:

Ali se ti ne zdi, da morda mešaš surovo računsko moč z inteligenco? Ker tudi, če imaš 1000x bolj zmogljivo strojno opremo, ti to nič ne koristi, če je ne znaš izkoristiti (inteligenca - algoritem).

V odgovoru na članek ki navaja milijarde nevronov, milijone tranzistorjev in porabljene watte moči sem pač odgovoril s surovimi številkami.

Sicer bo pa človek v svoji egocentričnosti, tudi takrat ko bo računanlnik imel IQ >14000, trdil, da računalnik pač ne zna iznajti boga, doživeti ljubezni in hrepenenja, razumeti poezije, podpirati domobrance ipd., tako da se mi zdijo take debate malo vprašljive.

Peter14 ::

pegasus je izjavil:

Lepa analiza. Ozko grlo naše tehnologije je energijska "cena" pomnilniške prepustnosti. Narava je to rešila mnogo (res mnogo) bolj učinkovito.

Dobro razmišljaš. Tudi ljudje smo naredili že kakšen velik korak v smer učinkovitosti... pomisli koliko se je zmanjšala energijska cena podatkovne prepustnosti v trenutku ko so CPU+GPU združili v APU. Podobno se bo zgodilo ko bodo šli v 2.5 in 3 dimenzije.

Osebno sem pa mnenja, da bomo prej ali slej prehiteli evolucijo: tako kot smo naredili umetne sončne celice ki so energijsko 10-20x učinkovitejše od fotosinteze, tako bomo naredili tudi nevrone oz. možgane, ki bodo 10-20x učinkovitejši od bioloških. Možgani so sicer imenitna kibernetska naprava, ampak res nisem ziher, da se česa podobnega ne da bolj fajn narediti brez glukoze, ribosomov, mitohondrijev, celičnih sten, in ostale krame. Tudi fotovoltaika čist dobro shaja brez vse te navlake.

Zgodovina sprememb…

  • spremenilo: Peter14 ()

7982884e ::

Že dolgo časa je sprejeto dejstvo, da s klasičnimi računalniki in proceduralnim programiranje ne bomo umetni inteligenci prišli niti blizu. Človeški možgani pač delujejo drugače in trenutno so edini pametni model kolikor toliko univerzalne inteligence, ki nam je poznan.


Tudi s sodobnim strojnim ucenjem in trenutnim trendom deep learninga ne bomo prisli blizu. Sodobno strojno ucenje je klasifikacijske narave in temelji na zaznavi vzorcev. Ce lahko problem prevedes na nekaj takega, super. In takih problemov je ogromno in v tem je razlog za trend.

Vendar pa ni v tem ne duha, ne sluha o cemerkoli analiticnem. Visjenivojska abstrakcija ne bo prisla z umetnimi nevronskimi mrezami, ker preprosto ne skalirajo zadost dobro - to vemo iz primera lastnih mozganov, kjer je potrebnih na desetine milijard nevronov, da lahko iz opice prides do cloveka in s tem do tapravega analiticnega razmisljanja - tistega, kar nas zares razlikuje od ostalih zivali. Sicer en orel s precej manj nevroni kot clovek dosti bolje dela object recognition na visokoresolucijski sliki kot katerakoli masina, pa se ga ne obravnava kot pametnega.

Zgodovina sprememb…

  • spremenilo: 7982884e ()

gus5 ::

Peter14 je izjavil:

Ena zanimiva primerjava med možgani in polprevodniki je še tale (a me lahko kdo popravi, če se motim):


- povprečno velike človeške možgane sestavlja približno 86 milijard živčnih celic;
- povprečno število nevronov v neokorteksu, delu možganske skorje, ki ima osrednjo vlogo pri zaznavanju, mišljenju, pozornosti, zavedanju in drugih kognitivnih aktivnostih, je pri moških 23 milijard in pri ženskah 19 milijard (glej: Ankney, C. Davison in J. Philippe Rushton. 2007. The Evolution of Brain Size and Intelligence. MIT Press);
- že res, da lahko vsi nevroni tvorijo 100 bilijonov sinaps, a v neokorteksu 'povprečnega' moškega jih je 'le' 23 milijard;
- ob predpostavki, da vsi nevroni lahko tvorijo približno enako število sinaps, nevroni v neokorteksu moških v povprečju tvorijo 24,5 bilijona sinaps;
- ena sinapsa lahko v povprečju shrani 4,7 bita informacije, kar pomeni, da kognitivni procesi v neokorteksu moškega v povprečju lahko zavzamejo približno 115 bilijonov bitov, tj. neokorteks lahko naenkrat procesira informacije, ki skupaj obsegajo približno 115 bilijonov bitov;

Peter14 ::

7982884e je izjavil:

Tudi s sodobnim strojnim ucenjem in trenutnim trendom deep learninga ne bomo prisli blizu. Sodobno strojno ucenje je klasifikacijske narave in temelji na zaznavi vzorcev.
... kjer je potrebnih na desetine milijard nevronov, da lahko iz opice prides do cloveka in s tem do tapravega analiticnega razmisljanja - tistega, kar nas zares razlikuje od ostalih zivali. Sicer en orel s precej manj nevroni kot clovek dosti bolje dela object recognition na visokoresolucijski sliki kot katerakoli masina, pa se ga ne obravnava kot pametnega.


Pred 20 leti se je govorilo, da računalnik ne more premagati človeka v šahu. Potem je prišel na vrsto Go. Računalniki že zdaj bolje od ljudi prepoznavajo objekte, tuje jezike ipd. Ob vsem tem, pa je deep learning še zelo v povojih in so se pomembnejši večji preboji, ki presegajo golo prepoznavanje vzorcev zgodili šele v zadnjih dveh letih. Se strinjam, da to kar imamo zdaj še ni zadosti. Ampak ni pa za zanemariti, da je strojno učenje trenutno tista veda v znanosti, ki se razvija daleč najhitreje od česarkoli doslej znanega.

Dej stvarem čas.

7982884e ::

Pred 20 leti se je govorilo, da računalnik ne more premagati človeka v šahu. Potem je prišel na vrsto Go. Računalniki že zdaj bolje od ljudi prepoznavajo objekte, tuje jezike ipd. Ob vsem tem, pa je deep learning še zelo v povojih in so se pomembnejši večji preboji, ki presegajo golo prepoznavanje vzorcev zgodili šele v zadnjih dveh letih. Se strinjam, da to kar imamo zdaj še ni zadosti. Ampak ni pa za zanemariti, da je strojno učenje trenutno tista veda v znanosti, ki se razvija daleč najhitreje od česarkoli doslej znanega.

Dej stvarem čas.


Sem zadnji, ki bi mu kdo rabil razlagat, da bo splosna umetna inteligenca (strong/general AI) realnost pred 2050. Govoril sem samo o trenutnem stanju strojnega ucenja.

Sier pa deep learning nikakor ni v povojih, teorija nevronskih mrez je stara pol stoletja, v pythonu lahko deep learning algoritem (brez posebnih dodatnih knjiznic) napises v 200 vrsticah. Kar je omogocilo uporabnost, so GPUji. In seveda se bo stvar se razvila, konec koncev tale clanek sam namiguje, da je mogoce se precej ucinkovitejse simulirati tako mrezo.

Z deep learningom lahko dosezes, da imas abstrakcijo znanja vzorcev do take stopnje, da lahko nekej pametnega ven poberes. Ampak da bos ti to abstrakcijo peljal tako dalec, da bo na koncu na nekem nivoju dejansko visokonivojsko znanje, s katerim procesira clovek, ko dela vsakodnevne analiticne odlocitve, tisto se pa ne skalira dobro, ker skalira eksponentno.

Peter14 ::

gus5 je izjavil:

Peter14 je izjavil:

Ena zanimiva primerjava med možgani in polprevodniki je še tale (a me lahko kdo popravi, če se motim):


- povprečno velike človeške možgane sestavlja približno 86 milijard živčnih celic;
...
- ena sinapsa lahko v povprečju shrani 4,7 bita informacije, kar pomeni, da kognitivni procesi v neokorteksu moškega v povprečju lahko zavzamejo približno 115 bilijonov bitov, tj. neokorteks lahko naenkrat procesira informacije, ki skupaj obsegajo približno 115 bilijonov bitov;


Hudo dobre reference. Ful hvala.
Tole mi je še posebej všeč:
the human brain is a scaled-up primate brain in its cellular composition and metabolic cost, with a relatively enlarged cerebral cortex that does not have a relatively larger number of brain neurons yet is remarkable in its cognitive abilities and metabolism simply because of its extremely large number of neurons.

Zgodovina sprememb…

  • spremenilo: Peter14 ()

Ahim ::

McHusch je izjavil:

Ups, pol litra imajo gorile, ne ljudje :-)


Ce ze ravno popravljas, preberi se cetrti odstavek (tipkarske napake).

Markoff ::

Peter14 je izjavil:

ales85 je izjavil:

Ali se ti ne zdi, da morda mešaš surovo računsko moč z inteligenco? Ker tudi, če imaš 1000x bolj zmogljivo strojno opremo, ti to nič ne koristi, če je ne znaš izkoristiti (inteligenca - algoritem).

V odgovoru na članek ki navaja milijarde nevronov, milijone tranzistorjev in porabljene watte moči sem pač odgovoril s surovimi številkami.

Sicer bo pa človek v svoji egocentričnosti, tudi takrat ko bo računanlnik imel IQ >14000, trdil, da računalnik pač ne zna iznajti boga, doživeti ljubezni in hrepenenja, razumeti poezije, podpirati domobrance ipd., tako da se mi zdijo take debate malo vprašljive.

Podpirati domobrance, partizane ali kvasiti takšne neumnosti, kot jih ti, ni težko in zato ne potrebuješ IQ 40, kaj šele 14.000+.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

antonija ::

Podpirati domobrance, partizane ali kvasiti takšne neumnosti, kot jih ti, ni težko in zato ne potrebuješ IQ 40, kaj šele 14.000+.
To je samo del cloveskih mozganov, ki vztraja, da moramo ponavljati to kar pocne nasa okolica. Pa mislim da je M$ demonstriral tako "inteligenco" nedolgo nazaj >:D
Statistically 3 out of 4 involved usually enjoy gang-bang experience.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Intelov nevromorfni računalnik dosegel osem milijonov nevronov

Oddelek: Novice / Procesorji
106139 (4534) bbbbbb2015
»

IBM razvil umetne nevrone

Oddelek: Novice / Znanost in tehnologija
2010880 (8499) antonija
»

O čem sanjajo umetni možgani

Oddelek: Novice / Znanost in tehnologija
3234670 (10667) lexios
»

Velikost spomina

Oddelek: Znanost in tehnologija
152324 (1663) Yohan del Sud
»

Neural Networks

Oddelek: Znanost in tehnologija
106081 (5067) rasta

Več podobnih tem