Slo-Tech - Letošnja prejemnika Nobelova nagrade za fiziko 2024 sta fizik John J. Hopfield s Princetona in Geoffrey E. Hinton z Univerze v Torontu, ki sta bila nagrajena za ključna odkritja in izume, ki so omogočili strojno učenje z umetnimi nevronskimi mrežami. Hopfield je ustvaril strukture, ki zmorejo shranjevati podatke in rekonstruirati informacije, Hinton pa je odkril metodo za iskanje vzorcev v podatkih. Posledice teh odkritij vidimo in uporabljamo vsakodnevno, denimo pri strojnem prevajanju, prepoznavanju slik in uporabi umetne inteligence. Slednja je pogosto zgolj širok izraz, s katerim v resnici mislimo na nevronske mreže.

Za zdaj velja konsenz, da računalniki in stroji ne morejo razviti zavesti in misliti, a rezultati njihovega delovanja so hudo podobni temu. Klasični računalniški programi so bili strogo deterministični v smislu, da so delovali kot recept. Koraki so bili jasno opredeljeni, rezultati predvidljivi in razumljivi. Pri strojnem učenju pa računalniku ne damo recepta,...

Intel - V Intelu so odstrli tančico z nevromorfnega procesorja Loihi 2, ki poleg večjega števila vozlišč nosi še mnoge druge izboljšave, napravljen pa je tudi v šele eksperimentalnem proizvodnem procesu Intel 4.

Velikani dizajna polprevodniških vezij se vse bolj odločno lotevajo nevromorfnega računalništva, kjer računski hardver neposredno povzema obliko živčnih vezij v bioloških organizmih. IBM ima čip TrueNorth, evropska iniciativa Human Brain Project ima računalnik SpiNNaker, toda najhitrejše korake zadnja leta delajo pri Intelu. Leta 2018 so predstavili procesor Loihi, leto pozneje pa še platformi zanj, Pohoiki Beach in Pohoiki Springs. Ker gre za visoko eksperimentalne zasnove, niso bile prosto na voljo, temveč so jih razpošiljali raziskovalnim skupinam širom sveta. Pridobljeni odzivi so temelj druge generacije procesorja, Loihi 2.

Tudi ta ima generalno zasnovo sunkovne nevronske mreže (spiking neural network), kjer imajo signali med vozlišči razmeroma preprosto obliko binarnih...

Tom's Hardware - Kalifornijsko podjetje Cerebras je pokazalo računalniški sistem CS-1, ki je zgrajen okoli največjega čipa na svetu WSE, razkritega avgusta.

Letošnjega avgusta je Cerebras, mlada firma iz San Francisca, na dogodku Hot Chips presenetila z razkritjem gromozanskega procesorja Wafer Scale Engine (WSE). Kot namigne že ime, gre za čip velikosti skoraj celotne silicijeve rezine, z merami 22×22 centimetrov, katerega lastnosti gredo kar težko z jezika. 400.000 procesnih jeder, 1,3 bilijona tranzistorjev, 18 gigabajtov predpomnilnika in pomnilniška prepustnost 9 petabajtov na sekundo. Čudo je zgrajeno v TSMCju v 16-nanometrskem procesu, Tajvanci pa so morali zanj napraviti povsem samosvojo proizvodno linijo. WSE je namenjen superračunalniškim nalogam, prvenstveno na področju strojnega učenja. Smisel tako velikega monolitnega čipa je v hitrosti in učinkovitosti komunikacije elementov na njem napram rešitvam, ki združujejo več ločenih procesorjev. V delovanju tako WSE zahteva 15 kW električne...

Intel - Intel je pokazal platformo za nevromorfno računalništvo Pohoiki Beach, ki jo sestavlja do 64 procesorjev Loihi in vsebuje do osem milijonov vozlišč. Gre za važen dosežek na poti širjenja računalnikov, ki podatke na strojni ravni procesirajo podobno kot človeški možgani.

Kljub današnji razvpitosti strojnega učenja so nevronske mreže zvečine še vedno v celoti programske in emulirane tečejo na procesorjih klasičnega tipa. Nevromorfno računalništvo, s čimer označujemo čipe, ki tudi na strojni ravni ponazarjajo živčna vozlišča, je še vedno v povojih. Intel je predlani pokazal svoje ambicije s predstavitvijo procesorja Loihi s 130.000 nevroni - se pravi, dva imata približno toliko "živčnih celic" kot vinska mušica. Sedaj pa...

TechXplore - Znanstveniki iz Chicaga so pokazali, da je mogoče že s preprostim prijemom, ki posnema delovanje človeških možganov, napraviti umetno nevronsko mrežo večopravilno in močno omejiti njeno pozabljanje ob učenju novih veščin.

Današnja umetna inteligenca sicer počne nekatere navdušujoče stvari, kot sta prepoznava govora in obrazov. A tudi najnaprednejši algoritmi so v svoji namembnosti izredno togi, saj tisti za vožnjo ne znajo prodajati delnic. Ko običajni deep network poskušamo priučiti česa drugega, namreč izgubi originalno znanje, ker nove izkušnje s spreminjanjem moči sinaps podrejo prvotno strukturo. Temu strokovnjaki pravijo katastrofalno pozabljanje (catastrophic forgetting). Intuitivno bi zato sklepali, da bi...

Slo-Tech - IBM je že pred tremi leti predstavil prvo verzijo "kognitivnega čipa", kakor so označili svoj čip TrueNorth. Želeli so ustvariti računalnik, ki deluje na podobnih principih kot človeški možgani, ne kot von Neummanov stroj. V okviru projekta SyNapse, ki ga sofinancira tudi DARPA, razviti TrueNorth ima danes 4096 jeder, ki imajo skupaj 5,4 milijarde tranzistorjev, 256 milijonov programljivih sinaps (povezav) in milijon programljivih nevronov.

Uvide iz razumevanja delovanja človeških možganov pri strojnem učenju in nevronskih mrežah že dlje časa uspešno uporabljamo, a vsi ti tečejo kot emulacija na klasičnih procesorjih. IBM (in tudi drugi) že dlje časa ugotavlja, da je to potratno in da...

IBM - Raziskovalci iz IBM-a so razvili prve umetne nanometrske nevrone iz pomnilnika na fazne spremembe (PCM), ki se obnašajo zelo podobno kot naravni nevroni v živih bitjih. Ekipa IBM Researcha v Zürichu je iznašla postopek za njihovo izgradnjo ter postavila omrežje 500 takih nevronov, s čimer se odpira pot k širši uporabi strojnega učenja in, če se optimistično zazremo v prihodnost, h gradnji umetnih možganov.

Že dolgo časa je sprejeto dejstvo, da s klasičnimi računalniki in proceduralnim programiranje ne bomo umetni inteligenci prišli niti blizu. Človeški možgani pač delujejo drugače in trenutno so edini pametni model kolikor toliko univerzalne inteligence, ki nam je poznan. Strojno učenje, ki svoj razcvet doživlja v zadnjih...

Slo-Tech - Google je eno izmed vodilnih podjetij na področju prepoznavanja slik in govora ter strojnega prevajanja. Vsem trem problemom je skupno dejstvo, da niso rešljivi z enostavnimi sekvenčnimi algoritmi, ker ne moremo predvideti vseh možnih vhodnih podatkov. Največ na tem področju obljubljajo umetne nevronske mreže (ANN). Google je v zadnji objavi pokazal nekaj fantastičnih slik, ki dajejo vpogled v delovanje ANN.

Kot tolikokrat v zgodovini je tudi zamisel ANN navdahnila narava, ki je imela milijarde let časa, da poišče rešitve za probleme. Te niso vedno optimalne, so pa v okviru možnosti in potreb zelo dobre. Kjer bi se s klasičnim zaporednim algoritmom zaleteli v zid, so se ozrli po bioloških nevronskih mrežah oziroma možganih. To je zelo logična poteza, saj so človeški možgani izjemno dobri pri reševanju problemov, za katere jih je evolucija...

engadget - IBM je skupaj s še štirimi univerzami (Columbia, Cornell, California in Wisconsin) in DARPO ustvaril prvi čip, katerega zasnova ni zasnovana na von Neumann-ovem modelu računalnika (procesor in spomin ločena ter povezana z vodilom), ampak je modeliram po vzoru človeških možganov (nevroni oz. živčne celice, služijo kot procesorji za izračun informacij; sinapse, ki služijo kot osnova za učenje in spomin in nevrite (aksone), ki povezujejo tkivo računalnika).

Problem von Neumann-ovih računalnikov je postala predvsem njihova nezmožnost rasti in posledično reševanje velikih problemov. Z razstjo...

IBM - Na superračunalniški konferenci SC09, ki se bo danes v Portlandu sklenila, je IBM predstavil svojo simulacijo mačjih možganov. Njihov računalnik Dawn Blue Gene /P, ki ga poganja 147.456 procesorjev s 144 TB pomnilnika in algoritem BlueMatter, simulira aktivnost možganskega korteksa z 1,6 milijarde nevronov, povezanih z 8,87 bilijona sinapsami. Tako predstavljen korteks ima približno 4,5 odstotka kapacitete človeških možganov, je pa zmogljivejši od mačjih možganov. Simulacija še ne teče v realnem času, tako da tejle supermački srce utripne enkrat na minuto (simulacija teče 83-krat počasneje), ji pa.



Znanstveniki razlagajo, da to še zdaleč ne pomeni, da razumejo, kako delujejo možgani. Kot...