»

DeepMind uporabil veliki jezikovni model za rešitev matematičnega problema

Slo-Tech - DeepMind je razvil že več orodij na osnovi umetne inteligence, ki so zmogla najrazličnejša opravila od igranja šaha do medicinske diagnostike. A praviloma niso uporabljala velikih jezikovnih modelov (LLM), ker so ti pri logično-matematičnih nalogah slabi. Njihov najnovejši dosežek pa združuje prav ta svetova, saj so z LLM-jem reševali matematične probleme, za katere pred tem rešitev nismo poznali. O dosežku pišejo v najnovejši številki revije Nature, prav tako so razkrili kodo.


Veliki jezikovni modeli se najbolje obnesejo, če jih sprašujemo reči, ki so zapisane v vhodnih podatkih za trening, pa še tedaj si lahko kaj izmislijo. DeepMind pa je razvil orodje FunSearch, ki se tem težavam sorazmerno uspešno izogiba. Gre za orodje, ki je namenjeno iskanju funkcij (od tod ime), kar ni prvi matematični otrok iz DeepMinda. Spomnimo, da je AlphaTensor iskal hitrejše načine množenja matrik, AlphaDev pa je izboljševal algoritme. Sedaj pa so razvili prvo orodje, ki za matematiko uporablja...

5 komentarjev

DeepMind izumil nov algoritem za množenje matrik, človek ga je hitro izboljšal

Slo-Tech - Umetna inteligenca, ki jo razvija DeepMind, je iznašla nov, hitrejši način za množenje matrik. Njihov program AlphaTensor iz družine Alpha je s tem popravil 50 let stari algoritem, nato pa sta ga teden dni pozneje nepričakovano prekosila avstrijska matematika z Univerze v Linzu.

Množenje matrik je izjemno pomembna računska operacija v računalništvu, ki se ponavlja pri obdelavi in izrisu slik, stiskanju, prepoznavanju govora in slik in drugod. Najučinkovitejši pri množenju matrik so grafični procesorji, ki lahko nalogo razkosajo na manjše podnaloge, nato pa se vzporedno ukvarjajo z njimi. Naivno množenje matrik, kot se ga učimo v šoli, terja množenje vsake vrstice z vsakim stolpcem, kar za matriki dimenzij n x n terja n3 operacij množenja. A s premislekom gre tudi hitreje. Nemški matematik Volker Strassen je že leta 1969 odkril algoritem, ki na primer za množenje matrik 2 x 2 namesto osmih potrebuje sedem operacij množenja, za matriki 4 x 4 pa namesto 64 le 49. Njegova zahtevnost...

11 komentarjev

Google pri dizajnu čipov za pospeševanje strojnega učenja že uporablja - strojno učenje

levo človeški dizajn, desno strojni

vir: Nature
Nature - Googlovi raziskovalci so potrdili učinkovitost strojnega algoritma za pomoč pri oblikovanju čipov, ki so ga sicer prvič razkrili pred dobrim letom. Strojna pamet zna napraviti dizajne, po kvaliteti primerljive človeškim, v mnogo krajšem času, rešitve pa že uporabljajo pri snovanju pete generacije Googlovega pospeševalnega čipa TPU.

Sodobni računalniški procesorji vsebujejo milijarde tranzistorjev, zato je organiziranje njihovih sestavnih delov izjemno zahtevno početje. Ko inženirji zasnujejo kompleksnejše gradnike neke arhitekture, kot so na primer sklopi logičnih vrat in pomnilnika, pride na vrsto njihovo razpostavljanje na silicij ali s tujko floorplanning. To je presneto zamudno početje, ki pri najsodobnejših izdelkih običajno traja nekje od štiri do šest mesecev. Načrtovalci ga - resda s podporo digitalnih orodij - še vedno izvajajo v grobem rečeno "na roke", skozi iterativni postopek, kjer razpostavljajo elemente od večjih proti manjšim in nato zanko ponavljajo, dokler...

20 komentarjev

DeepMindov algoritem MuZero se uči kot otrok

DeepMind - Alphabetov laboratorij za strojno inteligenco DeepMind je izgotovil nov algoritem, ki se je na samosvoj način izmojstril v igranju šaha, goja, šogija in Atarijevih arkadnih iger. Za učenje ne potrebuje predhodnega branja navodil ali vdelanih izkušenj, temveč se uči na podoben način kot otroci, s preizkušanjem posameznih potez in grajenjem notranjega modela igre, kar pomeni novo stopnjo v razvoju strojnih algoritmov z zmožnostjo posplošenega sklepanja.

Napredovanje DeepMindovih strojnih algoritmov je za nepoučenega opazovalca verjetno videti kot dolgočasno zbiranje naslovov prvaka v raznoraznih igrah. Toda zadaj se skriva zanimivo preizkušanje različnih pristopov k obvladovanju izzivov, ki nas utegnejo nekoč pripeljati do umetne inteligence, ki se bo znala odločati in učiti podobno kot človek. Sloviti AlphaGo, ki je v igri go nadvladal človeka, je - podobno kot šahovski algoritmi - uporabljal napredno različico drevesa dogodkov, ki za množico potez v prihodnosti pove predvideni...

43 komentarjev

DeepMind poskrbel za navdušujoč preboj v raziskovanju zvijanja beljakovin

zgradba beljakovine, pri čemer je modro označena AlphaFoldova ocena, zeleno pa mikroskopska meritev

vir: DeepMind
DeepMind - DeepMindov najnovejši algoritem za iskanje strukture beljakovin, AlphaFold 2, je pokazal tako izjemne rezultate, da je očitno zelo blizu čas, ko bomo lahko univerzalno znali zgolj iz kemijske sestave dognati, kako se beljakovine zvijajo. Gre za enega najbolj prelomnih dogodkov v novejši biokemiji, ki bo zelo verjetno imel hitre in drastične učinke na oblikovanje zdravil ter sintetičnih proteinov.

Beljakovine so funkcijsko najbolj raznolika skupina molekul v živih organizmih, saj skrbijo za vse od katalize reakcij do rokovanja z dednino. Kaj natančno neka beljakovina počne, je odvisno tako od njene kemijske sestave kot tudi njene natančne prostorske strukture - se pravi, kako se njeni elementi spontano razporedijo, oziroma, kako se beljakovina "zvije". V osnovi skušamo natančno zgradbo dognati z opazovalnimi metodami, kot sta rentgenska difrakcija in krioelektronska mikroskopija. A te imajo omejitve, saj v mnogih primerih vzamejo dosti časa in imajo resne probleme z nekaterimi...

2 komentarja

DeepMindovi boti v Starcraftu 2 premagujejo profesionalce

Slo-Tech - Algoritem AlphaStar, ki so ga napravili v Alphabetovem laboratoriju DeepMind, je v igri Starcraft 2 z desetimi zmagami v enajstih dvobojih odpravil profesionalna igralca MaNo in TLOja, kar je prvi takšen dosežek za strojno inteligenco.

Po tem, ko se je strojna pamet lani začela bosti z najboljšimi ljudmi v Doti 2, smo vse bolj nemirno čakali na to, kaj bo laboratorij DeepMind sčaral v Starcraftu 2. In ni razočaral - v brezhibno predstavljenem dogodku je z novim algoritmom AlphaStar povozil poklicna igralca ekipe Team Liquid, Daria "TLO" Wünscha in Grzegorza "MaNa" Komincza.

AlphaStar je plod množice novih pristopov v strojnem učenju, o katerih so se podrobno razpisali. Nevronsko mrežo so začeli učiti z nadzorovanim učenjem na posnetkih iger ljudi. Nato so na...

206 komentarjev