Slo-Tech - DeepMind je razvil že več orodij na osnovi umetne inteligence, ki so zmogla najrazličnejša opravila od igranja šaha do medicinske diagnostike. A praviloma niso uporabljala velikih jezikovnih modelov (LLM), ker so ti pri logično-matematičnih nalogah slabi. Njihov najnovejši dosežek pa združuje prav ta svetova, saj so z LLM-jem reševali matematične probleme, za katere pred tem rešitev nismo poznali. O dosežku pišejo v najnovejši številki revije Nature, prav tako so razkrili kodo.


Veliki jezikovni modeli se najbolje obnesejo, če jih sprašujemo reči, ki so zapisane v vhodnih podatkih za trening, pa še tedaj si lahko kaj izmislijo. DeepMind pa je razvil orodje FunSearch, ki se tem težavam sorazmerno uspešno izogiba. Gre za orodje, ki je namenjeno iskanju funkcij (od tod ime), kar ni prvi matematični otrok iz DeepMinda. Spomnimo, da je AlphaTensor iskal hitrejše načine množenja matrik, AlphaDev pa je izboljševal algoritme. Sedaj pa so razvili prvo orodje, ki za matematiko uporablja...

Slo-Tech - V Bletchley Parku v Veliki Britaniji se je končal prvi mednarodni vrh o varnosti umetne inteligence (AI Safety Summit), na katerem je sodelovalo 28 držav. Države so vrh sklenile s sprejetjem deklaracije o razvoju tehnologije v prid človeštva na zaupanja vreden in odgovoren način. Deklaracijo so podpisale tudi ZDA, EU, Kitajska, Velika Britanija, Brazilija, Indija in Saudova Arabija. Dvodnevni dogodek je gostil britanski premier Rishi Sunak.

Bletchleyska deklaracija prepoznava možnost, da bi napredna umetna inteligenca povzročila resno, lahko celo katastrofalno škodo. Tveganja najlaže obvladujemo z mednarodnim sodelovanjem, zato pa je potrebna tudi regulacija. Medtem ko se države niso strinjale, v kolikšnem obsegu je regulacija potrebna, se strinjajo, da brez nje ne bo šlo. Evropska unija je na tem področju vodilna, saj bo v EU regulirana prek krovnega zakona. Tudi ZDA se pomikajo v to smer, potem ko je ta teden predsednik podpisal izvršni ukaz o regulaciji umetne inteligence.

...

Reuters - Posodobljeni pravilnik za 66-to podelitev glasbenih nagrad Grammy najbolj natančneje doslej določa, kolikšno vlogo imajo lahko strojni algoritmi pri nastanku pesmi, ki se potegujejo za nagrade. Ne prav veliko.

Ta hip je strojno generiranje zvoka in govora na videz malo manj razvpito od tistega za besedila in slike, toda vtis je varljiv, saj tudi tu strojno učenje napreduje z velikimi koraki. Zato tudi področje glasbe vse bolj čuti pritisk strojno generiranih vsebin, kar je v zadnjih mesecih ponazorilo nekaj zanimivih dogodkov, kot je bil denimo vznik skrivnostne računalniške verzije Draka, ali pa najava Paula McCartneyja, da bodo s pomočjo strojne inteligence lansirali še en, zadnji komad Beatlesov. Ker je računalniška obdelava podatkov že dolgo časa praktično neobhoden del nastajanja popularne glasbe, so kriteriji za podeljevanje največjih nagrad lahko pokazatelj, koliko in na kakšne načine si strojno učenje tjakaj utira pot. Če gre soditi po najnovejšem pravilniku za nagrade...

Slo-Tech - Dobili smo še tretje v nizu odmevnih javnih opozoril vodilnih strokovnjakov za strojno učenje, da naj bi umetna inteligenca predstavljala resno nevarnost za propad človeške civilizacije.

Odkar se je lanske jeseni - z nastopom ChatGPTja - strojno učenje prebilo na čelo razvpitosti v IT industriji in širše, se vrstijo tudi vse pogostejša javna opozorila, da je napredek prehiter. Razvijalci algoritmov strojnega učenja, kot so veliki jezikovni modeli in generatorji slik, kakor da so nenadoma ugotovili, da situacije ne nadzorujejo več in nas utegne AI že v razmeroma bližnji prihodnosti vse nadvladati. Tu ne gre za kakšne odpadnike, temveč smetano raziskovalcev ter inženirjev, kot sta dva od treh dobitnikov Turingove nagrade iz leta 2019, Geoff Hinton in Yoshua Bengio, pa vodje skorajda vseh najvidnejših razvojnih laboratorijev.

Najnovejša tovrstna objava prihaja iz organizacije Center for AI Safety (CAIS) in je dolga vsega 22 besed, v katerih trdi, da je stopnja nevarnosti, ki jo...

The New York Times - Britansko-kanadski raziskovalec Geoffrey Hinton, ki velja za enega od utemeljiteljev globokega učenja z nevronskimi mrežami, pompozno zapušča Google, kjer je delal zadnjih deset let. In sicer predvsem iz strahu, da nam nadzor nad strojnimi algoritmi uhaja iz rok (plačljiv vir, alternativa).

Leta 1986 so David Rumelhart, Geoffrey Hinton in Ronald Williams v odmevni objavi pokazali, kako uporabiti metodo vzvratnega razširjanja (backpropagation) za bistveno pospešitev zmogljivosti učenja nevronskih mrež, kar velja za enega od mejnikov v strojnem učenju. Hinton ima razen tega na spisku še vrsto drugih dosežkov, denimo razvoj arhitekture nevronskih mrež AlexNet, z Alexom Krizhevskyjem in Ilyo Sutskeverjem. Ta iznajdba družine algoritmov za prepoznavo slik namreč pomeni enega od povodov za bliskovito širjenje strojne inteligence med spletne tehnologije v preteklem desetletju. Zaradi opisanih uspehov Geoffrey Hinton velja za enega od očetov umetne inteligence in je pred štirimi leti tudi...

Slo-Tech - Organizacija Future of Life Institute je objavila javno pismo, v katerem več vidnih osebnosti s področja strojnega učenja in informacijskih tehnologij poziva k šestmesečnemu moratoriju na razvoj in lansiranje novih produktov s področja strojnega učenja.

Izjemno nagel razvoj rešitev s področja strojnega učenja v zadnjem letu, posebno veliki jezikovni modeli in generatorji podob, vzbuja strah, da pravna in akademska stroka ter zakonodajna telesa izgubljajo bitko za uspešno razumevanje in nadzorovanje takšne napredne tehnologije. Investicijska banka Goldman Sachs je na začetku tedna objavila poročilo, v katerem ugotavlja, da naj bi generativna strojna pamet v naslednjem desetletju v razvitih državah ob službo spravila okoli 300 milijonov ljudi, v zameno za od 7- do 10-odstotni dvig bruto družbenega proizvoda. Najnovejši modeli, kot je nedavno lansirani GPT-4, s skokovitim tempom izboljšujejo svojo učinkovitost in se na nekaterih testih jezikovnega znanja že odrežejo skoraj tako dobro...

openai.com - Kot smo že nekaj časa pričakovali, so v OpenAI naposled najavili veliki jezikovni model GPT-4. Za rahlo presenečenje pa so obenem poskrbeli v Microsoftu, s priznanjem, da novi Bing Chat v bistvu na njem sloni že od začetka testiranja.

Skoraj 3 leta nas že ločijo od prvih vnašanj ukazov generativnemu jezikovnemu algoritmu, oziroma velikemu jezikovnemu modelu (LLM) GPT-3. Umotvor laboratorija OpenAI je postal eden od sinonimov za eksplozijo generativne strojne inteligence, ki je lani dosegla nove nivoje z generatorji slik in jesenskim lansiranjem pogovornega bota ChatGPT, letos pa z nebrzdano naglico poganja novo tekmo med tehnološkimi velikani. Posledica norije je bilo seveda mrzlično čakanje na novo različico GPTja, ki so ga sicer inženirji medtem iterativno nadgrajevali, tako da je bila lani v bistvu aktualna različica 3.5. Tudi šef OpenAIja, Sam Altman, je večkrat opozoril, da so pričakovanja bržkone prevelika in da bo GPT-4 nova evolucijska stopnja ter še daleč od kakšne...

openai.com - Prejšnji teden je svoj pogovorni algoritem predstavil tudi OpenAI. ChatGPT je osnovan na jezikovnem modelu GPT-3, uporabniki pa so ga kljub vgrajenim varovalkam že sprovocirali v izgovarjanje vsakovrstnih neumnosti.

Fiasko računalniške sogovornice Tay je očitno pozabljen, kajti letos so velikani s področja strojnega učenja preporodili javno preizkušanje chatbotov, torej pogovornih algoritmov. Po Meti in Googlu so se sedaj opogumili tudi pri OpenAIju in predstavili ChatGPT, pogovornega bota, ki je seveda osnovan na njihovem proslavljenem velikem jezikovnem modelu GPT-3. Bot je na voljo prosto in trenutno tudi še brez oglasov, zato ga je v le nekaj dneh že preizkusilo milijon ljudi, ni pa še jasno, kako dolgo bo tako dostopen, ker vodja družbe Sam Altman pravi, da so cene procesiranja visoke. ChatGPT je deklarirano še za odtenek zmogljivejši od konkurentov; in sicer zato, ker so klasičnemu receptu botov na osnovi velikih jezikovnih modelov - se pravi popolnjevanju teksta z...

Ars Technica - Največja konferenca o strojnem učenju na svetu, NeurIPS, je letos minila v znamenju vse večjega zavedanja o kritičnih omejitvah globokih nevronskih mrež in iskanju načinov, kako bi ovire prešli.

Globoko učenje - se pravi, raba globokih nevronskih mrež - si je v zadnjem desetletju praktično podredilo področje strojne inteligence. Dalo nam je algoritme, ki premagujejo ljudi v strateških igrah, prepoznavajo obraze, diagnosticirajo bolezni in vozijo avtomobile ... dokler cesta ni preveč luknjasta, mokra in polna nepredvidljivih kolesarjev. Prav ta zadnji primer pa že kaže, kako omejen je pravzaprav ta pristop, saj se avtonomna vozila kar ne morejo izviti iz primeža eksperimentalnih faz, pa čeprav naj bi bila že nekaj časa tik za ovinkom. Kdor redno bere našo stran, zna našteti šibke točke globokega učenja na izust: občutljivost na šum; ogromne baze podatkov, potrebne za učenje; pristranskost in pa katastrofično pozabljanje, se pravi neučinkovitost izven zelo ozko zastavljenih...