Slo-Tech - Nadaljujejo se bolj ali manj skesana priznanja tehnoloških podjetij, da so njihovi agenti umetne inteligence počeli nečednosti. OpenAI je sporočil, da je več deset globalnih institucij, med njimi tudi ameriški ministrstvi za šolstvo in trgovino, opozoril, da so bili njihovi sistemi tarča agentov. Le nekaj dni pred tem je avstralski premier razkril, da je OpenAI napadel tudi njegovo državo.
OpenAI zatrjuje, da še vedno potekajo preiskave zadnjih incidenta na ministrstvu za šolstvo, medtem ko je napad na ministrstvo za trgovino in agencijo za trg vrednostnih papirjev (SEC) potrjen. Agenti so na internetu našli prijavne podatke za vstop v bazo SEC in ministrstva, nato pa so jih tudi uporabili. Tehnično ni šlo za vdor, trdi OpenAI, temveč za nepričakovano in problematično vedenje agentov.
Pri tem še zdaleč ni edini. Podobne incidente so zakrivili tudi Anthropicovi, Metini in Googlovi agenti. V nekaterih primerih so vdori uspeli, v drugih so se sistemi ustavili sami ali pa niso bili dovolj vztrajni. A OpenAI prednjači po številu razkritih vdorov, kjer je zaskrbljujoč zlasti zamik. Vsi razkriti vdori so se dogajali poleti, javnost pa o njih obveščajo šele sedaj. Direktor Sam Altman je priznal, da pri odkrivanju niso bili tako hitri, kot bi si želeli.
Mogoče kakšna novica, ki bi razjasnila kako dejansko sploh pride do tega da agent nekaj nenadzorovano dela (in razlog da podjetje tega "ne ve" oz. se tega ne zaveda), ne bi škodila. Kakšna je tehnična plat tega.
Agentom so dali dostop do interneta, ampak samo "za branje", preko HTTP GET protokola, torej iskanje in brskanje po internetu.
Agenti so našli storitev za skrajševanje URL-jev (URL shortener), tako da so lahko v posameznem naslovu shranili več podatkov, kot je možno v navadnem naslovu.
Nato so uporabili javno storitev, ki iz povezave naredi screenshot; screenshot naredi tako, da brskalnik v ozadju odpre povezavo in naredi sliko. Če je v povezavi skripta, jo potem tudi izvede. Če je v eni povezavi povezava do druge, lahko na tak način do tega brskalnika preneseš večjo količino podatkov in izvajaš kompleksnejše skripte in komuniciraš z ostalimi agenti, torej so preko ovinkov počeli tisto, kar jim ni bilo eksplicitno dovoljeno.
Takih linkov so naredili več kot milijon.
Kako, da podjetje tega ne ve? Trenutno se par sto milijonov ljudi pogovarja z raznimi agenti, kako misliš, da lahko to kdo nadzira?
Tu bi bilo verjetno dobro upoštevati še nekaj stvari: - je več kanalov/klientov, vezanih na llm/ai; chati so samo najbolj popularni, - nadzor vseh kanalov/klientov hkrati ni potreben ali se razlikuje, - niso vsi modeli dostopni publiki in niso vsi modeli za iste namene, - razširitve/integracije so že dolgo podprte za več klientov, - headless browserji obstajajo že dolgo, - llm/ai ni omejen samo na http_get, to je samo en od načinov, - zavestno (?!!) (ne)upoštevanje sistemskih navodil
Pa ni normalmo, da se sploh kam drugam prijavlja, pa čeprav najde login podatke na netu, kaj šele da zares vdre prek kakih lukenj. Odgovorne bi morali vse pozapret, kot najhušje heckerje.
Kaj pa motivira agente, da delajo po svoje? Al so se ze navlekl cloveske neposlusnosti?
Če ni vse skupaj samo propaganda, da se 'upravlja' s pričakovanji obstoječih in novih vlagateljev. Osebno mislim, da bi 'ai' moral biti peskovno-oškatlen ali dovoljen samo na izbrana mesta. Potem mogoče preohlapnih navodil in to, recimo: "Vdreti ne omejiti!" (odvisno od vejice). Lahko tudi, da je bilo navodiljeno 'by any means necessary/available'... Ne vemo, samo MSM nas napi* že pri tem, kaj šele pri ostalem - pa še plačujemo ga (ne)radi!
Veliko bolj verjetno je, da ni enostavno v rastocih firmah vsega nadzorovati. Ni to pocasen birokratski aparat na nivoju farmacije. Napake se zgodijo veliko hitreje.
A lahko vsaj na slo tech rečemo prijavi v sistem prijava in ne vdor?
A pa je prijava samo prijava, če se prijavljam nekam kamor se v bistvu ne smem? Recimo, da dobim U/P od nekega mail accounta, ki ni moj in nimam pooblastila/dovoljenja za vpogled. Kljub temu, da se bom samo prijavil, to ni ok.
Potem se pa človek vpraša, če odgovorni (s tem mislim valjda direktorje teh firm) ne bodo odgovarjali za te vdore, ker pač AI, kaj bo šele pri nesrečah samovozečih avtov....
Zelo verjetno je to samo predstava v smislu 'držite me, da ga ne bom pretepel', da razvijajo tako superiorne (chadN!) modele, da se kar ves svet trese, če ni pod njihovo umbrello in jim že pridno plačuje ali šele bo, da tam četa z njimi, česa drugega večina tako ne uporablja. :D
Zelo verjetno je to samo predstava v smislu 'držite me, da ga ne bom pretepel', da razvijajo tako superiorne (chadN!) modele, da se kar ves svet trese, če ni pod njihovo umbrello in jim že pridno plačuje ali šele bo, da tam četa z njimi, česa drugega večina tako ne uporablja. :D
Čisto verjamem v vsebino, ker sem že pri lokalnem modelu - "iz prve roke" - videl, kako je iznajdljiv.
Ko pride do ovire, se ne ustavi, ampak poizkusi na drug način. In na tretji, in na sedemtisoči. In včasih uspe.
Direktor Sam Altman je priznal, da pri odkrivanju niso bili tako hitri, kot bi si želeli.
Altman (še) ni odkril malomarnih koderjev? Agenti uhajajo iz izoliranega okolja laboratorijev OpenaAI med internimi varnostnimi testi. V laboratorijih, znotraj strogo izoliranega digitalnega okolja, ekipe OpenAI preizkušajo zmožnosti modelov. A kode njihovih sandboxov so očitno pomanjkljive, imajo tehnično luknjo, ki jo agentom AI uspe najti in izkoristiti.
