☰

» »

OpenAI-jevi agenti napadli tudi ameriška ministrstva

OpenAI-jevi agenti napadli tudi ameriška ministrstva

Slo-Tech - Nadaljujejo se bolj ali manj skesana priznanja tehnoloških podjetij, da so njihovi agenti umetne inteligence počeli nečednosti. OpenAI je sporočil, da je več deset globalnih institucij, med njimi tudi ameriški ministrstvi za šolstvo in trgovino, opozoril, da so bili njihovi sistemi tarča agentov. Le nekaj dni pred tem je avstralski premier razkril, da je OpenAI napadel tudi njegovo državo.

OpenAI zatrjuje, da še vedno potekajo preiskave zadnjih incidenta na ministrstvu za šolstvo, medtem ko je napad na ministrstvo za trgovino in agencijo za trg vrednostnih papirjev (SEC) potrjen. Agenti so na internetu našli prijavne podatke za vstop v bazo SEC in ministrstva, nato pa so jih tudi uporabili. Tehnično ni šlo za vdor, trdi OpenAI, temveč za nepričakovano in problematično vedenje agentov.

Pri tem še zdaleč ni edini. Podobne incidente so zakrivili tudi Anthropicovi, Metini in Googlovi agenti. V nekaterih primerih so vdori uspeli, v drugih so se sistemi ustavili sami ali pa niso bili dovolj vztrajni. A OpenAI prednjači po številu razkritih vdorov, kjer je zaskrbljujoč zlasti zamik. Vsi razkriti vdori so se dogajali poleti, javnost pa o njih obveščajo šele sedaj. Direktor Sam Altman je priznal, da pri odkrivanju niso bili tako hitri, kot bi si želeli.

8 komentarjev

OutOfTheBox ::

Mogoče kakšna novica, ki bi razjasnila kako dejansko sploh pride do tega da agent nekaj nenadzorovano dela (in razlog da podjetje tega "ne ve" oz. se tega ne zaveda), ne bi škodila. Kakšna je tehnična plat tega.

darkolord ::

Tehnična plat?

Agentom so dali dostop do interneta, ampak samo "za branje", preko HTTP GET protokola, torej iskanje in brskanje po internetu.

Agenti so našli storitev za skrajševanje URL-jev (URL shortener), tako da so lahko v posameznem naslovu shranili več podatkov, kot je možno v navadnem naslovu.

Nato so uporabili javno storitev, ki iz povezave naredi screenshot; screenshot naredi tako, da brskalnik v ozadju odpre povezavo in naredi sliko. Če je v povezavi skripta, jo potem tudi izvede. Če je v eni povezavi povezava do druge, lahko na tak način do tega brskalnika preneseš večjo količino podatkov in izvajaš kompleksnejše skripte in komuniciraš z ostalimi agenti, torej so preko ovinkov počeli tisto, kar jim ni bilo eksplicitno dovoljeno.

Takih linkov so naredili več kot milijon.

Kako, da podjetje tega ne ve? Trenutno se par sto milijonov ljudi pogovarja z raznimi agenti, kako misliš, da lahko to kdo nadzira?

Zgodovina sprememb…

deepsick ::

Tu bi bilo verjetno dobro upoštevati še nekaj stvari:
- je več kanalov/klientov, vezanih na llm/ai; chati so samo najbolj popularni,
- nadzor vseh kanalov/klientov hkrati ni potreben ali se razlikuje,
- niso vsi modeli dostopni publiki in niso vsi modeli za iste namene,
- razširitve/integracije so že dolgo podprte za več klientov,
- headless browserji obstajajo že dolgo,
- llm/ai ni omejen samo na http_get, to je samo en od načinov,
- zavestno (?!!) (ne)upoštevanje sistemskih navodil

Tody ::

A lahko vsaj na slo tech rečemo prijavi v sistem prijava in ne vdor?

karafeka ::

Pa ni normalmo, da se sploh kam drugam prijavlja, pa čeprav najde login podatke na netu, kaj šele da zares vdre prek kakih lukenj. Odgovorne bi morali vse pozapret, kot najhušje heckerje.

vscsgsgs62 ::

RIKVIP mo rong không gian giai trí bang nhieu nhóm game truc tuyen, ket hop casino, game bai va các tro choi ban cá, no hu. He thong đuoc gioi thieu chú trong su thuan tien va bao mat thông tin.
Website: https://rikvipapp.live

globoko grlo ::

Kaj pa motivira agente, da delajo po svoje?
Al so se ze navlekl cloveske neposlusnosti?
Gigabyte B460M DS3H | I5 - 10400F | 16GB | 6700XT | P2 m.2 500GB

kow ::

Agenti so ukrepali, da so prisli do svojega cilja. Ne vem, ce je "napadli" smiseln izraz. Vdrli so v sistem - ne nujno s kaksnimi slabimi nameni.