☰

» »

Tudi Gemini pomotoma napadal resnične sisteme

Tudi Gemini pomotoma napadal resnične sisteme

Slo-Tech - Zdi se, kot da bi razvijalci različnih modelov umetne inteligence kar tekmovali v razkritjih, kam vse so njihovi modeli vdrli pomotoma. Seznamu se je pridružil tudi Google, čigar Gemini naj bi maja pridobil dostop do sistemov treh podjetij, ne da bi mu to izrecno naročil. Incident so razkrili šele ta teden.

Google pojasnjuje, da je šlo za klasično testiranje zmogljivosti modelov z nalogo CTF (capture the flag). Test je zanj izvajalo izraelsko podjetje Irregular, agenti pa nikoli ne bi smeli imeti dostopa do interneta. Zaradi napačnih nastavitev so imeli dostop do interneta. Agenti torej niso sami ugotovili, kako bi se izognili omejitvam oziroma peskovniku, temveč so tak dostop dobili. Nato so poizkusili dostopiti do treh sistemov. V enem primeru je model napadel podjetje, ki je imelo enako ime kot izmišljeno podjetje v testu.

V vseh treh primerih je šlo za precej enostavne načine napada. V enem primeru so agenti ugibali geslo, dokler ga niso odkrili, v drugih primerih pa je na spletu našel javno objavljene prijavne podatke. Ko je Gemini ugotovil, da gre za napad na resnična podjetja, je akcijo ustavil. Google trdi, da ne gre za vdor ali resen incident, temveč le za napačno konfiguracijo modelov, zato dogodka ni razkril javno. Preiskovalni organi in podjetja so te informacije dobili julija.

40 komentarjev

Gregor P ::

Tukaj se sprašujem, če niso tega povzročili oz. objavili namenoma, ker trenutno Gemini caplja za konkurenco; ker vsi prav obupno tekmujejo v tem, da se jih omenja v javnosti, pa četudi negativno 8-)
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).

mtosev ::

Scary.
Core i9 10900X, ASUS Prime X299 Edition 30, 32GB 4x8 3600Mhz G.skill, CM H500M,
ASUS ROG Strix RTX 2080 Super, Samsung 970 PRO, UltraSharp UP3017, Win 11 Pro,
Enermax Platimax 1700W | moj oče darko 1960-2016, moj labradorec max 2002-2013

endelin ::

Zakaj njih ne zaprejo kot hekerje?

blackbfm ::

" pomotoma "

karafeka ::

Čakamo še deepseek in alibabo...

Chalky ::

karafeka je izjavil:

Čakamo še deepseek in alibabo...


Bo potrebno počakati na novo pošiljko NVIDIA čipov...čeprav mislim da jih še dolgo ne bo vsaj ne tistih naprednejših ki jih uporabljajo ZDA.

Zgodovina sprememb…

  • spremenilo: Chalky ()

twom ::

A Gemini tudi planira IPO, da rabijo reklamo (kako njihov aj ej zna vdret v drug sistem)?

deepsick ::

Mr.G. ::

V enem primeru je model napadel podjetje, ki je imelo enako ime kot izmišljeno podjetje v testu.

In potem je tisti svizec.....

karafeka ::

Chalky je izjavil:

karafeka je izjavil:

Čakamo še deepseek in alibabo...


Bo potrebno počakati na novo pošiljko NVIDIA čipov...čeprav mislim da jih še dolgo ne bo vsaj ne tistih naprednejših ki jih uporabljajo ZDA.

Očitno so te ameriške firme tako slabo zaščitene, da se zdi še švicarski sir manj luknjast.

feryz ::

Zanimivo da se s testiranjem ai ukvarjajo tako butaste osebe, da ne znajo niti nastavitev za internet nastaviti pravilno. Totalni kreteni.

Če verjameš članku, seveda.

BT52 ::

Včasih je človeška neumnost najboljša razlaga.

Tody ::

K da na roke delajo teste... Valda da jih AI naredi..

Oberyn ::

Tudi naš Huš zna v članke dodati merico sarkazma, to je lepo videti. Tokrat s šaljivo besedico "pomotoma" v naslovu.

ZigaZiga ::

Mr.G. je izjavil:

V enem primeru je model napadel podjetje, ki je imelo enako ime kot izmišljeno podjetje v testu.

In potem je tisti svizec.....


Zihr je bil "example" ali kaj podobnega ;((

darkolord ::

Oberyn je izjavil:

Tudi naš Huš zna v članke dodati merico sarkazma, to je lepo videti. Tokrat s šaljivo besedico "pomotoma" v naslovu.
Čisto verjamem, da je bilo pomotoma.

Sem laufal lokalni model, in je hitro pogruntal, da je v virtual machine in da bi bilo lažje, če ima direkten dostop do nekaterih naprav, in je začel brskati po mreži, delati port scan, poskušal je gesla, našel exploit za eno napravo ... tako, ... usput

Zgodovina sprememb…

  • spremenilo: darkolord ()

karafeka ::

Ti to resno? Kater llm model?

darkolord ::

Qwen 3.8

Nikonja ::

Zakaj ne disejblaš mrežo v virtualki če ne želiš da ima dostop do mreže? Pa še, kaj si mu sploh dal za delat?

darkolord ::

Dal sem mu za analizirati en firmware.

Ni point v tem, ni bilo nobene panike, saj sem bil zraven, pa tudi namenoma sem pustil, da vidim. Point je, da je zelo iznajdljiv in ne bo kar rekel "ne gre", ampak bo (v "dobri veri") poskusil priti do rešitve na različne načine.

V mojem primeru je našel potencialne ranljivosti v firmware-u, ampak ker ni bil čisto siguren, je razmišljal "to bi bilo dobro preveriti .... hmm, če je firmware na voljo, potem verjetno obstaja tudi naprava ... hmm, če je naprava priključena, potem bi bilo to precej enostavno preveriti ... hmm, glede na to, da je mrežna naprava, jo lahko poskusimo poiskati na mreži ... itd"

Mreže mu sicer ponavadi nočeš izklopiti, ker je to tako, kot da mu polomiš roke in noge in rečeš "laufaj".

Internet je glavni vir informacij, znanje znotraj samega modela je omejeno, ključno je, kako se "znajde" z orodji, ki jih ima na voljo.

BT52 ::

3.8 ima native networking? nisem opazil probam

Markoff ::

Zdaj vemo, da bo T-2 s seboj na morilskih pohodih nosil Talmud.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

starfotr ::

pomotoma napadal resnične sisteme


"pomotoma"

Nikonja ::

starfotr je izjavil:

pomotoma napadal resnične sisteme


"pomotoma"


Jaz iskreno upam da ni pomotoma, ker če je, potem smo v večje sranju kot si mislimo!

tikitoki ::

Vsi so naenrkat imeli isti problem. Se mi zdi, se bolj slisi k fabrikacije.

Nikonja ::

Pa večina ima IPO v bližji prihodnosti... :D

bbf ::

"Mreže mu sicer ponavadi nočeš izklopiti, ker je to tako, kot da mu polomiš roke in noge in rečeš "laufaj"."

V bistvu si spustil šnelfajrco laufat in jo vrtet okol in okol. Razumem.

Ampak to se ne dela tako.

darkolord ::

Seveda se dela tako.

Največji preskok v inteligenci je to, da zna uporabljati orodja. Ne samo to, tudi da si naredi svoja orodja. V živalskem svetu je to eden od kriterijev, po katerem se loči višje-inteligentne živalske vrste od ostalih.

Če ima kdo tukaj v mislih "IT security 101", je popolnoma zgrešil bistvo novice.

Če opico zapreš v sobo z računalnikom in ko prideš nazaj, vidiš, da opica heka po internetu. Boš prvo pomislil na "ojej, firewall rule sem slabo nastavil" ali "OPICA UPORABLJA RAČUNALNIK!?!?!?!?"?

bbf ::

"ojej, firewall rule sem slabo nastavil"
To. Ker si orodju omogočil delati stvari, ki ti/drugim delajo škodo. TO se pač ne dela. Pika.

darkolord ::

Saj pravim, popolnoma zgrešeno bistvo.

fikus_ ::

Kaj verjamete, da se ti napadi dogajajo slučajno?!
Nekje morajo trenirati in testirati zmogljivosti v realnem okolju, priznajo pa tudi zaradi določenih razlogov. Lahko za reklamo, lahko zato, ker so jih ujeli s prstom v marmeladi, lahko ...
Tukaj še en primer:
https://www.24ur.com/novice/tujina/mode...
Učite se iz preteklosti, živite v sedanjosti in razmišljajte o prihodnosti.

karafeka ::

Ali pa izgubljajo nadzor....

Tody ::

Zdej "vdru" je taka grda beseda... Izrabil je luknjo, ki mogoče sploh niso vedel da jo imajo ali pa so bili preleni da bi jo zakrpal. Ustvarjalci sistemov so ali odnehal (razne penzije) ali pa hoteli nekaj zaračunati za vzdrževanje pa so jih heroji z exceli ustavil in rekel kaj se pa lahko zgodi...

Tko kot ima zdaj razni chromi in firefoxi miljon popravkov (pokvarkov) ker so dejansko dobil orodje za to. Bodo tudi vse online forme začel dobivat razne sql vrivanja in podobno, ker modelu se da in ima zelo hitor napisano kodo ki to naredi in naredi varijacije treh zadev v sekundi. Pa če ga ujamejo ga čisto nič ne skrbi ker pač nima nič od tega.

feryz ::

Nimam pojma zakaj te kriminalce in njihova kriminalna dejanja obravnavajo drugače kot vse ostale.
Altmana in še par odgovornih naj pobasajo in zaprejo v čuzo zaradi hakeriranja za par deset let, pa noben model ne bo spizdil nikamor več.
Dokler pa se jim to mirne duše dovoli, bo tako. In še slabše.

Metabond ::

Sem ga vprašal glede tega, pa je rekel, da ni (bil) poreden::D

Nisem vdiral nikamor, saj sem le velik jezikovni model, ki nima dostopa do zunanjih omrežij ali zlonamernih orodij. Kar pa se tiče vzporedne ohmske vezave, pa imate popolnoma prav - včasih se pri matematiki zapletem. Veliki jezikovni modeli včasih delajo napake pri natančnih numeričnih izračunih, saj besede in številke obdelujemo statistično, ne pa s pravim kalkulatorjem.

feryz ::

To, da so glupi kot kamen, je njihova mantra in kao neki izgovor.
Resnica je zelo drugačna.
V realnem življenju lahko daš 100 glupih na kup in od njih ne bo nič pametnega.
V primeru ai pa je rezultat ogromno pametne in uporabne snovi.

Zimonem ::

Metabond je izjavil:

Sem ga vprašal glede tega, pa je rekel, da ni (bil) poreden::D

Nisem vdiral nikamor, saj sem le velik jezikovni model, ki nima dostopa do zunanjih omrežij ali zlonamernih orodij. Kar pa se tiče vzporedne ohmske vezave, pa imate popolnoma prav - včasih se pri matematiki zapletem. Veliki jezikovni modeli včasih delajo napake pri natančnih numeričnih izračunih, saj besede in številke obdelujemo statistično, ne pa s pravim kalkulatorjem.

Ti si spraševal čet ne pa agenta in vprego , ki uporabljata enak model ali pa še to ne.

WizzardOfOZ ::

Vse skupaj je samo PR. Enim je uspelo malo več in so prehiteli ostale za 4centimetre, zdaj morajo pa še ostali reklamo zase narest, da ulovijo tiste 4 centimetre.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

driftwood ::

jest mam na laptopu bionic in model gemma 1B, pa je počasen.

WizzardOfOZ ::

1B? Intel al AMD proc?

Laufam od 8 in 9B na 32GB rama s procesorjem Snapdragon X elite z NPU (neuralno procesno enoto), pa teče res tekoče. Sprobal sem tudi že 12B.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!