» »

Halucinacije umetne inteligence skorajda sprožile vojaško posredovanje

Halucinacije umetne inteligence skorajda sprožile vojaško posredovanje

Slo-Tech - Po poročanju CNN-a je netočno obveščevalno poročilo, ki je bilo ustvarjeno z uporabo velikih jezikovnih modelov (LLM), skorajda povzročilo velikanski mednarodni incident. Ameriška vojska je bila pripravljena na vkrcanje na kitajsko ladjo na Bližnjem vzhodu, ki naj bi prevažala sestavne dele za jedrski program. Pomoto so odkrili v zadnjem hipu.

Izkazalo se je, da je analitik poročilo ustvaril z LLM-jem, ki je nepravilno združil več obveščevalnih podatkov in v nekaterih primerih haluciniral neresnične informacije. Poročilo je bilo faktografsko neresnično, kar so ugotovili tik pred akcijo. V ameriški vojski in obveščevalnih službah se orodja umetne inteligence množično uporabljajo, vse od analize velikih količin podatkov do upravljanja logistike.

Katero orodje je bilo uporabljeno v aktualnem incidentu, ni jasno. Tako ne vemo, ali je šlo za kakšno javno dostopno orodje ali pa za interni model. Orodje je najprej združilo več obveščevalnih informacij in skrivnih znakov ter prišlo do napačnih zaključkov. Analitik je nato orodje uporabil, da je zaključke prepisalo v standardno obveščevalno poročilo, ki ga je nato poslal naprej.

Halucinacije umetne inteligence so tako pogoste, da je leta 2023 to postala celo Cambridgeva beseda leta. Zato je toliko bolj neverjetno, da v vojski na vse kriplje pospešujejo njeno rabo. Platforma GenAI.mil vsebuje več orodij, med katerimi je Gemini privzeta izbira, a imajo tudi Claude, Grok in druge. Opozorila so glasna, a se umetna inteligenca kljub temu množično uporablja celo na bojiščih.

15 komentarjev

skumpl ::

Ja ameriški vojski trenutno ni za zaupati.

mtosev ::

Tole je zaskrbljujoče.
Core i9 10900X, ASUS Prime X299 Edition 30, 32GB 4x8 3600Mhz G.skill, CM H500M,
ASUS ROG Strix RTX 2080 Super, Samsung 970 PRO, UltraSharp UP3017, Win 11 Pro,
Enermax Platimax 1700W | moj oče darko 1960-2016, moj labradorec max 2002-2013

WhiteAngel ::

mtosev je izjavil:

Tole je zaskrbljujoče.


Upam, da so halucinacije v smislu, da zamenja v tekstu kakšno ime ali ID preteklost. Vsaj zadnji modeli so bistveno bolj konsistentni kot tisti izpred dveh let.

NekdoPach ::

Ne se prehitro zgražat. Počakajmo da pridejo feryz in druščina in nam razložijo, da lahko tudi človek dela napake, še več kot AI, in da je AI bolj varen kot človek.

Zgodovina sprememb…

karafeka ::

Ziher je bil to AI od Anthropica. Zato so jim pa potem vse pogodbe z vojsko skenclal.

Chalky ::

Bodimo srečni da gre za Ameriško vojsko in ne Kitajsko ker potem bi bil pa to velik problem če bi imeli oni takšno tehnologijo. Na srečo je nimajo. Kar se tiče vojske upam da ZDA preko AI postanejo tako močne da nobeni državi ne bo padlo niti na pamet da bi se spuščal v boj proti njim.

To je edini način da Zahodni svet ostane varen. Evropa in NATO tu ne bosta storila ničesar ker že zdaj samo gledata zato je vse na Američanih da zaščitijo Zahodni svet, žal. Bo pa potem vsaj mir ko bo vojaška prednost tako velika da bodo praktično vsi ugotovili da se niti ne splača več vojskovati proti Ameriki in Evropi.

karafeka ::

Fuuuul sem srečen, da ima trumpek kaj takega v rokah. Je to hujše kot tist kufer za atomsko.

feryz ::

NekdoPach je izjavil:

Ne se prehitro zgražat. Počakajmo da pridejo feryz in druščina in nam razložijo, da lahko tudi človek dela napake, še več kot AI, in da je AI bolj varen kot človek.
Ki si pa mene našel!?
Itak da je to človeška napaka.
Verjetno tipa maketa plus Excel. Kjer ti računalnik izračuna 3 številke, največjo izmed treh označi za najmanjšo in človek verjame programu. Ker med tremi ne more peš najti najmanjše.

Jaz verjamem da AI ne dela napak, ker je računski stroj.
Ampak dela točno to, kar mu je človek naročil in sprogramiral. Če mu je sprogramiral naj laže in halucinira, potem program to dela.

Glugy ::

"Halucinacije umetne inteligence so tako pogoste"
"ameriški vojski in obveščevalnih službah se orodja umetne inteligence množično uporabljajo, vse od analize velikih količin podatkov do upravljanja logistike."

O ja le kaj bi šlo lahko narobe. Neumnost da večje ni. Orodju ki velikokrat halucinira boš zaupal vojsko. Kako so lahko tako neumni???

Miki N ::

WhiteAngel je izjavil:

mtosev je izjavil:

Tole je zaskrbljujoče.


Upam, da so halucinacije v smislu, da zamenja v tekstu kakšno ime ali ID preteklost. Vsaj zadnji modeli so bistveno bolj konsistentni kot tisti izpred dveh let.


Ni zaskrbljujoče. V sosednji temi smo ugotovili, da dokler je mtosev živ, Ejaj ne bo uničil človeštva - samo moramo pa paziti nanj!

darkolord ::

feryz je izjavil:

Jaz verjamem da AI ne dela napak, ker je računski stroj.
Ampak dela točno to, kar mu je človek naročil in sprogramiral. Če mu je sprogramiral naj laže in halucinira, potem program to dela.
AI, o katerem se pogovarjajo, ni računski stroj. Niti ni sprogramiran, da laže in halucinira. Model je naučen samo, da poišče naslednjo besedo, da se najlepše sliši, karkoli to pač je. Včasih je halucinacija, včasih je recept za burek, včasih rešitev še nerešenega matematičnega problema.

Glugy je izjavil:

O ja le kaj bi šlo lahko narobe. Neumnost da večje ni. Orodju ki velikokrat halucinira boš zaupal vojsko. Kako so lahko tako neumni???
Resno? Čisto enako, kot zaupaš človeku, če je prepričljiv. Npr. Trumpu so zaupali vodenje države, vključno z vojsko.

tetriandoch ::

Vprašanje je ali bolj halucinira Trump ali AI.

feryz ::

darkolord je izjavil:

AI, o katerem se pogovarjajo, ni računski stroj. Niti ni sprogramiran, da laže in halucinira. Model je naučen samo, da poišče naslednjo besedo, da se najlepše sliši, karkoli to pač je. Včasih je halucinacija, včasih je recept za burek, včasih rešitev še nerešenega matematičnega problema.
Zanimivo, da lahko z ugibanjem naslednje besede slike rišeš, jih popravljaš, pesmi pišeš, video posnetke ustvarjaš, itd, itd, celo poveš kaj ladja pelje v podpalubju.
Kdo bi si mislil?

darkolord ::

Izredno fascinantno, je, ja.

Ampak tako je. Ravno to je bil glavni preskok, ko so to pogruntali.

Evo, še odgovor iz prve roke:

Vprašanje:
Ali gre pri AI modelih (v poenostavljenem smislu) za to da model izbere, katera bo naslednja beseda (token, piksli)? In da lahko z ugibanjem naslednje besede slike rišeš, jih popravljaš, pesmi pišeš, video posnetke ustvarjaš, itd, itd, celo poveš kaj ladja pelje v podpalubju?

Odgovor:
To je izjemno dobro in natančno poenostavljeno razumevanje. Zadel si žebljico na glavico.

1. Ali gre za izbiro naslednje besede (tokena, piksla)?
DA, v bistvu gre za to.

2. In da lahko s tem "ugibanjem" počneš vse te neverjetne stvari?
Tudi to je res. In to je tisti "čarobni" del.

Morda se sliši razočarajoče, da gre "samo za ugibanje naslednje besede". Kako lahko to vodi do pisanja poezije, programiranja ali logičnega sklepanja? Skrivnost je v obsegu (skali). Ti modeli so trenirani na nepredstavljivo ogromni količini podatkov (skoraj celoten internet). Da bi model uspešno uganil naslednjo besedo v zapletenem stavku, se ne more zanašati samo na preprosto slovnico.

[Sledi še dosti bla bla bla bla ....]

Povzetek: Tvoja intuicija je pravilna. V osrčju gre za izjemno sofisticirano statistično ugibanje naslednjega koščka informacije. Vendar je to ugibanje postalo tako dobro, da deluje kot inteligenca in ustvarjalnost.

Zgodovina sprememb…

msms ::

Ko bojo te droni masovno halucinirali bo pestro!

https://www.youtube.com/shorts/V_3zu7xp...