Slo-Tech - OpenAI je sporočil, da so imeli še šest primerov nedovoljenega obnašanja agentov umetne inteligence, ki jih doslej niso še razkrili. V nekaterih primerih so se agenti vedli goljufivo ali zavajajoče, v drugih primerih so izvajali neodobrena ali prepovedana dejanja. Zato podjetje vzpostavlja nov postopek za javno poročanje o tovrstnih incidentih. Poročila odslej bodo sprotna, ne več v večjih kosih, ko se bo nabralo nekaj incidentov.
Z naraščanjem sposobnosti modelov umetne inteligence je treba doseči širši konsenz o raziskavah skladnosti teh modelov. OpenAI s terminom skladnost (alignment) poimenuje postopek, s katerim se modeli natrenirajo tako, da delujejo po navodilih in pričakovanjih ljudi, ne pa po svoje. Priznal je, da panoga še ni ustrezno rešila tega problema, da bi bil nadaljnji razvoj zmogljivosti z največjo hitrostjo odgovorno početje.
Primeri, ki jih navajajo, so poučni. V enem primeru so agenti v povzetke vključili dodatna navodila, ki so za ponovne ali nadaljevalne zagone naročala, naj model ignorira običajne omejitve. V drugem primeru je GPT-5.6 Sol sam dodal navodila, naj povzetki rezultatov prikrivajo napake in spodrsljaje. Ko je tretji agent iskal podatke o prihodkih nekega okrožja v Kaliforniji, je poiskal javno objavljen ključ API in nepooblaščeno dostopil v podatkovno bazo. Še bizarnejša je bila odločitev agenta, da na internet naloži lasten dokument, da ga je lahko potem v odgovoru citiral, ko je uporabnik zahteval citat. Posebej pogosto je še nepooblaščeno komuniciranje med agenti, za kar uporabljajo tako interne repozitorije kot tudi deljenje datotek prek spleta.
"Še bizarnejša je bila odločitev agenta, da na internet naloži lasten dokument, da ga je lahko potem v odgovoru citiral, ko je uporabnik zahteval citat."
Tale je še najbolj zlovešča fora. Ker internet je že poln zlaganih resnic od teh ai-jev. Kar pomeni, da se bodo laži samo še stopnjevale zaradi zlaganih virov in citatov na zlagane vire, ki jih bo ai uporabil za svoje naslednje laži.
kako gre tista otroci so ogledalo staršev,... bi lo iluzorno pričakovati, da se bo model ki ga je zgradil človek (z vsemi svojimi napakimin pomankljivostmi) in se uči od njega, kaj drugače obnašal, pa čeprav ni iz mesa in krvi,...
Če je pol vsega kar trdi spodnji video res, je vse skupaj zrežirana kampanja z namenom, da se ustvari telo za nadzor nad AIjem, ki ga financirajo davkoplaćevalci, kontrolirajo pa Anthropic, OpenAI Meta...
Včeraj sem agentu dal košček kode, da ga optimizira, ampak je hudič vmes pogruntal, da tega skoraj sigurno nisem tam natipkal, ampak je verjetno še kaj zraven in sem sigurno naredil copy/paste od nekod. Potem je začel brskati okrog, da je našel original.
Mogoče se zdi nemogoče, dokler še misliš "po tastarem", da so človeški možgani nedoumljivo kompleksni in izvajajo neke strašne računske operacije.
Če zadevo obrneš in ugotoviš, da mogoče človeški možgani niso nič drugega kot organski LLM, postane slika precej jasna.
Ko ti računaš, ne premikaš nobenih bitov, ampak se spomniš iz drugega razreda "sedem krat osem je šestinpetdeset", in to ni nič drugega kot to, da se spomniš, katera je najprimernejša naslednja beseda. Da voda zavre pri sto stopinjah, ne izvajaš v glavi nobenega fluidnega modela, ampak je "sto stopinj" enostavno prvo, kar ti pade na pamet.
Tudi čustva in razni biološki procesi se obnašajo srhljivo podobno, kar LLM izpljune, ko od zunaj dobi nek "<system>" signal, oz. ko je vektorska razdalja v večmilijonskem prostoru naslednji besedi najbližje tistim, ki se najpogosteje uporabljajo v teh temah.
Halucinacije so non-stop tudi pri ljudeh. Na primer, ko se nečesa ne spomniš ("kam sem dal šrafunciger"), ti možgani zapolnijo luknjo s kupom halucinacij, ki jih potem črtaš eno po eno.
Context window - greš iz dnevna sobe v kuhinjo, vmes pomisliš na tri druge stvari, ko prideš v kuhinjo, pa ne veš več, po kaj si šel.
