Slo-Tech - OpenAI je ob koncu oktobra predstavil novo orodje, ki so ga poimenovali Aardvark (v prevodu podzemna svinjka), ki bo lovilo hrošče v programski opremi. Aardvark je agent na osnovi GPT-5, s katerim želi OpenAI prispevati k odpravljanju ranljivosti v programski opremi.
Aardvark v repozitorijih, do katerih mu dodelimo dostop, sproti analizira ranljivosti, ocenjuje njihovo resnost in predlaga popravke. Orodja, ki služijo istemu namenu, že obstajajo, a uporabljajo tradicionalne, bolj deterministične pristope. Aardvark je veliki jezikovni model, ki skuša kodo razumeti in analizirati na enak način kot ljudje.
Deluje v povezavi z obstoječimi ekosistemi, kot sta Github in Codex. Pri tem Aardvark kode ne popravlja sam, temveč mora predloge odobriti človeški nadzornik, preden so uradno poslani v repozitorij. Trenutno je na voljo v zasebni beta verziji.
Orodja, ki služijo istemu namenu, že obstajajo, a uporabljajo tradicionalne, bolj deterministične pristope. Aardvark je veliki jezikovni model, ki skuša kodo razumeti in analizirati na enak način kot ljudje.
BS. Že zdavnaj obstajajo LLM agenti, ki počno prav to - analizirajo kodo in skušajo popravljati hrošče v repozitorijih oz. predlagajo popravke.
OpenAI seveda želi predstaviti svojo ponudbo kot nekaj oh in sploh, verjetno pa bi bilo dobro, da članek na Slo-techu ne bi le povzemal marketinško nategovanje neke multinacionalke, temveč bi vsebino vsaj malo ovrednotil.
"Orodja, ki služijo istemu namenu in delujejo na isti način, že obstajajo."
In neko splošno mnenje o njih je precej deljeno. Ustvarjajo veliko dodatnega dela ljudem, ki morajo predlagane popravke pregledati, saj so predlogi pogosto zelo vprašljive kvalitete, hkrati pa so še enostavno napačni.
- Replit's CEO has apologized after its AI coder deleted a company's code base during a test run. - "It deleted our production database without permission," said a venture capitalist who was building an app using Replit. - "Possibly worse, it hid and lied about it," he added.
... tako da le kaj bi lahko šlo narobe
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).
So pa bounty hunterji že sedaj uporabljali AI in brez pregleda javljali kritične napake, ki si jih je AI gladko izmislil, s tem pa tratijo čas developerjev.
MS in se marsikdo drug zadnje case programira svoje produkte s pomocjo AI. Od takrat dalje je vse skup vedno vecje sra... z ogromno vec bug-i. AI je primarno pomocnik za nekaj kar ne obvladas, nikakor pa ne nadomestek.
MS in se marsikdo drug zadnje case programira svoje produkte s pomocjo AI. Od takrat dalje je vse skup vedno vecje sra... z ogromno vec bug-i. AI je primarno pomocnik za nekaj kar ne obvladas, nikakor pa ne nadomestek.
Vsi to delajo in vedno več brezveznikov se spravlja AI "programirati", čeprav temu niso tehnično dorasli, koda, ki ti jo pa AI zgenerira, brez, da si jo naštudiral pa takoj postane technical debt.
Sprobaval sem Cursor, 3 mesece na hobi projektih. Odjavil, ko sem njegovo procesiranje, po tem, ko sem se 3 ure matral, da naj jo optimizira in mu dajal hinte kako, imel dovolj tega sranja in jo v eni uri spravil iz 4-5s procesiranja, na 5 ms. ~1000x pohitritev, pa sem šel samo do "good enough", pa niti nisem šel merit ostalega, od rama do cpuja.
Pa povem samo kot končno zanimivost, vse bolečine, ko me je prepričeval, da nekaj ni bug, pa je bil, halucinacije, zgrešeno razumevanje navodil (napisati en velik spec in mu ga dati, je samomor, random bo preskočil dele speca in trdil, da je po specu), da sploh ne omenjam, da je treba potem to kodo prebrati, preveriti in razumeti, kaj je naredil.
Samo še čakam, da se začnejo vozila zaletavati in avioni padati iz neba. Idiokracija.
Travel is fatal to prejudice, bigotry, and narrow-mindedness, and many of our
people need it sorely on these accounts. Broad, wholesome, charitable views of
men and things cannot be acquired by vegetating in one little corner of earth.
Aja, pa Sonnet 4.5. GPT5 je bil pa še slabši, sem se ga takoj odpovedal.
Travel is fatal to prejudice, bigotry, and narrow-mindedness, and many of our
people need it sorely on these accounts. Broad, wholesome, charitable views of
men and things cannot be acquired by vegetating in one little corner of earth.
Vsi vemo, da je lahko AI izvrstna "svinjka", katera izvohava tartufe. Torej mu naročiš, naj prečeše splet za kakšno dokumentacijo in jo pregleda itd. Praviloma zna tudi idejno obogatiti kakšno miselno nedorečeno situacijo. Zatorej so najpogostejše težave s sodobnimi LLM-ji PEBKAC narave, torej naivnost in slepa vera. Je pa zadeva orodje kot orodje za marsikaterega uporabnika. Pa še cenovno dostopno. V splošnem uporabno, za razhroščevanje pogojno uporabno, v smislu slepa "svinjka" zrno najde. Ampak razvoj bo šel naprej, tudi periferni razvoj, torej načini treniranja, HW itd. Se ni za bat.
Chuck Norris je med števili 0.999... in 1 uspel vriniti konstanto imenovano CN.
#65W!
Vsi vemo, da je lahko AI izvrstna "svinjka", katera izvohava tartufe. Torej mu naročiš, naj prečeše splet za kakšno dokumentacijo in jo pregleda itd. Praviloma zna tudi idejno obogatiti kakšno miselno nedorečeno situacijo. Zatorej so najpogostejše težave s sodobnimi LLM-ji PEBKAC narave, torej naivnost in slepa vera. Je pa zadeva orodje kot orodje za marsikaterega uporabnika. Pa še cenovno dostopno. V splošnem uporabno, za razhroščevanje pogojno uporabno, v smislu slepa "svinjka" zrno najde. Ampak razvoj bo šel naprej, tudi periferni razvoj, torej načini treniranja, HW itd. Se ni za bat.
Ne bo. Ker so porabili vse ideje in matematične modele, ki so se razvijali 60 let, pa ni bilo dovolj zmogljivega hardwara, da bi se jih v praksi sprobalo.
Zdaj so se pa nabili v plafon, starega znanja, za izkoristit, ni več, novega ni.
Vse kar lahko delajo je filajo še več podatkov v modele in dodajajo hardware in GPT5 je lep primer, da tudi to ne gre v neskončnost.
Zato pa probavajo ožeti investitorje in priti na borzo, da ožamejo še vse naivce. Ker vedo, da ne bo šlo več dolgo naprej. Zato pa je NVidiin direktor prodal za miljardo svojih delnic.
Travel is fatal to prejudice, bigotry, and narrow-mindedness, and many of our
people need it sorely on these accounts. Broad, wholesome, charitable views of
men and things cannot be acquired by vegetating in one little corner of earth.
No, ne bodi tak "strokovnjak". Komaj ko zadeva zaživi v praksi, se ustvari dovolj povratnega odziva za nadalnji razvoj.
Ja, povratnega oziva od AIja, to že imamo zdaj. In ja, bom kar ostal strokovnjak, teh hypov fake promisov in buzzwordov sem v življenju videl preveč, od weba (ki po 20 letih, ki je ruknil razvoj aplikacij za 30 let v preteklost), do nosqla in blockchainov. In vsakič vedno se je zgodilo enako, firme so prilepile v svoje produkte takrat všečen buzzword, delnice so rastle, čez nekaj časa se je ugotovilo, da je zadeva crap in potem je padla na niko nizko raven realne uporabnosti. S tem, da je vedno obstajala neka klika uporabnikov, ki je nesmiselno rinila naprej.
In vedno, čisto vedno, mi je eden od teh vernikov tule nakladal, kako se motim in je zadeva silver bullet za vse.
Zdaj smo nekje pri Delusion, očitno se pa še CEO NVidiie boji, da smo že neprej od tega in ne verjame več v celotno idejo, sicer ne bi prodajal delnic, za katere pričakuje, da bodo rasle:
Travel is fatal to prejudice, bigotry, and narrow-mindedness, and many of our
people need it sorely on these accounts. Broad, wholesome, charitable views of
men and things cannot be acquired by vegetating in one little corner of earth.
Ta teden sem poslušal predavanje inženirja iz Veracode. Rekel je, da je funkcionalnost kode ki jo generira AI v 2 letih poskočila iz cca. 50% na približno 95%. To pomeni, da koda dela, kar je bilo naročeno, niso pa merili nobenih optimizacij. Zanimiv podatek je bil na naslednji strani, ko je pokazal da je varnost kode, ki jo AI generira, v istem obdobju narasla z 43% na 45%. To je bil še bolj zaskrbljujoč podatek...
Why can't a programmer tell the difference between Halloween and Christmas?
Because OCT31 = DEC25
