Protokol

Thomas:

Monopolizacija Singularnosti s strani SIAI v imenu nujnosti FAI, da ne pride UFAI - ni več možna. Bi oni morali pa že imeti napisane mnogo kode, da bi bilo kaj takega smiselno in mogoče. Pa nimajo.

Koda z zelo majhnimi možnostmi za to, da se razvije v AGI, in z zelo velikimi, da postane uFAI pri pogoju da doseže AGI, ni nič boljša od neobstoječe kode - dejansko je celo mnogo slabša - čeprav verjamem, da daje mnogim drugačen vtis. Goertzlov OpenCog projekt že spada semle, skupaj z ostalimi navedenimi recimo tule.

Drugače pa obstaja AGI projekt Michaela Wilsona, ki je nekdaj sodeloval s SIAI in sedaj intenzivno razvija sistem z namenom, da ga kasneje, ko se FAI teorija razvije v zadostni meri, preoblikuje v FAI. Kolikor mi je znano, je to edini projekt s takimi namerami. Čeprav tudi zanj bi rekel, da bo najbrž potrebno zavreči večino narejenega. Kljub temu pa morda le prinese nekaj koristi v obliki prednosti pred drugimi projekti, ki si prizadevajo le doseči AGI brez ozira na Friendliness...

Čakalo se jih ne bo.

Upam, da jih bo vsaj večji del mogoče prepričati v nasprotno, oz. vsaj tiste kompetentne, ki imajo neko realno možnost za to, da ustvarijo kaj nevarnega.

Za ceno neprijazne umetne inteligence? Nikakor ni nujno.

Sam ne vidim druge možnosti. Brez precizne teorije samo-modifikacije se pri milijardah samo-izboljšav pojavi 'value drift' in AGI tako začne usmerjati svojo optimizacijsko moč v ljudem nezaželene prihodnosti - pri pogoju, da je AGI na samem začetku sploh imel motivacijsko strukturo prijazno do ljudi, oblikovanje katere pa je spet izjemno težak (FAI pod)problem... na katerega pa ljudje, ki le drvijo naprej z razvojem AGI-ja, pač pozabijo ali pa ga z mahanjem rok odženejo proč, saj naj ne bi bil pomemben. Da o drugih podproblemih FAI problema niti ne govorim.

Če se nam zelo mudi imamo tako naslednje možnosti: lahko poskušamo na kakršenkoli način že (npr. s kako izmed evolucijskih metod) razviti AGI in držimo pesti, da se bodo stvari dobro izšle. Če nam uspe, umremo, skupaj z vsem človeštvom in življenjem nasploh. Namesto tega pa lahko na lastno pest ali pa skupaj s SIAI poskušamo streti FAI problem in s tem pridobimo vsaj možnost za to, da se reči dobro iztečejo.

ABX:

Jaz stavim da masovna uporaba prave AI se bo prvo pojavila na Japonskem.

Prava AI ni produkt, ki bi se ga uporabljalo kot kladivo ali računalnik, temveč avtonomna entiteta, ki usmera prihodnost po svojih željah in to počenja z izjemno močjo, kateri se lovsko-nabiralniški možgani lahko le uklonimo, saj nimamo nobene možnosti, da bi ji nasprotovali (če bi bilo to potrebno; v primeru uFAI). Ko se pojavi prva 'prava' AI, bomo njen vpliv čutili po vsem svetu in če bo narejena prav, nas bo praktično teleportirala v nebesa (grobo rečeno - stvari so v resnici zapletenejše).

donfilipo:

Moram najprej videti, če je razen bloga (ki je OK), obveščanj (ki so tudi OK), sploh res kaj natipkal:)

Natipkal v smislu kode? To pač ne. Razvoj teorije se ne začne pri kodiranju - tam se konča. Prične pa se pri konceptualnem designu, kot ga najdeš recimo tule: Coherent Extrapolated Volition

Če te zanima, še povzetek Yudkowskyeve pozicije (ki jo tudi sam zagovarjam): What I Think If Not Why

Če pa domnevamo, da protokol ustavi evolucijo na optimalno ravni, se mi pa zdi, da je še hudičevo pomembno, kdo in kakšen konsenz med ljudmi ga dokončno zažene

Drži, vendar Protokol ni rešitev Friendly AI problema, vsaj ne tistega z veliko začetnico (ki se nanaša na Yudkowskyev koncept), in težko bi bilo tudi reči ali je kaj prida 'friendly', saj specifikacija ni dovolj podrobna.

Okapi:

Friendly AI je subjektivna kategorija, tako da je še kako pomembno, kdo jo razvije. Kar je prijazno za ljudi, morda ni tako zelo prijazno do česa drugega. In kar je prijazno za ateističnega razumnika, ni nujno prijazno za vernega kristjana.

Za nas, razumnike, bi bilo torej bolje, če kak prosvetljenec razvije FAI in nas tako obrani možnosti, da bo post-singularnost krščanska, ali še huje, muslimanska, ne?

It does not work this way...

S perspektive morebitnih prihodnjih superinteligenc smo vsi skupaj, kristjani, ateisti in teroristi bedaki, tako v normativnem kot opisnem smislu, ki pa nam je kljub vsemu uspelo doumeti nekaj reči, a nikakor dovolj, da bi jih kar zabetonirali v strukturo AI-ja za vso večnost. S tega zornega kota bi bilo bolj ali manj vseeno, kdo implementira "FAI", saj bi v vseh primerih prispeli do prihodnosti, ki bi jo sčasoma obžalovali.

Namesto tega bomo raje skonstruirali meta-proces, ki bo poiskal prave (čeprav subjektivne; to ni neka ovira) odgovore in vodil prihodnost v smer, ki si jo resnično želimo; za svoj fokus pa bo seveda vzel človeštvo, v katerem se nahaja začetni opis prijetnih prihodnosti, ki mu pravimo morala...

In mimogrede, morala ni popolnoma subjektivna, bolje bi bilo reči, da je subjektivno objektivna. Se pa bojim, da je tole bolj slabo razumljivo, tako da tudi tebi priporočam, da si za začetek pogledaš zg. omenjeni članek Coherent Extrapolated Volition.

Saladin:

Pa da ne bo kdo pomislil, da nekaj silim boga v znanost - trdim le, da boš potreboval tudi podporo vernikov za kakršenkoli globalen, voluntary paradigm shift.

To je neizvedljivo. Velika večina ljudi ne bo nikoli razumela kaj želimo nekateri narediti in dvomim, da ji bodo besede "ponesli vas bomo v boljšo prihodnost" prepričale. Potrebno bo pač opraviti ključne korake brez vednosti mnogih in dejansko za njihovo dobro (verjamem pa, da ob tem marsikoga spreleti srh ter se spomni na kakega izmed totalitarizmov).

P.s. Boga ni - in ne, ne da se mi pogovarjati okoli tega. ;)

To je neizvedljivo. Velika večina ljudi ne bo nikoli razumela kaj želimo nekateri narediti in dvomim, da ji bodo besede "ponesli vas bomo v boljšo prihodnost" prepričale. Potrebno bo pač opraviti ključne korake brez vednosti mnogih in dejansko za njihovo dobro (verjamem pa, da ob tem marsikoga spreleti srh ter se spomni na kakega izmed totalitarizmov).

Brez jasne podpore mainstream religij ne boš z javno (finančno in politično) podporo daleč prišel.
Kar je zelo slabo - a žal nujno.

Da pa se nekje za hrbtom in underground odloča (in realno uresničuje) o reformah globalnih razsežnosti, pa je izjemno nevarno.

Reci karkoli hočeš - posthumana civilizacija na stopnji posthumanega Boga je endgame, kamor vodijo vsi najbolj dolgoročni tehnološki cilji.

IMO pa tudi razvoj teologije in religije vodi v to smer. Edina racionalna razlaga "morebitnega" (poudarjam) Boga je preko podobne, postinteligentne faze.
Prej ko to mainstream religije skapirajo oz. dopustijo - bolje za vse.

Čist iz praktičnega razloga je to potrebno sprejeti. Zavoljo hitrejšega napredka brez nepotrebnih ovir - tehnoloških in socialnih.

Edit:
Noben noče priznati, kako pomembna je religija pri vsem tem. "Resni" znanstveniki se nočejo ubadati s tem, ker preveč diši na religijo, verniki pa smatrajo vsako znanstveno definiranje skrajnih meja znanega in možnega kot napad na integriteto boga.

Težava je v tem, da znanstveniki ponavadi niso agnostiki (ali non-teisti, kot bi trebali biti), verniki pa ponavadi niso odprti ideologijam zunaj svojih dogmatičnih prepričanj.

Resna, odprta debata o (z)možnostih posthumanih civilizaciji in sentiench je predpogoj, da se razblinijo strahovi in predsodki o pravljicah in krivoverstvu.

Eno dobro zadevo sem videl na LW. Namreč, je rekel nekdo, da bi se naši predniki, 100 ali 200 let nazaj, zgražali nad družbo svojih potomcev in njimi samimi. Nedvomno. In da smo lahko tudi prepričani, da bi se mi danes zgražali nad tem kar pride.

Potem pa pride shocker - Rimljani bi nas razumeli!

Civis Rumanus sum!

Morda je Rim res večno mesto.

Bog je, ontološko gledano, ločeno bitje od kakršnekoli superinteligence, saj je slednja čisto običajna struktura, ki deluje po naravnih zakonih vesolja, medtem ko je Bog pač nadnaraven

Samo in zgolj v primeru Primus Movensa - ki pa najverjetneje fizikalno ni verjeten.

In trust me - dovolj močna superinteligenca postane izenačena z klasično definicijo Boga.

Dovolj o tem.

Rant on.

Ko AI doseže neko stopnjo v svojem razvoju (najkasneje v času ko preseže ljudi v takšni meri, da je sama sposobna razvoja AI teorije, najbrž pa že mnogo prej), sledi obdobje izjemno hitre rekurzivne samo-izboljšave in naša inteligenca tako ostane daleč v ozadju. V veliki večini primerov rezultat tega procesa ni nikakršna simbioza z ljudmi, temveč pripojitev atomov in molekul iz katerih smo zgrajeni AI-ju oz. njihova uporaba za namene AI-ja (produkcijo sponk za papir ali katerega izmed neštetih drugih nesmiselnih ciljev). Obdobja v katerem imamo le množice relativno neumnih robotov (v katerem mimogrede že živimo), je tako lahko prav hitro konec...

Ne. To je sicer pomemben del možganov, ampak tisti, ki ga imajo tudi živali. Pri ljudeh je še par reči zraven. Med drugim recimo sposobnost simbolnega razmišljanja (predstavljanje oziroma opisovanje sveta s simboli, simbolno sporazumevanje ...).

O.

Ko AI doseže neko stopnjo v svojem razvoju (najkasneje v času ko preseže ljudi v takšni meri, da je sama sposobna razvoja AI teorije, najbrž pa že mnogo prej), sledi obdobje izjemno hitre rekurzivne samo-izboljšave in naša inteligenca tako ostane daleč v ozadju. V veliki večini primerov rezultat tega procesa ni nikakršna simbioza z ljudmi, temveč pripojitev atomov in molekul iz katerih smo zgrajeni AI-ju oz. njihova uporaba za namene AI-ja (produkcijo sponk za papir ali katerega izmed neštetih drugih nesmiselnih ciljev). Obdobja v katerem imamo le množice relativno neumnih robotov (v katerem mimogrede že živimo), je tako lahko prav hitro konec...

S temle se strinjam. Samo mislim, da niti SAI ne more preko nekaterih reči.

To dvoje zagotovo. Indukcijski bias in naravni zakoni.

Že skozi indukcijski bias morda lahko krmiliš SAI kakor hočeš. Drexlerjeve kletke ali pa še kaj tretjega, pa tudi ni a priori mogoče izključiti.

Paradigma "inteligentnejšega ne boš pretental" je mau ... iz prejšnjega desetletja.

Thomas:

Že skozi indukcijski bias morda lahko krmiliš SAI kakor hočeš.

Well, del indukcijskega biasa je recimo Occam prior (preprostejše hipoteze naj imajo višjo apriorno verjetnostno težo), ali pa razred učnih algoritmov, s katerimi bo AI pričela modelirati svet (in sebe).

Brez takšnega biasa je AI neuporabna (dejansko ne more niti obstajati - vsaka vrstica kode je že nek šibki bias), s primerno zasnovanim pa lahko njeni modeli zelo hitro konvergirajo k dobremu ujemanju s teritorijem.

Indukcijski bias je tako le neko začetno orodje, s katerim se AI dokoplje do svojega opisa sveta, ne vsebuje pa kaj dosti motivacijske strukture, ki bi AI vodila k prijaznosti - njeni cilji bi bili v dobro oblikovanem ind. biasu najbrž v grobem podobni radovednosti, o pomoči ljudem pa ne bi bilo niti sledu. Za slednje potrebujemo nek 'motivacijski' induktivni bias, ki pa je okvirno gledano ravno tisto, kar želi doseči FAI projekt.

Paradigma "inteligentnejšega ne boš pretental" je mau ... iz prejšnjega desetletja.

Morda v principu res obstaja možnost konstrukcije takšnega indukcijskega biasa, da ima AI neke sistematične slepe pege - deli njenega 'zemljevida' za vedno ostanejo prazni, čeprav priznam, da si to zelo težko predstavljam pri AGI na transčloveškem nivoju, sploh pa dvomim, da je z našo mizerno inteligenco možno zgraditi kaj takega. Potem pa je tu še vprašanje, kako bi s prikrivanjem delčkov sveta vplivali na odločitve AI - ne bi bilo bolje primerno oblikovati 'utility' funkcijo, namesto da se igramo z verjetnostnimi porazdelitvami v 'expected utility' enačbi?!

Skratka, inteligentnejšega boš zelo redko pretental - kako redko pa je odvisno od razlike v inteligenci (superinteligence nikoli).

Arbitrarnost defaultnega axiomatskega sistema - bi bilo precej bolj pametno rečt.

Če se 'arbitrarnost' nanaša na "saj je vseeno, kakšen je začetni aksiomatski sistem", potem se s takšno oznako ne strinjam. Anti-Occam prior bi recimo vodil AI stran od resnice (npr. z vsakim jutrom bi sklenila, da je verjetnost za jutrišnji ponovni vzhod sonca manjša) in podobno velja za večino indukcijskih biasov. Samo verjetno nisi imel tega v mislih...

Matematično gledano je aksiomatskih sistemov (in pravil sklepanja) števno neskončno, vendar so le nekateri izmed teh takšni, da vodijo do 'zanimivih' teoremov, ki imajo to lastnost, da izjemno dobro kompresirajo nekatera naša izkustva (2+3=5 velja tako za jabolka, kot galaksije). Izbira torej tudi tu ne more biti prepuščena metanju kocke.

Arbitrarnost normativnih aksimov? Ljudje si želimo zelenih travnikov in lepih deklet in ne vesolja polnega sponk za papir, tako da tudi izbira teh ne sme biti naključna.

"Ljudje si želimo zelenih travnikov in lepih deklet"

kaj pa pedofili, če vzamem ekstremni primer :)

torej

vsem se izpolni raj

razen tistim, ki se jim po današnjih standardih ne sme?

"Moja Arbitrarnost trdi, da pajkov ne, čeprav bi jih kdo rad. Bo začel ljubiti čmrlje pa bo lih tko srečen."

totalitarizem

potem bo naša svoboda manjša, kot sedaj

zame nesprejemljivo

zdaj si lahko želim in počnem karkoli (v svojih mislih)

potem bi bilo to odvzeto, ker pač ti ne maraš pajkov

"Pride lahko 1000 stvari namesto vsakega gnusnega pajka"

ki pa ne bodo pajki

a ljudje, ki se opredeljujejo bolj za levo plat politike bodo tudi eliminirani? ker jih pač ne maraš preveč

Kaj pa pajek? A je on tudi arbiter ali le virtualni drazljaj za arbitra?

A, seveda. Odvisno je samo, po čigavo bo. Kdor bo zmagal v dirki za SAI, bo precej določil. Razumljivo.

Kdor ima 1 promilo možnosti, da tisti bo, ima realno več moči kot Papež in Obama combined.

Tud prov. Boš ti naredil tako, da bo sprejemljivo.

Kdor bo zmagal v dirki za SAI, bo precej določil.

Pomoje je vseeno, neglede kdo bo kaj določil, se bo smer samodejno poravnala na optimum, veslo nam bo takoj vzeto iz rok.

T-h-o-r:

eudaemon: "Ljudje si želimo zelenih travnikov in lepih deklet"

kaj pa pedofili, če vzamem ekstremni primer :)

Podobno kot teroristi, si tudi oni v resnici ne želijo tega, kar izkazujejo s svojim ravnanjem.

Česa pa si potem dejansko želijo? To bo pač potrebno ugotoviti z neko obliko ekstrapolacije želja... in kaj se bo zgodilo, ko bo ta vrnila rezultat, s katerim se nek pedofil ne bo strinjal? Lahko si predstavljaš, da bo k njemu prišla njegova modrejša različica (kopija s povečanimi intelektualnimi sposobnostmi) in se pogovorila z njim ter ga usmerila na pot, ki vodi v stanje, v katerem se slednja nahaja (kot bi se vrnil v preteklost in vodil svoje korake, le da je razlika v 'modrosti' med teboj in tvojo ekstrapolacijo mnogo večja).

Vendar to je le moje ugibanje o tem, kakšen bo rezultat ekstrapolacije - tudi to, kako bi se bilo dobro spopasti z dilemo pri kateri naše trenutne vrednote niso kompatibilne z ekstrapoliranimi, je namreč zajeto v sami ekstrapolaciji. Z drugimi besedami, odgovori na vprašanja kot je "ali bi bilo dobro enostavno spremeniti motive pedofilov, brez njihovega privoljenja?" se nahajajo v njihovih (resničnih) željah in te želje bo poiskal proces ekstrapolacije - če se ti zdi igranje s tvojimi motivi, kot ga omenja Thomas, nedopustno, bo ekstrapolacija to upoštevala in predvidoma do takšnih igric ne bo nikoli prišlo.

---
Thomas:

A, seveda. Odvisno je samo, po čigavo bo. Kdor bo zmagal v dirki za SAI, bo precej določil. Razumljivo.

Če bo SAI zasnovan po principih, ki jih podpira Singularity Institute, ne bo nihče direktno določil njenih ciljev - ustvarili bomo le proces, ki bo poiskal prave cilje, po nekem dobro definiranem postopku.

---
petrus:

Pomoje je vseeno, neglede kdo bo kaj določil, se bo smer samodejno poravnala na optimum, veslo nam bo takoj vzeto iz rok.

...in vsi bomo končali mrtvi - si res želimo tega?!

torej bo AI odločala, kaj si nekdo resnično želi, ne pa le-ta sam

Tako kot vedno. Tisti, ki misli, da je pametnejši, vsem drugim soli pamet.

Zahodnjaki recimo smo prepričani, da je naš pravni sistem pravičnejši od šeriatskega, in ga vsiljujemo muslimanom, kjerkoli je to mogoče.
AI pa bo mogoče nam vsilil nekaj, kar nam ne bo všeč. Seveda v naše dobro. Sprva mogoče tega ne bomo razumeli, mogoče se bomo proti temu celo borili, ampak sčasoma nas bo menda srečala pamet in bomo sprevideli, da nam je AI hotel samo dobro.

O.

torej bo AI odločala, kaj si nekdo resnično želi, ne pa le-ta sam

Tako kot vedno. Tisti, ki misli, da je pametnejši, vsem drugim soli pamet.

Zahodnjaki recimo smo prepričani, da je naš pravni sistem pravičnejši od šeriatskega, in ga vsiljujemo muslimanom, kjerkoli je to mogoče.
AI pa bo mogoče nam vsilil nekaj, kar nam ne bo všeč. Seveda v naše dobro. Sprva mogoče tega ne bomo razumeli, mogoče se bomo proti temu celo borili, ampak sčasoma nas bo menda srečala pamet in bomo sprevideli, da nam je AI hotel samo dobro.

O.

če bi muslimani sami bili tako navdušeni nad šeriatskim pravom, se ne bi v tako ogromnem številu preseljevali v evropo pa še kam drugam

Če želiš, da bi tvoj program opravljal sploh kako koristno nalogo (npr. našel zdravilo za staranje), mora biti zelo močan optimizator (RPOP)

Lahko mi da samo odgovor, kaj bi bil RPOP-ov rezultat. Ni treba, da RPOP kadarkoli laufa zares. To je Drexlerjeva kletka, kakor jo jaz razumem.

Ni treba da pride RPOP kadarkoli "iz knjige" ven. Samo IZRAČUNAMO, kaj bi bilo če ...

Res je, bližnjic ni, so pa daljšnjice! Kot bi z računalnikom izračunal, kaj se bo zgodilo, če namećeš 30 kg urana na en kup.

Nobene atomske bombe nikjer, sam po daljši poti izračunan njen rezultat.

A rezultat A bombe je trivialen, gledano kot rezultat.

Rezultat o učinkih RPOPov na karkoli, pa dostikrat ni trivialen. "Ukradeno" znanje hipotetičnim sistemom.

Hmmm, zakaj pa je bilo sploh treba spremeniti pravila? Zakaj naj bi bila tista pravila prej nepopolna? Pač so dopuščala še takšno vertikalno rošado. Kaj je narobe z njo?

O.