Protokol

Vzem kakšen ućbenik logike in mau vaje delej.

You wish.

Želim si da bodo 2020 že tu stvari, ki si jih napovedoval za 2010.

Kaj sem jaz napovedoval za 2010?

Da bom takrat zaprl PROTOKOL v tem smislu, da po letu 2010 ne bo več mogoče dodajati novih pravil noter.

TO sem jaz trdil za 2010. Če sem kaj drugega, me prosim citirajte.

Torej, do konca tega leta še sprejemam pripombe, kaj bi kdo rad. Še slabih 7 mesecev časa imate. Če seveda mislite, da je verjetnost uspeha tega ne-ničelna.

Noben te ne sili notri, lahko ostaneš tam kjer si.

The choice is yours to make.

T-h-o-r je 3. jun 2010 ob 17:48 izjavil:

jaz bi že bil notri, ampak s polno zavestjo in možnostjo odločanja, ne pa da mašina odloča zame

Mašina bo samo definirala pravila znotraj katerih se lahko igraš.

Podobno kot današnje MMO igrice.

Pegaz je 3. jun 2010 ob 18:14 izjavil:

T-h-o-r je 3. jun 2010 ob 17:48 izjavil:

jaz bi že bil notri, ampak s polno zavestjo in možnostjo odločanja, ne pa da mašina odloča zame

Mašina že ve, kaj je zate dobro, celo bolje od tebe samega. Ona pozna vse trike in ves drobni tisk, ki se lahko pojavi in ga ti ne poznaš.

Že sedaj nimaš t.i. 'svobode odločanja'. Vedno se odločiš za tisto stvar, za katero misliš, da je zate najboljša, da ti najbolj ustreza. Ni nobene svobode tukaj, vse je deterministično. Hipotetičen primer: zavrtiš čas nazaj za 1 leto in opazuješ, kaj se dogaja. Ugotoviš, da se je vse zgodilo točno tako, kot se je prvič. Kot krogla, ki vedno pade na isto mesto, če jo v brezzračnem prostoru vedno spustiš iz istega mesta.

Potem ni svobodne volje.

Pazi kaj govoriš! :)

P.S: Par postov nazaj smo debatirali o tem, v kontekstu ali obstaja ali ne random v naravi.

ABX je 3. jun 2010 ob 18:18 izjavil:

Potem ni svobodne volje.

Saj je ni. Vsa volja ti je v naprej določena. Random narave (na kvantnem nivoju) pa močno dvomim, da kakorkoli vpliva človeka oz. njegove odločitve.

Še en primer. Izbiraš med modro in rdečo majico in izbereš modro. Svobodna volja? Ne bi rekel. Modro si izbral, npr. ker so ti v otroštvu rekli, da je rdeča "za punce". To so ti pa rekli, ker rdeča bolj asociira na žensko telo, kot na moško.

Kakšna pa je povezava med random in svobodno voljo?

Analogija s kocko: če pade 3 se izvrši nekaj, če pade 5 se izvrši nekaj drugega. "Svobodna volja" ni nič bolj svobodna, le stori kar ji kocke pravijo.

Tudi zdaj si 'samo' en kup kode v stroju, imenovanem možgani. Ampak ta kup kode je toliko sofisticiran, da se je na njem pojavila zavest, ki pa si želi čim več pleasurja in čim manj bolečine.

Po uploadu na stroj, ki zmore več, pa lahko temu kupu kode odstraniš vse težave in daš obilico veselja.

ABX je 3. jun 2010 ob 18:53 izjavil:

Debata je preprosta, brez nekega filozofiranja. Obstaja ali ne random v naravi.
Glede na to da še noben ni uspel dokazati nasprotno, potem zame velja da imamo svobodno voljo.

ne
tvoji možgani so računalnik, ki se ga da simulirat in bi v vsaki simulaciji z istim okoljem izvrgel enak rezultat.

svobodna volja ne obstaja že zaradi same definicije, recimo podobno kot "čarovnija"

Da nečesa še ne veš, je sigurno res in vkomot priznaš.
Takoj za tem pa priznaš, da vse znane teorije delujejo znotraj temeljnih fizikalnih okvirjev in da je trenutno verjetno, da je ena izmed njih vsaj na grobo pravilna.

Če se dokaže, da niti ena izmed teh teorij niti približno ne opisuje dejanskega stanja realnosti, potem je po verjetnosti takoj za tem teorija, ki je pač radikalno drugačna od vseh znanih, vendar še znotraj preverjenih fizikalnih okvirjev.

Šele ko te teorije ovržeš, lahko začneš dvomiti v osnove logike, matematike in fizike. Seveda se lahko takoj vržeš na to da dokažeš, da fiksno definirana količina 2+2 ni vedno 4, ampak to boš zelo, zelo težko storil. Prej vsaka teorija pade preden lahko načneš osnovne fizikalne konstante.

Prav zato, ker smo še zelo daleč, da bi prišli do te zadnje točke, trenutno govorimo o visoki verjetnosti, da je vsaj neka izmed danih teorij kvantne mehanike vsaj na grobo pravilna. In o tem da je viabilna vsaka nova teorija, ki se ubada z nam znanimi fizikalno/logičnimi konstantami.

Vedno se gre prvo iz najverjetnejšega in znanega v manj verjetno in neznano vse do absurdnega - ne obratno.

@Thomas

Da bi oni [SIAI] "nekaj naredili", bi v mojih očeh štelo, da bi nekaj naredili on the topic. Ne nekje v okolici obdelali celo rajdo vrtov in njiv, ampak na svoji farmi vzgojili eno fajn debelo svinjo. Ali pa vsaj položili temelje za njen svinjak. Ne pa hodili na njivo "akrasia" in podobne.

Less Wrong (na katerem je govora o akrasiji) je spin-off Singularity Instituta in na njem se res odvijajo tudi pogovori, ki s samim delom SIAI neposredno nimajo kaj dosti skupnega. Kljub temu pa služijo razvoju skupnosti racionalistov, iz katere je nato mogoče črpati potencialne FAI raziskovalce in so tako tudi v tem smislu vsaj malce koristni. Razen tega, razvoj metod racionalnosti je v veliki meri tudi direktno relevanten za cilje SIAI: brez teh veščin je upanje za razrešitev FAI problema praktično nično, koristijo pa tudi pri splošnejšem projektu zmanjševanja eksistenčnih tveganj, katerega del na svojih plečih nosi tudi SIAI.

O temeljih na katerih bi zrastel njihov 'svinjak': silna množica člankov, ki jih je Yudkowsky začel pisati na Overcoming Bias in nadaljeval na Less Wrong blogu (sedaj večinoma organizirana v sekvence), vsekakor je del teh temeljev. Spomnim se, kako je svoje čase omenil, da se počuti, kot da bi pisal pisma prihodnjim FAI raziskovalcem in treba je priznati, da to tudi so, saj se brez razumevanja teh osnov dejansko ne moreš resno lotiti FAI problema. Mysterious answers to mysterious questions (praktično vsi dosedanji A(G)I projekti, sicer pa teorija kovanja dobrih teorij), naturalistična meta-etika (osnova designa FAI motivacijskega sistema), redukcionizem, fun theory (kako kompleksna bi dejansko morala biti utopija), evolucijska biologija in psihologija (evolucija kot optimizacijski proces, ki je zgradil naš razum), teorija odločanja (formalni modeli AI), bayesova teorija verjetnosti, 'vodič k uporabi besed' (dobro definirane besede, prepiri okoli definicij, zamenjava besede za substanco), opis množic pristranosti, ki nas napeljujejo k zgrešenim zaključkom, naturalistični začetki razlage inteligence, obširna debata o eksploziji inteligence z Robinom Hansonom, razprava o logiki, nadomestek dokumentu Creating Friendly AI, ki je že dalj časa zastarel... na vrhu vsega pa počivata dve bistveni tezi za razumevanje FAI problema: vrednote so kompleksne in hkrati krhke (Complexity of value, Value is Fragile).

(Mimogrede, ideja Protokola, pri kateri za cilj optimizacije postavimo užitek, je v ostrem nasprotju s prvo tezo.)

Potem so tu še članki 'Artificial Intelligence as a Positive and Negative Factor in Global Risk', 'Cognitive Biases Potentially Affecting Judgment of Global Risks' in 'Coherent Extrapolated Volition' ter še nekateri drugi navedeni tule: SIAI Publications

Vse to mislim da predstavlja trdne temelje in dobre korake v smeri končne FAI teorije. V povezavi z Less Wrong pa bi bilo dobro omeniti še sledeče:

"Eliezer Yudkowsky and other contributors to Less Wrong have been working on decision theory. They have been investigating frameworks by which agents with beliefs and goals may represent different possible actions and the consequences of those actions, and how the agents go from there to making decisions. This is especially relevant in the context of an AI fully capable of changing its own goal structure; knowing what decision theories are stable in such situations is one theoretical component needed for the construction of predictably safe AIs. Yudkowsky's "Timeless Decision Theory" is described in a few Less Wrong posts, as well as in an unpublished manuscript. Wei Dai and Vladimir Nesov have posted on "Updateless Decision Theory." Gary Drescher, the author of Good And Real, has also commented. Plans are being floated to write up timeless decision theory as an academic paper."

Zavedati se je treba tudi, da razširjanje idej, sprožanje debat in poskusi vključevanja širše akademske skupnosti v projekt pozitivne Singularnosti, nikakor niso neke postranske dejavnosti. Če nam uspe priti skozi Singularnost v enem kosu in se bomo tedaj zazrli v preteklost, bomo morda videli, da so bili ravno Singularity Summiti, ki jih SIAI prireja vsako leto vse od leta 2006, obiskovanje konferenc ter pisanje akademskih člankov, ključnega pomena za naš uspeh. Da bi čimbolj povečali svoje možnosti moramo moči usmeriti na širši spekter relevantnih področij - tako na sam teoretičn del in izgradnjo FAI, kot tudi na razširjanje socialne mreže, pridobivanje sredstev in novačenje novih ljudi (recimo s knjigo o racionanosti na kateri v tem času dela Yudkowsky). Tako kot se je pri sklepanju dobro oprijeti vsakega koščka infomacij, je tudi tule potrebno potiskati na vseh področjih...

Kogar zanima kaj so v lanskem letu počeli pri SIAI, si lahko ogleda povzetek dejavnosti: 2009 SIAI Accomplishments

Če povzamem, v mojem pogledu je strategija, ki jo uporablja SIAI za spopad z velikim izzivom eksplozije inteligence, dobra in množica dejavnosti vključenih vanjo nikakor ni tako izven neke glavne, fiktivne smeri, kot najbrž na prvi pogled res izgleda. Vsakršen predlog za njeno izboljšavo pa je vedno dobrodošel in jim ga je v končni fazi tudi mogoče posredovati...

Kdor pa ima pripombe kakršna je, da niso napisali še niti vrstice kode... ga lahko kot prvo usmerim k OpenCog projektu (ki ga podpira SIAI) in kot drugo dodam, da dokler ne veš kakšno kodo moraš napisati, vsakršen poskus pomeni le izgubo dragocenih sredstev. ;)


Glede (off-topic) MWI: FAI projekt ne temelji na pravilnosti te interpretacije (kot tudi veš), ki pa sicer res je najboljše kar imamo. Ko bom našel kaj časa, si bom ogledal sosednjo temo, zaenkrat pa le kratka opazka: MWI tudi meni povzroča določeno nelagodje in imam občutek, da jo bo (skupaj s kvantno mehaniko?) nekoč nadomestila globja teorija, ki bo odpravila te (tudi antropične) zagate. Začasno pa lahko vsaj zagovarjam MWI kadar ta trči ob nesmiselno Kopenhagensko interpretacijo. :)

@Pegaz:

Mašina že ve, kaj je zate dobro, celo bolje od tebe samega.

...če je tako narejena. :) Po Coherent Extrapolated Volition (CEV) modelu FAI tole res drži, vendar ni jasno, kako nam bo kaj takšnega uspelo implementirati. Če pa po drugi strani narediš le stroj, ki želi maksimizirati naš užitek, pa je zg. trditev daleč od resnice. Sam namreč ne želim postati 'brain in a vat', ki mu AI stalno stimulira center za užitek in kljub temu, da AI pravi, kako je to najbolje zame, lahko mirne duše odvrnem, da se moti. Osnovana je pač na zgrešenih filozofskih predpostavkah...

Že sedaj nimaš t.i. 'svobode odločanja'. Vedno se odločiš za tisto stvar, za katero misliš, da je zate najboljša, da ti najbolj ustreza. Ni nobene svobode tukaj, vse je deterministično.

Determinizem in svobodna volja sta kompatibilna - če na ustrezen način interpretiraš pojem svobode (pri svojem odločanju še vedno občutimo neko svobodo volje, kljub deterministični fiziki - od kod prihaja? Kratek odgovor: izhaja iz narave našega kognitivnega algoritma planiranja).

Če koga zanima dokončna razrešitev tega 'večnega' problema, si lahko prebere krajše zaporedje prispevkov na Less Wrong: Free will

Hm, glede tegale protokola, sem malo prebral, pač celo temo valda ne:)

Totalna simulacija možganov pomeni, da lahko sami sebe modificiramo. In cilj protokola je nuditi uplovdanim osebkom max pleasure. Ampak kaj točno je razlika med tem, če simulator vrže ven simulacijo, ki nudi ta pleasure, ali pa če preprosto spremeni tisti center za užitke v možganih, da jim je skoz lušno...

To me matra. Jaz razlike v bistvu ne vidim. Ker tisti center za užitke ni zame nič svetega, pač nastal je tak kot je zaradi evolucije, torej naklučij.

Zato mora biti Protokol takšen, da paina ni, pleasure pa je. Preveč sprijene konfiguracije bomo pa črtali, če bom imel kaj besede. Kot recimo, da blažen strmiš celo semivečnost v metronom. Kaj šele da nisi blažen pri tem.

Saj veš tisto o prepovedanem sadežu...

Pain bi tudi moral bit - vendar pod popolno kontrolo in omejenega trajanja. Tudi pleasure bi moral biti omejenega trajanja. Moral bi imeti kontrolirane intervale, kjer se iz preteklih izkušenj učiš in odločaš o tem, kaj bo tvoj novi pleasure.

Kako lahko dosežeš maksimalni pleasure za vse, če je vmes nekaj sadistov?

O.

In kdo je tisti, ki odloči, kdo je sadist?

O.

Kako lahko dosežeš maksimalni pleasure za vse, če je vmes nekaj sadistov?


Za sadiste lahko ustvaris simulirane osebke, ki se pustijo trpincit...morda celo najdes kakega uploadanega mazota:)
Dejansko kaksni bi bili kriteriji za upload nekega individuuma? Prostovoljstvo ali selekcija?

Sadisti in mazohisti bodo pač debugani, tako kot recimo tepci in težaki.

Ni dopustno, po mojem pogledu, da se gremo kakšne čudne variante hudobnih sadistov in trapastih mazohistov. Ali da komu dopustimo, da pljuva po stenah Protokola.

Pač tega ne bo, že v osnovnem setupu, vsaj dokler imam jaz kaj besede. Če misliš, da je itak ne bom imel, se ne sekiraj. Če misliš da jo bom in to toliko, da ta amandman o minimalnem standardu estetike in etike, bo zagotovo notri - me pa prej ubij.

En arbitraren state of the art konfiguracijski prostor bo, kolikor bo po moje. Če bi radi štalo ... ste pa IMHO potrebni debuga.

Thomas je 4. jun 2010 ob 19:46 izjavil:

Sadisti in mazohisti bodo pač debugani, tako kot recimo tepci in težaki.

Ni dopustno, po mojem pogledu, da se gremo kakšne čudne variante hudobnih sadistov in trapastih mazohistov. Ali da komu dopustimo, da pljuva po stenah Protokola.

Pač tega ne bo, že v osnovnem setupu, vsaj dokler imam jaz kaj besede. Če misliš, da je itak ne bom imel, se ne sekiraj. Če misliš da jo bom in to toliko, da ta amandman o minimalnem standardu estetike in etike, bo zagotovo notri - me pa prej ubij.

En arbitraren state of the art konfiguracijski prostor bo, kolikor bo po moje. Če bi radi štalo ... ste pa IMHO potrebni debuga.

Se mi je kar zdelo tako. Ponujaš nam mačka v žaklju. Ponujaš nam top end PC z tipkovnico ki ji permanentno manjka ena tipka.

Kaj naj sploh rečem, uživaj v svojem balončku eksistence. Skoraj, da mi je žal zate, saj je tvoja logika zelo efektivna vendar fundamentalno napačna.


Skratka upam, da tisti ki se bo prvi uploadal, držal načel odprtega sistema. Sicer pa je čist mogoče, da se je kaka civilizacija že zdavnaj uploadala z malo bolj rekurzivno logiko in mi se sedaj le neki igračkamo.

Skratka, krasni novi svet z drugimi sredstvi.

O.

Človeški um se da uplovdat, pa dobiš ta hardwer, ki ga trenutno zajebava. Tak uplovdan um lahko seveda potem po želji spreminjaš in ga z čiščenjem(čustva, užitke itd stran) zmodificiraš v en napredn AI, ki je uporaben potem v vseh strojih, mašinah prisoten. Tudi protokol bi en tak um nadzoroval.

Človeški um je en zmazek naklučij:) Samo inžiniring tazga UMa je razen za potrebe AIja za stroje bedarija.

Jaz bi vsekakor protokol naredil open, no v mejah normale, določil bi max obdobje, v katerem je lahko um ujet brez prejšnih spominov in določil, da mora nekaj časa razmišljati z vsemi spomini, pač da ne bi prišlo do ujetosti uma ane, to je bolj failback, kot pa kaka omejenost, drugače pa bi vse dovolil. Uplovdancu pa dodal še možnost hitrejšega evoluciranja samega sebe. Torej da sam svoj uplovdani del kode spreminjaš z pomočjo novih izkušenj, prejetih v protokolu.
To je edini način, da ohraniš "humen mind" z evolucijo. Če ga as it is pustiš, ali celo še tega popraviš si naredil loop civilizacije, ki nikamor naprej več ne gre, kar pa vsaj moj cilj in predvidevam večine ni.

Tisti osebki, ki si hočejo debugat svoj um in se loopat v užitkih pa naj grejo v Thomasov protokol:)

Zame je eksistenca in evolucija le te ravno tako pomemba kot užitek. Užitek brez evolucije bi mene pripeljal najbrž do samomora po kakih miljard let.

AI že lako sprogramiraš, da dela nekaj v neskončnost, brez da bi se vprašal zakaj (v tvojem primeru loop užitkarstva)...sam kje je pol finta? Naredili smo avtomat za kavo, ne pa resnično mislečega stroja, ki se bo znal vprašat čemu vse to skupaj, zakaj to počne.

In če se vpraša zakaj, potem je tisto kar dela vredno toliko več? Ja pol se bo pa vprašal. A bo tko u redu?

o+ nevone