Protokol

Lonsarg je 16. jun 2010 ob 23:35 izjavil:

Zavest sploh še ni noben definiral.

Jaz sem jo. V temi o treh sobah. Pa wikipedia tudi. Pa tudi WarpedOne je podal svojo definicijo.

Tako je ja, tok misli gre svojo pot in lahko vzpodbudi določena čustva, ampak ta že prej obstajajo, ne more pa inteligenca ustvariti novega čustva. Torej če ni obstoječe želje po samoobstoju, ne bo inteligenca nikoli sprogramirala ustrezne želje sama vase, zakaj le, saj ni nobene želje po obstoju?
Ne moreš ti razumsko izračunat, da si želiš obstajat. Lahko sam izračunaš da je bolje da obstajaš, ker je to bolje za dosego ciljev(narediti ugodno življenje ljudem) in zato pač obstajaš, če bojo ljudje naredili bolši protokol bo ponovni izračun pokazal da ni bolje da obstajaš in se boš samouničil, ker boš z tem prihranil nekaj malega dela ljudem, kar je recimo en od tvojih želja, če si protokol.

Seveda so tudi nevarne želje, recimo sprogramiraš da hoče bit inteligenca podobna človeku... potem si bo jasno vprogramirala čustva, ki jih bo videla pri večini ljudi, torej bo dodala tudi željo po obstoju. Ampak tudi to ne bi bilo usodno najbrž, saj ljudje vendarle nočemo vseh ostalih ljudi uničit, v povprečju sem prepričan da tudi ne zasužnjit ali izrabit.

@nevone:

V čem se moja trditev, ki si jo označil za napačno: CEV nekako predvideva, da se bo stalno določalo na podlagi volje članov, kaj je dobro in kaj ni.
razlikuje od tvoje zadnje: Superinteligenca (ki poganja CEV) vzame za svoj fokus ljudi in se nato odloča na osnovi njihovih želja

Mentalni model, ki sem ga zgradil na osnovi tvojega stavka, zajema nekaj kvazi-podobnega direktni demokraciji: CEV naj bi nas stalno spremljala, vse v daljno prihodnost in sprejemala odločitve glede na naše želje/glasove tedaj... ali pa kot druga možnost, volja ljudi se določi na začetku, nato pa CEV stalno bdi nad nami in nas v skladu z njo usmerja skozi čas.

(Drugi primer je bližje mogočemu izidu koherentne ekstrapolacije, samo mu vseeno kaj veliko verjetnostne mase ne namenjam, že zaradi velikosti prostora možnosti.)

Takšna interpretacija se od moje razlikuje v tem, da si CEV predstavljam kot enkraten in zaključen proces. Imamo CEV dinamiko, ki poišče česa si resnično želimo in nato ukrepa v skladu s tem. Lahko se celo zgodi, da naredi le nekaj manjših popravkov v svetu in se nato izbriše; lahko zgradi nov FAI (kakršnega si dejansko želimo), ki le ždi v ozadju in skrbi za to, da naše napake niso usodne; lahko FAI zgradi visoko optimizirano strukturo (ki sama ni optimizacijski proces), ki je nato naš peskovnik, v katerem se lahko veselo igramo - nekaj podobnega fizikalnim zakonom, čeprav seveda ne na njihovem, ontološko osnovnem nivoju - FAI pa se nato ustavi in izgine...

Vse to so ugibanja o splošnih oblikah rezultata CEV in ne opis dinamike same. CEV je 'le' način za izpeljavo naših resničnih želja - naše reflektivno normalizirane morale. To stori tako, da vzame v svoje 'roke' nekaj ljudi, razvozla njihovo arhitekturo odločanja, ugotovi, katera dejanja so z ozirom na to najbolj zaželjena (pri čemer nadomesti modele sveta, ki jih uporablja naše odločanje s svojimi, mnogo natenčnejšimi; pogleda, kaj se zgodi, če upoštevamo mnogo, nadčloveško širši spekter moralnih argumentov itd.), izbere najbolje podprto, koherentno celoto takšnih dejanj in to je njen rezultat. Pogovor o CEV sami lahko s tem kar zaključimo, saj ugibanje o rezultatu ne prinaša neke dodane vrednosti.

(Ker CEV niti približno ni opisana v neko tehnično globino, obstajajo seveda tudi nekoliko drugačni opisi dinamike, ki pa so si vseeno zelo podobni.)

Kot najbrž vidiš, ni prav lahko na kratko opisati CEV, zaradi česar tudi nenatančnosti v izražanju kakršna se nahaja zg. v moji trditvi, ki je tako na moč podobna tvoji, čeprav je v mojih očeh njen pomen zelo drugačen.

Natančnejše modele sveta rabiš zato, da si se potem zmožnejši izogniti nevarnostim, ne pa zato, da bi bil inteligentnejši in modrejši zgolj zaradi želje same.

Nisem prepričan, da razumem kaj misliš s temle... (s prvim delom se drugače strinjam)

Ideja ekstrapolacije je pač ta, da bi bile naše želje boljše, če bi vedeli več in videli dalj. Preprost primer na to temo je vsebovan (če me spomin ne vara) že v osnovnem članku o CEV: Alice ima pred seboj tri škatle A, B in C. Ker je na škatli B narisan čudovit kristal, predvideva, da se v njej nahaja diamant, zaradi česar jo tudi izbere. Poleg Alice sedi Friendly Bob, ki si je ogledal notranjost škatel in ve, da se diamant nahaja v C. Zaradi tega priporoča Alice naj si raje izbere C, z argumentom, da bi C izbrala, če bi vedela tisto, kar ve on sam.

Ta miselni poskus je mogoče prevesti na to, kako CEV z vstavljanjem natančnejših modelov v odločitveno arhitekturo ljudi in povečanjem njihove inteligence doseže, da se ti izognejo npr. Orgasmiumu, saj ga tako v vsej natančnosti vidijo za tisto kar resnično je: distopija par excellence.

eudaemon: [del meta-želje analogne CEV:]...bil bolj človek kakršnen si želim biti in da bi bila ta želja interpretirana kot si želim, da bi bila interpretirana".
nevone: Nekako se mi zdi, da se tule predpostavlja, da bodo želje v večini takšne, da ne bodo ogrožale sistema. Če pa bodo, jih bo ustavila superinteligenca.

Ah ne, nič takšnega, res. :) Ni ravno lahko razumeti, zakaj naj bi bila oblika te meta-želje vsaj okvirno takšna, kot je - in ni videti, da moje dolgovezenje tule kaj dosti pomaga, čeprav kar dobro razumem te reči. Druge poti do razumevanja, kot da prebereš velik del Yudkowskyevih esejev na Less Wrong, ne vidim - razen da greš skozi še dolgotrajnejši proces študija metaetike, si prebereš kaj o reflektivnem ravnovesju, si malce ogledaš razne etične teorije in razmisliš kako so nastale ter kaj pomeni moralni napredek ipd.

Konkretneje za zg. delček pa si lahko prebereš esej Which Parts Are "Me"?, saj vsebuje podporo za prvi del zg. citata: "biti bolj človek, kakršen si želim biti oz. bi bilo dobro, da bi bil".

Za to iskanje objektivne resnice, s katero edino lahko premagamo naravne sile (če je to možno), potrebujemo stroj, ki ne bo obremenjen s težavami, kot jih imamo ljudje.

Tako zelo slabi le nismo pri tem - samo poglej uspehe fizike, kemije in (evolucijske) biologije - vseeno pa se strinjam s tem, z dodatkom, da bi bilo fino, če bi se tudi ljudje sami lahko približali optimalnejšemu delovanju v tem smislu (odstranitev/omilitev pristranosti, izboljšanje spomina, povečanje inteligence v splošnem ipd.).

@Okapi:

Kakorkoli že, po mojem je wishfull thinking, da bo superinteligenca znala manipulirati z vsakim atomom v vesolju posebej, ne bo pa toliko pametna, da bi odkrila človeška navodila in omejitve v svojem delovanju. Ali, z druge strani gledano, da bomo ljudje tako pametni, da bomo znali vnaprej preprečiti superinteligenci, da bi ne ubogala naših navodil za vse večne čase.

Ne gre za to, da bi ji morali karkoli preprečevati - superinteligenca sama bo narejena tako, da si določeni stvari pač ne bo želela. Dve izmed univerzalno prisotnih - ki se pojavijo brez, da bi morali za to kaj posebnega postoriti - sta npr. želji po samoohranitvi in zaščiti svoje 'utility funkcije', h katerima konvergira zelo širok razred inteligentnih sistemov z rastjo njihove inteligence. Samo-uničenja si torej skoraj noben visoko inteligenten sistem ne želi, ker to sledi iz njegovih ciljev (glej Basic AI Drives). Podobno velja tudi za dobro zasnovano AI.

"If you offered Gandhi a pill that made him want to kill people, he would refuse to take it, because he knows that then he would kill people, and the current Gandhi doesn’t want to kill people. This, roughly speaking, is an argument that minds sufficiently advanced to precisely modify and improve themselves, will tend to preserve the motivational framework they started in. The future of Earth-originating intelligence may be determined by the goals of the first mind smart enough to self-improve."

Ja, žal moram reči, da večina transhumanističnega gibanja podlega iluzijam, kako se da svet narest poljubno dober, po njihovih predstavah.

Vendar resnica ni taka. Lahko ga izboljšamo do neke končne mere. Zelo sicer, a še vedno obstaja zadnji kontinent. Iskanje naprej je brez smisla.

Slejkoprej si prisiljen ustaviti vsakršno nadaljne napredovanje, oziroma se ustavi kar samo, ker pač zmanjka dobrih permutacij. So samo še slabše za pregledat.

Tako, da dilema je v resnici faustovska. Če bom trenutek kdaj poprosil, kako si vendar lep, postoj!

Najlepši možni trenutek obstaja in s superinteligenco si najbrž lahko kmalu tam. Potem ali pustiš da traja, ali pa da niha v "spodnji okolici".

Tertium non datur! Tretjega ni.

Najboljši možni scenarij za koga?

O.

Samo na Zemlji je sedem milijard takih, ki bi radi šli noter.

O.

In kaj se bo zgodilo, če bo tvoj artikel na tržišču tekmoval za naklonjenost "kupcev" z 10 drugimi Protokoli?

O.

Thomas je 19. jun 2010 ob 12:29 izjavil:

Kdor najprej pride, vse zmelje.

V roku par minut.

@Okapi & co.
Za tiste ki jim to ne paše, bojo še vedno furali svoje življenje naprej po starem, kot z vsako tehnologijo.

Nobenega ne mislim s silo. Samo s prepričevanjem.

To je ravno toliko pomemben princip, kakor tisti, da ne moreš narediti sveta, ki je way off.

Ne. Prepričevanje je že debug. Če pri tebi ne uspe, Matthai, boš pač ostal na Zemlji do groba.

Sicer pa bi rekel, da je Venus Project bolj realističen kot tole. Ne me narobe razumeti. Ideja mi je všeč. Samo izvedba se mi zdi še precej v oblakih. Oz. oddaljena.

Tako kot PC s spodobnim OS-om leta 1970. Danes bi pa vsi pisal OS-e.

o+ nevone

Moj motiv je, da usmerimo večino sil (pazi, ne pravim vseh) v nekaj, kar je realno. In projekt Venus je bistveno bolj realen kot tole.

Hja, precej te tehnologije je ŽE dostopne. Problem pri Venusu ni tehnologija, pač pa pripravljenost uporabiti jo.

Upload je takoj naslednja stopnja po venus projektu.


Men pa je skoraj vseeno če se uploadam ali ne...povsot vidim napake in ta reklama za "popolno" bitje je le hype in nič drugega.

Ena možnost pa bi le bila ta, da bi me uploadana inteligenca nekje shranla do trenutka ko bi bil prevoj njene rasti iz eksponentne krivulje v nekaj bolj blagega. Tedaj pa bi me odzipala, zato da jo vprašam kaj kej dogaja.

Nobenega ne mislim s silo. Samo s prepričevanjem.

Kako boš prepričal potem vse živali in rastline? In kaj boš naredil z zemljo (parcelami) in planeti ter zvezdami tistih zavestnih bitij, ki jih ne boš uspel prepričati?

O.

Kako boš prepričal potem vse živali in rastline?

Nimajo glasu. Za otroke ga imajo starši.

Protokol mora bit tak, da vse kar takne, premakne, opazi tudi registrira, ne pa da zgolj izkoristi kot surovino. Torej ko bo pojedu piramido, želim natančen popis.

Tudi jaz tako mislim. Kaj pa s spomini xy osebe? Vsi spomini ne morejo naprej. Kakšni zloćini v Bosni ali Ruandi naj se raje pozabijo.

Nekaterim brezgrešnim svetnikom, ki tudi niso trpeli kakšnih hudih krivic, se pa lahko vsi spomini ohranijo.

Tudi če mam (bog ne zadeni!) trakuljo, naj jo Protokol samo odstrani in tudi vseh spominov, bljek.

Thomas je 21. jun 2010 ob 15:21 izjavil:

Kako boš prepričal potem vse živali in rastline?

Nimajo glasu. Za otroke ga imajo starši.

Protokol mora bit tak, da vse kar takne, premakne, opazi tudi registrira, ne pa da zgolj izkoristi kot surovino. Torej ko bo pojedu piramido, želim natančen popis.

Tudi jaz tako mislim. Kaj pa s spomini xy osebe? Vsi spomini ne morejo naprej. Kakšni zloćini v Bosni ali Ruandi naj se raje pozabijo.

Nekaterim brezgrešnim svetnikom, ki tudi niso trpeli kakšnih hudih krivic, se pa lahko vsi spomini ohranijo.

Tudi če mam (bog ne zadeni!) trakuljo, naj jo Protokol samo odstrani in tudi vseh spominov, bljek.

Zakaj pa ne bi ohranil slabih spominov...kar te ne ubije te naredi močnejšega, pač to je vse del izkušnje.
Sej jz bi hotu popravit določene (moje) zmote iz preteklosti, a spomin naj kr ostane...če lahko zadevo popravim pol ni panike, če imam spomin.

Boljš vprašanje je...kaj bi naredil z tistimi osebki, ki ne štekajo kaj sploh to je. Dejmo rečt, da naletiš na planet kjer so še v kamneni dobi, kako jim boš argumente predstavil? Ženske in bogata lovišča? Mogoče pa bi jim bilo treba, dat en test ride?!

Druge sentinence lahko razvijejo drugačno moralo/smisel in jaz bi predsingularne "potencialne" sentinence uplovdal in pustil da se naprej razvijajo v simuliranem okolju. Ko pa dosežejo stopnjo singularnosti pa bi jim povedal, da so pravzaprav že kot cela civilizacijo izključno v matrici/protokolu :) in bi jim tudi dovolil sestavo alternativnega protokola, če majo dosti drugačno zamisel, oziroma sihronizacijo, če se obe strani strinjata.

Zaradi zaključka Treh sob, je moralno edina sprejemljiva rešitev, da se kakšne posebne "kulturne avtonomije" ne dovoli nikomur.

Razen seveda tistemu, ki je sam dosegel Singularnost, in se tako ali tako oddaljuje skoraj s c od od nas bolj oddaljenem koncu in se nam približuje s c na bližjem.

Zanj lahko samo upamo, predvsem zato, ker vsebuje naše koinkarnacije, da je b.p.

Če ni b.p., smo ga pa dolžni prav po borgovsko asimilirati, kar je tudi najverjetnejša reakcija vsakega drugega protokola. Tudi tistega, ki se mu bo nekega dne bližal z nasprotne strani, zdaj je pa tam še protozvezda.

Misliti moramo na tri stvari. Kaj je zdaj sprejemljivo nam, kaj nam bo jutri sprejemljivo v Protokolu in kaj "bodo rekli drugi protokoli".

Isto morajo razmišljati vsi sentienti v Vesolju, kar postavi še dodatne constrainse našim akcijam.

A lahko sklepamo, da bodo vsi protokoli v osnovnih pravilih obnašanja enaki?

Dovolj enaki, da se ne bi bili prisiljeni spopadati. Če pa je sosednji protokol a Hell Singularity, potem nimamo druge izbiire, kakor ga asimilirati. Da bo Heaven Singularity, seveda. Predvsem pa, da ne bo Hell.

Zaradi zaključka Treh sob, če že zaradi drugega ne.

Asimilacija je morda težka, saj se nam nasprotni konec Hell protokola odmika s skoraj svetlobno hitrostjo. Torej ga bomo morali uničiti, magari za ceno lastnega obstoja.

Potem bo čez milijardo let drugi. Če ga ne bo, smo pa zakockali svojo šanso. Ni izključeno.

ABX je 22. jun 2010 ob 00:04 izjavil:

Debatirat o morali post-Protokola je isto kot da bi vprašali Conquistadores kaj si mislijo o istospolnih porokah.

Drugi časi, druga kultura.

Govorimo o obnašanju Protokola na najvišjem nivoju. Torej ali bi mu bilo mar za druga bitja ali ne oz. kaj narediti z njimi.
Ta morala pa je vedno bila prisotna, tako ali drugače. Vpraši Konkvistadorje kaj so mislili o indjancih.


To da jih uploadamo in počakamo, da zadeve poštekajo ni neki novega...indjanci v rezervatih so neka primitivna oblika le tega.

Nasprotno. To je samo še en dokaz, kako je inteligenca služabnik. IQ 200, pa se človek ubije. Še tista neznanska inteligenca najde način za samomor, ki so ga zahtevala čustva.

Da bo inteligenca zraven umrla, je ne moti. Niti da bi živela. Inteligenca samo služi čustvom, pa kakršna že so.

Škoda, da sem zamudil tisto debato o metodi CEV, ker imam veliko za povedati o njej. Kako je zgrešena, namreč. Bom, ampak prvo bom odgovoril na vprašanje samomora.

Lahko jih delimo na dve kategoriji.

Prvi so ljudje, ki storijo samomor v izbruhu čustev. Ampak verjeli ali ne, teh je manjšina.

Druga kategorija samomorilcev - oziroma ljudje, nagnjeni samomoru - večinoma tehtajo, brez čustev, pozitivne in negative strani svojega življenja ali situacije v kateri so. Samomor je pri večini ljudeh racinalna odločitev. Vsaj pri tistih, ki o tem razmišljajo kar nekaj časa, včasih tudi mesece, preden se tehtnica nagne v smer, da ni vredno
več živeti.

Ko zračunajo svojo odločitev in če se odločijo za to dejanje, ponavadi izberejo tudi čas, kdaj se bodo ubili in tudi način.

V času, ki si ga določijo, da jim ostane, so dejansko zelo srečni (ljudje se v tem času opisujejo kot zelo srečni, tako tudi delujejo navzven in jaz verjamem, da kar je intiligenca zračunala, da dejansko *so* v tem času zelo srečni), poštimajo še nekaj stvari v svojem življenju - recimo v mojem primeru, bi našel dobrega lastnika svojega psa - se ljudem opravičijo, zahvalijo, kaj kupijo, pač kar se odločijo, da morajo še postoriti, preden gredo.

Ko to postorijo, tudi če kdo, ki se spozna na te zadeve, je zelo težko človeku to potem preprečiti.

Okoli samomorov je bilo veliko dezinformacij. Šele v tem desetletju so raziskovalci psihologi/psihjatri/sociologi/... presenečeno ugotovili, kako racionalno/intiligentno se ljudje odločijo, oziroma pretehtajo določene aspekte svojega življenja in nato storijo samomor.

Kakšen zaključek boste ven iz tega potegnili, je vaša stvar. Moje mnenje je, da se te ljudje *intiligentno* in tudi povsem *racionalno* iz njihovega vidika, odločijo za svoje dejanje. Kaj jih pripelje do te točke preloma, je pri vsakem človeku drugače, ampak naj še enkrat poudarim: zelo zelo malo ljudi stori samomor v izbruhu čustev.


---

CEV, to je pa zabloda. eudamon je pa pisal svoje prispevke tako, kot da bi prepisoval Yudowskega. (Kar pa ne pomeni, da se strinjam s Thomasom in njegovim pogledom na Protokol, naj bo takoj jasno.)

Čeprav sem že pisal, kaj je narobe pri CEV in njegovem Last Judge, bom še enkrat in potem primerjal, koliko se mi je mnenje spremenilo. Upam, da bom imel čas še danes, ker je to zelo obsežna tematika.