Protokol

Bom ponovil en moj prejšen post:

CEV sam razumem nekako drugače:

Gre se za to, da do neke mere kontroliraš razvoj, tako da ta ne more neposredno privesti do predvidljivega, globalnega in nepovratnega paradigm shifta.

Torej karkoli, kar nas bi z veliko verjetnostjo (to je že 0,01% verjetnost ali manj) lahko globalno in nepovratno ogrozilo (ne glede na potencialne dobičke takšnega rizika).

Govor je seveda o Protokolu in podobnimi paradigmami.

Izhajamo iz predpostavke, da v nobenem trenutku nimamo na voljo dovolj informacij, niti computinga niti zdrave pameti, da človeštvu že vnaprej določimo nek nepovraten končni cilj in ga nato implementiramo (poudarek je na implementaciji - nič ni narobe z teoretiziranjem).

Rizik katastrofalnih napak je enostavno prevelik.

Zato z CEV implementiramo stalno kontrolo nad posamezniki koraki, s katerimi stopa človeštvo. Znanstveni koraki vnaprej so lahko poljubno dolgi - ampak ne smejo vključevat aktualizacijo nečesa tako fundamentalnega, kot je Protokol.

Vsaj tako dolgo ne, dokler s takimi (omejenimi) koraki ne prispemo do takšne stopnje, ko imamo na voljo dovolj informacij, dovolj computinga in dovolj zdrave pameti.

Šela takrat postane Protokol legitimna opcija in lahko opustiš CEV.

Do takrat pa je CEV v resnici isto, čemu danes rečemo zmerno previden napredek (double, tripple checking, backups, failsaifs, redundance...) napram nebrzdanem in nekontroliranem razvoju.

Kar pa že stalno tudi sam trobim. Pa ne varnost mešat z konzervativizmom.

Naj še ničnevem poda svoje mišljenje o CEV-u (na kratko, če se da).

Kakršnakoli rešitev že - mora biti izjemno preverjena, zavarovana in reverzibilna.

Kar slepo zaupanje AI-ju ni.

AI-ju, v smislu dokazovalca teoremov, ali pa v smislu explanationing machine, ali pa v smislu oracle machine ... lahko popolnoma zaupaš. Te arhitekture nimaja nobene svoje agende, niti je ne bodo kakorkoli pridobile.

Morda dovolj svobodnega computinga avtomatsko privede do kakšnih nepredvidljivih samomodifikacij ali celo zavesti. Tudi tukaj je zato potrebno vgradit varovalke "just in case" (drugače sem pa seveda all for komputacijske in simulacijske stroje).

Hočeš "the highest points of a human life repeating almost forever with no bad things at all, whatsoever"?

Vsaj 2 stvari so tukaj vprašljive:
- Boš podal univerzalna pravila za vse ali pravila prilagojena vsakemu posamezniku? Oboje namreč privede h globokim problemom (svobodna volja v prvem, tehnična zvedljivost v drugem). Ter seveda problem "dizajnera" celotnega sistema.
- Če program ni reverzibilen, kako se boš omejil in popravil škodo pri napakah, napredvidljivih okolnostih in morda sabotažah (kajti nekaj od tega se bo v toku Protokola sigurno zgodilo)?

Nej pove kdo boljšega.

Sem že.

Liberalen napredek, ki pa je strogo (tudi nasilno, če je potrebno) reguliran na področjih z največjo invazivnostjo v temeljno človeško naravo in na področjih največjih rizikov za biološko in intelektualno preživetje človeške vrste. Sploh, če se gre za nereverzibilna dejanja (teoretiziranje in filozofiranje o takih dejanjih pa je, češrav kontraintuitivno, zelo zaželjeno)

Gre se za začasno doktrino, ki mora omogočit preživetje in dobrobit človeštvu tako dolgo, dokler globalno ne dosežemo dovoljšen znanstven in intelektualen nivo in konsenz o določitvi vnaprejšnjega, nepovratnega razvoja človečanstva.

Tvoj nasvet o vzdržnosti, bodo nekateri ubogali, drugi ga ne bodo. Od slednjih je in bo - odvisno vse.

Izogibanje velikih bedarij z manj bedastim prehitevanjem bolj bedaste konkurence je še vedno bedarija.

In tukaj govorimo o fundamentalno nepovratnih bedarijah.

Hitimo kolikor moremo. Vsi.

Hitet moramo samo pri teoretiziranju - preizkušanje pa mora biti v prvi vrsti varno.

Če pa se konkurenca ne ozira na varnost, potem jo je treba eliminirati (v prvi vrsti pravno/moralno, če je potrebno pa tudi z fizično silo).

MORAMO ustvariti potreben čas za varnost.

EDIT:
To seveda ne pomeni, da se s tem omejiš na eno smer počasnega in varnega razvoja.
S tem, ko že vnaprej veš, da bo dosti dlje potrajalo do končne transformacije človeštva (in elimnacije paina), je potrebno med tem časom na vse druge varne načine zmanjšat pain in povečat blagodat ljudem.

Dodaten čas za varnost istočasno pomeni dodatno obvezo med tem časom zmanjševati pain.

Tako pridobljeni čas ni nujno varen. Še večji časovni interval nastane, v katerem lahko pride do "uploadanja na črno". In potem posledično ukinitve našega safe obnašanja.

Uploadanje na črno se tudi lahko strogo regulira (ker se najverjetneje gre tudi za veliki projekt, ki ne bi mogel ostat neopažen).
Podobno se bi moralo regulirat kot širjenje jedrskega orožja (strogo in hitro).

So pa pri tem dve varijanti:
- Uploadanje dogaja v omejenih razmerah (potem ni globalno nevarno in se lahko iz tega še vedno varno kaj naučiš). Kajti rizik prevzemajo udeleženci in noben drug.
- Izjemno malo verjetna in veliko bolj nevarna pa je možnost, da bi neka mala, neopažena underground skupina lahko globalno vplivala in potencialno ogrozila humanity.

Samo če ta zadnja možnost postane realna nevarnost, smemo pohitet z realizacijo Protokola (tukaj rizik globalne nevarnosti površne akcije posameznikov odtehta kalkulirano akcijo maksimalno skrbne skupine z maksimalno sredstvi in znanjem).

Preživetje vrste ime prednost pred načinom preživetja, dober način preživetja pa ima prednost pred slabšim.

Ultimativni cilj pa je dober način preživetja in ne zgolj preživetje (in nepovraten ostanek v tem "zgolj")

Ene vrste testiranj protokola bi lahko bile (oz. so že) tudi video igrice (wow, Sims, EVE ...). To me spomni na tale spot. Ljudje radi in hitro zamenjamo svojo realnost za kaj drugega, pa naj bo to z drogo, igrico, vero ali pa protokolom. Se pravi za "komercialni uspeh" protokola se ni bati. Vprašanje pa je, če je navidezni svet resnično lahko tako realno lep in/ali grd kot in "flash and blood". Še ena luštna reklama za trenutni svet.

Če bo preveč lep bo dolgčas, če bo preveč grd sploh ni za probat. Vprašanje je, če se bo znal uspešno balansirati.

Lahko je BISTVENO lepši ali grši. Lahko je, ni ovire.

Definitivno je lahko lepši ali grši, brez smrti in bolečine ali celo slabši.

BOLJŠI pa je tukaj pravo vprašanje.
A Protokol res omogoča brutto boljše življenje in razvoj (tako individualno kot globalno)od klasičnega človeškega potenciala?

Nisi me še prepričal.

Kako veš, da doživljanje in razumevanje paina ni embedded v človeško psiho kot nujni del psihosocialnega razvoja?
Kako veš, da ne bomo vsi v Protokolu sčasoma imeli homicidalne/suicidalne tendence zaradi nerazumevanja paina, zaradi nezmožnosti razvoja empatije, zaradi nezmožnosti dojemanja globalnih posledic svojih dejanj?

Ali pa kontra - kako veš, da se ti zaradi "večnega orgazma" ne bo enostavo "odtrgalo"?
Ali pa da bo ves družbeno/znanstven napredek začel stagnirat ali celo degenerirat (saj nimaš nobenih nujnosti in potreb več - everything is neatly provided).

Trenutno je še preveč neznank.

Saj namen ti je vsekakor OK, ampak pot v pekel je tlakovana z dobrimi nameni, kot pravijo.

Včasih je z dobrimi nameni tlakovano tudi ostajanje v peklu.

Torej gledaš na trenutni svet kot "hell"?

Potem res vidiš zgolj najslabše stvari in iščeš najenostavnejši izhod, ki je res Protokol.

Najhitrejši in najenostavnejši izhod pa ni avtomatsko pravilen. Nagibam se celo, da je fundamentalno napačen (razen kot izhod v zadnji sili).

IMO bi prevzetje Protokola v trenutnem stanju pomenilo poraz - obupanje nad človeško domišlijo, svobodo in individualizmom.
Pomenilo bi, da smo kot ljudje popolnoma zgrešili, da je čas za človeštvo umre in da se preobrazimo v nekaj drugega.

V nekaj "manj" oz. "slabšega" od človeka.

Dopuščam možnost Protokola kot pozitivno evolucijo človečanstva. Ampak tega tukaj niti ne garantiramo niti si tega ne želimo preveč.

Dosedaj smo govorili zgolj o nujnosti preživetja. Sam pa poudarjam kvaliteto življenja.

Eh, ene milijardokrat ali kolikokrat boljše življenje je vse, kar lahko dobiš.

Več ni in ne bo. "Razvoj" sam po sebi pa nima nobenega pomena. Dokler ima pragmatični cilj, izboljšanje življenja, potešitev neke radovednosti ali rešitev nujnega problema - potem ja.

"Neskončni razvoj", pa je v končnem svetu absurden pojem. Sam sebi namen, pa celo smrtno nevaren za nas, če mu ne postavimo neke (arbitrarne) meje.

Življenje milijardokrat boljše, kot so ga imeli največji srečkoviči doslej. To je ena taka arbitrarna meja, ki je po moje čisto v redu. Lahko predlagaš bilijon ali milijon. Za premislit potem, kaj je optimalno in se oprijet tistega.

Iluzije si ba izbit iz glave. Kako bomo jezdili na neskončnem valu vzpenjanja, ki se nikdar ne konča, bolelo nas bo pa še zmeraj kaj. Pa predvsem zelo počasi. To je otročja predstava, Saladin.

Protokol ni izhod, je rešitev problema do katerega bo prej ali slej prišlo. In kar je najhuje je, da se o tem sploh ne govori tako kot bi se moralo, javna debata ter debata na višjih nivojih je nujno potrebna, da lahko sami sebe zavarujemo.
Najbolje je reči, da se to nikoli ne bo zgodilo in potem se bo nekomu v kleti na računalniku zevolvuliral AI > human intelligence, kar naenkrat bo počilo in kill process opcije ne bo več. V katero smer bo šlo po tem pa ne bo odvisno od nas razen, če ne bodo v naprej postavljena pravila igre = Protokol.

In četudi do singularnosti ne bi nikoli prišlo zakaj se ne bi prej "zavaroval"? To je isto kot, da nisi nezgodno zavarovan pa čeprav veš, da obstaja določen procent možnosti, da se boš v prihodnosti poškodoval.

Spet me predolgo ni bilo tu... ahja, pa gremo od začetka.

@Thomas

Moj pomislek proti CEV je naslednji. CEV pomeni "Ne tako, kot bi vsaj nekdo od nas rad, pač pa kakor bo zunanji agent presodil, da bi mi radi, če bi bile okoliščine bistveno drugačne". To se mi ne zdi ravno najbolj varno. Če ne začnemo iz nekega dobro definiranega stanja, pač pa iz nekega ideala, ki ga še nismo dosegli, pravzaprav niti še ne vemo kakšen ta ideal bo ... je tvegano da se nam spodmaknejo tla pod nogami.

CEV se res razlikuje od Protokola v tem, da ne vsebuje eksplicitnega odgovora na vprašanje 'Kako bi bilo dobro zasnovati prihodnost, da se bomo v njej počutili prijetno?" in v tem smislu res ni dobro definirana, če temu lahko tako rečemo.

Gre namreč za razliko analogno tisti med algoritmom in rezultatom, ki bi ga ta vrnil pri nekem vhodu; lahko imamo program za izračun vsote skupaj z vhodnima podatkoma 1 in 2, ali pa le rezultat 3. CEV je podobna prvemu primeru, Protokol pa drugemu (pri čemer je rezultat recimo nekje med 2 in 4). Ne gre torej toliko za slabo definiranost kot za to, da pri Protokolu vemo odgovor, medtem ko je pri CEV ta neznan... kar se pa meni ne zdi njena slabost - v resnici to vidim celo kot prednost.

Kljub temu da ne poznamo rezultata, poznamo lastnosti njene dinamike in te nam vplivajo zaupanje, da bo njen odgovor dober, boljši od Protokola.

Še ena analogija: če bi imel na voljo več let, da bi razmišljal o rešitvi nekega problema (ki ga ne znam niti dobro definirati), bi lahko trdil, da bo moj odgovor kvalitetnejši od ad hoc rešitve, ki mi pade na pamet v 7 minutah - kljub temu da odgovora ne poznam.

Ekstrapolacija, ki jo izvaja CEV, zajame poleg dolgega razmisleka še druge stvari, njena struktura pa je podobna in s tem tudi njen odgovor boljši.

Kaj se mi še zdi težava Protokola, če ga pogledamo s tega zornega kota?

Če se nekoliko odmaknemo od današnjega časa razlike med ljudmi zbledijo. V lovsko-nabiralniških časih so gotovo obstajala plemena, ki so na prepričanja svojih tekmecev gledala zviška, češ "kaj so to neki zabukvanci, ki verjamejo Neumnost163". Tudi če bi kje obstajali zapisi o razlikah med plemeni, bi se nam te zdele nepomembne - sami barbari, enaki kot ovce. Vendar enako velja tudi za nas - le da smo nekoliko manjši barbari.

Bi ravnodušno sprejel to, da bi se o prihodnosti odločala neka skupina radikalno zelenih; ali pa fundamentalističnih muslimanov/kristjanov? Mene ob tem spreleti srh. Ko pa pomislim, da smo z vidika milijonov prihodnjih let vsi tako zelo podobni... potem tudi moje zaupanje v svoje sodbe splahni - zaupanje v to, da bom, tudi če zelo dobro premislim, podal dober odgovor na vprašanje 'Kam naj gremo?'.

In kaj lahko malo-manjši-barbari sploh storimo?

Namesto da se prepiramo o tem katera rešitev je boljša, bi bilo bolje, da zgradimo dinamiko, ki bo ta prepir avtomatizirala in k temu dodala še nekaj začimb ('knew more, were more the people we wished we were...'). Statični odgovori, naj se nam zdijo še tako zviti in dobri, imajo ravno toliko možnosti za uspeh, kolikor jih ima nek lovec izpred 50k let, da napiše ustavo.

Tako kot se njemu niti ne porodi ideja o tem, da bi bilo kaj takega potrebnega in koristnega, danes ne moremo videti niti potrebnih vprašanj, ki jih ponuja prihodnost, kaj šele da bi videli odgovore.

Edina (meni poznana) rešitev je torej ekstrapolacija naše morale, naj bo v obliki CEV ali kaki drugi.

Če rečemo, "ohrani, kvečjemu intenziviraj zavest in maksimiziraj p/p" ... potem so vsaj osnove jasne, če že končen rezultat ni.

Kot sta prikazala nevone in Saladin v pogovoru, ki je sledil temu postu, celo znotraj te maksimizacije ostaja mnogo variacije o kateri se lahko prepiramo. Ne bi tega raje prepustili svojim pametnejšim različicam, kot to (poleg drugih stvari)stori CEV?!

Samo za okus bi še dodal, da čista maksimizacija p/p pride v nasprotje z eno izmed glavnih vrednot: svobodo. Če nek zunanji agent močno optimizira naša življenja, pa naj gre za katerikoli cilj (kaj šele p/p), je s tem naše svobode konec.

CEV pa, kolikor se razlikuje od Protokola, ponuja na videz več. Da ne bomo vsega zamudili, kar v Protokolu vseeno morda bi, zaradi začetnih omejitev, ki jih s CEV ni.

Ne le da ne bi zamudili, Protokol se prav lahko razvije v distopijo. Morda se komu zdi, da je dovolj za preprečitev tega če sistem pazi na p/p, ampak temu ni tako. Kot prvo je stvar odvisna od specifične implementacije tega principa - kjer pa lahko hitro kaj zafrknemo (večja inteligenca bi nam tu prišla prav -> CEV) - kot drugo pa je že sama izbira (le) tega principa na trhlih nogah.

CEV pomeni, po moje, veliko nevarnost, da sentientnih bitij preprosto ni, ko je CEV izpolnjen.

CEV ni naključni generator izzidov.

Oba si močno želiva da do tega ne pride in enako velja za veliko večino ljudi. Te močne želje CEV seveda upošteva, tako da je - če že špekuliramo - majhna verjetnost da se kaj takega zgodi.

Poleg tega pa imamo še Last Judgea, ki naj bi pregledal rezultat ekstrapolacije in nato dal zeleno luč - ali pa pač ne.

Je pa še nekaj drugega tu v igri: kdo ali kaj naj bi spadalo med sentiente oziroma na kaj točno se sploh nanaša ta beseda... mi še zdaleč ni jasno. Vem da ljudje zagotovo spadamo mednje, ampak kaj je tisto, kar nas naredi za sentiente? Zavest? Seveda, ampak to je samo preimenovanje skrivnosti, ne pa odgovor.

Kaj pa šimpanzi, delfini in druge višje razvite živali? Kaj bi lahko rekel o 'teoriji prahu' od Egana?
In tako naprej.

Če bi z današnjimi očmi gledal spreminjanje sveta s strani CEV (oz. RPOPa, ki ga poganja), bi se ti prav lahko zdelo, da gre za izničenje vsakršne sentience, v resnici pa bi se s tem ustvarilo še mnogo več, mnogo srečnejših sentientov ali karkoli-za-nas-nerazumljivega-vendar-mnogo-boljšega že.

CEV bi nam lahko tudi pojasnila, zakaj bi bilo bolje na takšen način preurediti svet...

Dobro se je zavedati svoje omejenosti. Smo navsezadnje le prva splošna inteligenca, prvi mali hribček nad razgibano ravnino, za katerim pa se dvigajo visoke gore...

@Thomas

Da bi pa naseljeval planete in od večine njihove mase imel samo "idealni gravitacijski privlak" je pa way too silly. Way too silly!

Se seveda strinjam.

Se ti ne zdi, da obstaja dobra možnost za to, da bi na Protokol gledal kot na enako silly idejo, če bi o njem razmišljal nekaj desetletij in pri tem postal še pametnejši (in doživel še ostale transformacije, ki jih navaja CEV)?

@Saladin

Naj še ničnevem poda svoje mišljenje o CEV-u (na kratko, če se da).

Želiš da z večjo jasnostjo in na kratko pojasnim idejo, ki je mnogo spretnejši Yudkowsky ni uspel v tako dolgem eseju? Težka. Mogoče čez čas, ko bom absorbiral vse, kar je napisal na Overcoming Bias in kup literature, na kateri tudi deloma sloni CEV. Zaenkrat te lahko usmerim le v ponovno branje eseja in da si malo pogledaš omenjeni blog. Relevantni bi bili sploh članki o (meta)morali. Eden izmed teh je The Meaning of Right je pa še lepo število drugih in dolga pot, da premagaš inferenčno razdaljo, brez katere je vse skupaj zelo težko razumljivo. Ali pa če prebereš kar sem napisal v odgovor drugim...

Kar se pa tiče tvojega povzetka, bi rekel da kake napake ne vidim v njem, se pa z njim ujema tudi kak drug predlog poleg CEVa - težko bi rekel da zadane bistvo.

Vseeno pa nekaj besed o (meta)moralnem pogledu na CEV:
CEV je narejen tako, da se čimbolj približa 'the right thing to do'. Skozi zgodovino je človeštvo doseglo znaten moralni napredek, CEV naj bi nadaljeval s tem. Lahko si predstavljaš, da ljudje poskušamo aproksimirati neko funkcijo, ki predstavlja idealno moralo. Skozi številne argumente, argumente o argumentih in refleksijo naša aproksimacija postaja vse boljša. Vedno bolje vemo, kaj je dobro. CEV uteleša to dinamiko in tako poišče boljšo aproksimacijo... oziroma nekako v tem smislu (brez da bi vedel, kaj je morala, je to težko razumeti). Naj bo to kot en mali hint. :)

MWI ... na kratko, govori o tem, kako je poleg našega sveta še vse polno paralelnih svetov.

Ki jih naredi posamezni izid kvantnega eksperimenta. Kakorkoli se eksperiment izteče - črno ali belo ali sivo ... se za vsako možno rešitev nekako naredi svet, ki to rešitev vsebuje.

Potem obstajajo našemu paralelni svetovi. Pri nas se je recimo naredil izid 25, mi živimo v svetu s tem izidom, hkrati je pa še 86 drugih svetov, kajti možnih izidov je bilo 111.

Zakaj ne verjamem v MWI?

Ker se še nikoli od 1908 dalje ni zgodilo, da bi paralelni svetovi prispevali interferenčni elektron, če mi nismo prispevali nobenega. Prispevajo nekateri - ne vsi! - (baje), če mi prispevamo, sicer ne prispevajo nič.

Po MWI, prispevajo nekateri paralelni svetovi po 0 interferenčnih elektronov. Čudno, da ravno mi nikoli. Res čudno. Po toliko tisočkrat ponovljenih poskusih, še ni bilo interference, če nismo poslali nobenega elektrona.

Če pa pošljemo, pa nekateri paralelci takoj interferirajo našega.

Štekaš foro?

Zdej če ne ... ni kej govort več o tem.

Par smernic, katerih bi se morali držati, dokler ne zagotovimo primerno in varno izvedbo Prootokola (vse citati iz Wikipedije, ker sem pač len in ne preveč zgovoren)

The precautionary principle is a moral and political principle which states that if an action or policy might cause severe or irreversible harm to the public or to the environment, in the absence of a scientific consensus that existential harm would not ensue, the burden of proof falls on those who would advocate taking the action.[1]
The principle aims to provide guidance for protecting public health and the environment in the face of uncertain risks, stating that the absence of full scientific certainty shall not be used as a reason to postpone measures where there is a risk of serious or irreversible harm to public health or the environment.

Differential technological development is a strategy proposed by transhumanist philosopher Nick Bostrom in which societies would seek to influence the sequence in which emerging technologies developed. On this approach, societies would strive to retard the development of harmful technologies and their applications, while accelerating the development of beneficial technologies, especially those that offer protection against the harmful ones.[1]

Imam tudi druge pomisleke glede Protokola, ampak preživetje ljudi je itak prva prioriteta.

Način preživetja (posebno oblika in doživljanje osebne zavesti in slobode) pa pride takoj za tem. Glede na to, da ne vemo, kako zavest deluje in kako se obnaša na raznih substratih, je tudi točna skeptika nemogoča.

V svakem primeru pa tudi tukaj velja Precautionary principle - razvoj in implemetacija novih AI-jev ter drastično vplivanje na sedanjo človeško zavest
mora biti podvržena enaki kontroli.
Tukaj spet govorimo o kontroli napredka na egzistencialnem nivoju. Posamezne korake napredka se niti ne more niti ne sme kontrolirati. Mora pa se kontrolirat napredek z predvidljivim egzistencialnim rizikom ali sklop manjših napredkov z istim predvidljivim in neposrednim rezultatom.

Da še enkrat poudarim - vse omenjeno ni niti blizu konzervativizmu, ker se sploh ne gre za značajno zaviranje napredka.
Gre se le za izogibanje predvidljivih egzistencialnih rizikov.

In to tako dolgo, dokler se ne moremo več izogniti "skokom v neznano". Bodisi zaradi drugih, večjih egzistencialnih rizikov, bodisi zaradi neizogibnega znanstvenega napredka.

Samo ekstencialni riziki, kamor pogledaš!

Samo da so eni bolj neposredni, drugi pa manj.

Oba pristopa imata lahko na koncu enako destruktivenr rezultat, ampak Protokol (na splošno) je definitivno bolj direkten in bolj verjeten rizik od "Precautionary principle".

Pomeni da imaš pri slednjem več časa na voljo. Več časa za raziskave, testiranja in varovalke. To je ta bistvena razlika.

Ampak bolj ko se riziki in verjetnosti izenačujejo, bolj viabilen in nujen postaja Protokol, da.

Eno tako skromno pravilo, nekje je treba začet! ;)

Kmečka resnica "Sam da se dela!" ali "Nekje je treba začet!" ni nujno prava logika, ko imaš potencialen doomsday event v igri ;)

Vladimir Nesov včeraj na AGI mailing listi:

This is the question of Friendly AI: how to construct AGI that are good to have around, that are a right thing to launch Singularity with, what do we mean by goals, what do we want AGI to do and how to communicate this in implementation of AGI. Read CFAI ( http://www.singinst.org/upload/CFAI/ind... ) and the last arc of Eliezer's posts on Overcoming Bias to understand what the problem is about.This is a tricky question, not in the least because everyone seems to have a deep-down intuitive confidence that they understand what the problem is and how to solve it, out of hand, without seriously thinking about it. It takes much reading to even get what the question is and why it won't be answered "along the way", as AGI itself gets understood better, or by piling lots of shallow rules, hoping that AGI will construct what we want from these rules by the magical power of its superior intelligence.

For example, "inherent goals (pleasure vs pain) given by evolution" doesn't even begin cut it, leading the investigation in the wrong direction. Hedonistic goal is answered by the universe filled with doped humans, and it's certainly not what is right, no more than a universe filled with paperclips.

Se bojim, da z MWI misliš čisto nekaj drugega, kar je splošno sprejeto in da te fore ne 'šteka' noben zagovornik te interpretacije. Tvoj 'paradoks' torej spada med 'not even wrong'.

Tale tvoja izjava - je vidiš kako napačna?

Prekleto dobro vem, za kaj gre. Ampak se mi zdi da kdo drug ne ve.

@DoubleJ

CEV bi naj pohitril neko izvajanje povprečne človeške morale? Dobili bi neko zmes podobno bruhanju pomojem. Lahko pa tudi kake gulage in podobne zadeve.

Si sploh prebral originalni članek od Yudkowskega ali samo uživaš v ugibanju? Slednje? Se mi je zdelo.

Sploh pa, CEV je pretežko napisat. Bo prej en Protokol, samo vprašanje kakšen.

To pa je po drugi strani zanimivo in relevantno vprašanje. Nek malo bolj specifičen načrt implementacije Protokola bi nam vsem prišel prav. Potrebno je rešiti problem uploadanja, to je očitno. Kako pa je s funkcijo, ki bi uravnavala pleasure/pain? To pa je tricky del. So pa še druge stvari...

Tako na hitro bi rekel, da zgraditi Protokol *ni* bistveno lažje od CEV. Dopuščam celo, da je lahko težje.

Saladin,

Jaz pač zagovarjam IMO najbolj varno pot. Postavitev pravil, ki bodo kar najmanj gugala barko, ki plove po že naturno razburkanem morju.

Opustitev akcije se mi zdi bolj nevarna od pametne akcije.

Vem, da vsak človek dela vse tako, kot misli da je najbolj prav. Tako tudi jaz. Tako tudi vsak, ki bi moje akcije skušal spremeniti kakorkoli.

Tukaj smo v tavtologiji, seveda. Zdej se pa renda.

Jaz pač zagovarjam IMO najbolj varno pot. Postavitev pravil, ki bodo kar najmanj gugala barko, ki plove po že naturno razburkanem morju.

Že res.
Kaj pa če nimaš dovolj oz. pravih informacij na voljo za postavitev teh pravil?

To pa je bila glavna smernica CEV-a.
Dokler nimaš na voljo dovolj informacij za informirane odločitve, MORAŠ vedno uveljavljat visoko verjetnost, da nikoli nimamo dovolj informacij na voljo (ali da jih ne znamo sprocesirat) in da tako nikoli ne moremo zanesljivo napovedat točen rezultat.

Tam kjer si lahko privoščimo napake, to niti ni tako pomembno. Tam, kjer pa napaka pomeni totalno in nepovratno anihilacijo človeštva, pa je to ne le pomembno - ampak imperativno!

Ampak čeprav se strinjam z ideologijo CEV-a, je ta enako podložena kritki kot Protokol: CEV tudi že podaja dokaj specifična navodila (ki jih ne razumem najbolje) in začenja govorit o absolutih.

CEV postaja preveč togo zapisan pravilnik z preveliko močjo.

IMHO je nujno uporabljat bolj splošne principe, kot so "precautionary principle" ali "Differential technological development" in to individualno za vsak pereč "problem".

To je resda potratno in dolgotrajno, ampak pri egzistencilnih rizikih to omogoča še največjo varnost.
Za grobo primerjavo:
CEV je dober kompromis med varnostjo/napredkom, Protokol pa je polarno nasprotje, ki omogoča maks. napredek z maks. rizikom.