☰

» »

Protokol

Protokol

Temo vidijo: vsi
««
107 / 182
»»

Okapi ::

Na splošno je pa tako, da scenarij, ki daje več užitka je boljši scenarij.
Ne več užitka - več sreče. Ampak kateri scenarij da več sreče, to je zdaj vprašanje.

O.

Double_J ::

Užitek je širši pojem kot zgolj sreča. Vsekakor je najboljši scenarij tisti, ki bo dajal najboljše občutke.

Scenarij naj izračuna protokol. Izračun ne bo imel veze s predsodki volkov glede surovega mesa, ali ljudi glede kreativnosti in podobno!
Dve šivanki...

Okapi ::

Užitek je širši pojem kot zgolj sreča.
Že mogoče, ampak sreča je pomembnejša. Bolje je biti bolj srečen in manj uživati kot bolj uživati in biti manj srečen.

O.

gardener ::

@Double_J:
na podlagi tega kako te je oblikovala evolucija impliciraš kakšen mora biti protokol, da ti bo všeč.
To je le ena izmed variabel, ki vstopajo v našo presojo. Nikakor ni slaba - prej nasprotno, ni pa tudi izvor celotnega odgovora. Tega pa - vsaj v primeru Protokola kot večne ustave, ki jo napišemo ljudje - dobimo s pomočjo moralne refleksije, t.j. tuhtanja v naslonjaču, vizualizacije raznih scenarijev, iskanja splošnejših principov, njihove ponovne aplikacije na posamezne primere, občasno tudi odpremo kak znanstveni učbenik ali celo napravimo poizkus, se posvetujemo z drugimi in upoštevamo njihove moralne argumente itd. Skratka, zapleten in ne ravno najbolje razumljen proces, katerega rezultat so etične teorije in druge filozofske ideje, deloma pa ga je v živo mogoče opazovati tudi v tej temi (kolikor ga sploh odsevajo napisane besede).

Na splošno je pa tako, da scenarij, ki daje več užitka je boljši scenarij. In tu nimaš nobenih racinalnih možnosti ugovora.
Motiš se. Kar omenjaš je le ena izmed etičnih teorij, in sicer hedonistični utilitarizem, obstaja pa še kup drugih ter poleg tega argumenti, ki pokažejo, da ljudje ne presojamo vedno pravilnost dejanj po tem, koliko užitka prinesejo. Naše vrednote so mnogo kompleksnejše od tega - hedonistični utilitarizem je torej napačna teorija morale.

Ker trenutno nimam neke želje po povzemanju idej, ki vodijo do takšnih zaključkov, ti priporočam, da si sam v miru prebereš sledeče: Complexity of Value (vsaj članka Thou Art Godshatter in Not for the Sake of Happiness (Alone)).

Glede na to, da si ponovno omenil racionalnost, bi bilo najbrž tudi dobro, če si ogledaš njeno definicijo (obeh pomenov): What Do We Mean By "Rationality"?

Double_J ::

obstaja pa še kup drugih ter poleg tega argumenti, ki pokažejo, da ljudje ne presojamo vedno pravilnost dejanj po tem, koliko užitka prinesejo. Naše vrednote so mnogo kompleksnejše od tega


Pa smo spet tam, kako človek presoja. Kako človek presoja, kot ena izmed oblik evolucije, ni nikakršen argument. Slučajno si pač človek, lahko bi bil pa volk, kaj pa potem?

Ostale teorije so vse po vrsti napačne, ker dajejo neko svetinjo kreativnosti, sreči, če si volk pa krvavem mesu.
Dve šivanki...

Double_J ::

Ostale teorije so napačne, ker dajejo pomen stvarem, ki jih človek ceni izključno ker ga je evolucija tako izoblikovala, da se mu jih splača ceniti, če želi preživeti v konkretnem okolju.
Dve šivanki...

Thomas ::

Protokol je arbitraren. Lahko naredimo karkoli.

Ampak v skladu s tem, kakršni smo, bomo naredili nekaj, kar nam je všečno. Kot sem rekel že zdavnaj, čebele bi naredile širne cvetoče travnike iz vsega Vesolja, če bi lahko. V kakšnih 1000 milijard letih, bi tudi one prišle do ultratehnologije. Navsezadnje gradijo že nekaj časa in vedno bolje.

Mi prav bistveno dlje od cvetočih travnikov tudi ne želimo hoditi. Samo, da jih bomo mi imeli bistveno prej kot čebele.
Man muss immer generalisieren - Carl Jacobi

Double_J ::

Ampak v skladu s tem, kakršni smo, bomo naredili nekaj, kar nam je všečno.


Da, ampak mi smo inteligentnejši od čebel. One bi si naredile travnike, mi če bomo pametni pa se ne bomo zaletavali v neko konkretno stvar, ki nam trenutno evolucijsko najbolj leži.

Mi bomo dopustili tudi popolno lastno modifikacijo, zato je poveličevanje konkretnih zadev kot je kreativnost nesmiselna.
Dve šivanki...

guest #44 ::

Thomas je izjavil:

Če bo po moje, boš šel skozi Banket in še ene milijardo vsaj ene tolk dobrih scenarijev.

Kakšni ti scenariji bodo, pojma nimam. Kar se da najboljšga izmislit, če imaš za ta namen nainštaliranih ene milijon uploadov, kar si oni izmislijo da je cool in kar ena bolj splošna pravila dovolijo.

Kaj se meni ZDI, da bi lahko bilo?

- (trans)romances
- (trans)sports
- (trans)socializing
- (trans)exploring
- (trans)sensual (Orgasmium)
- (trans)sensationalizing
- (trans)intellectualizing
- (trans)gaming
- (trans)theorizing
- (trans)science
- (trans)art
- (trans)philosophy

- ... more

In kombinacije naštetega.

(trans) pomeni ne tko na primitivni stopnji kot today. Čeprav kaj mogoče dosti podobno, vsaj v osnovi. Kaj pa zelo beyond. We'll see.


(trans)fucking shit up?


To, da si boš prostovoljno deletal zaznavanje lastne eksistence pa mi zdi res pod nivojem. Celo priznaš, da hočeš bit lobotomiran. Zdravniki so mentalno obolelim tudi pravli "editirani"...na "boljše" ko so jim zabili bodalo ob očesu v sprednji (kognitivni) predel možganov.
A ti misliš, da se rožica sekira, če bo uživala le 10 sekund ali 40 let? Njej je vseeno, njo sploh ne briga če bi obstajala in the first place.
Torej ta tvoja želja po uživanju zelo dolgo časa ni nič drugega kot plod sposobnosti tvojih možganov, da se zavedajo samih sebe. Ti pa boš to lepo kar shift+delete.

Formalno se sigurno ne boš strinjal z menoj...ampak mogoče se vsaj deloma strinjaš, da je neobstoj prav tako smiseln kot obstoj?
Vse te tvoje n^x permutacije uživanja so čisto brezveze, če se entiteta ne zaveda, da jih doživlja oz celo nadzoruje.

Flirtat se z resnično smrtjo je višek uživanja...čeprav mogoče tega nočemo priznat.



Pa to res želim, da mi kdo odgovori ker nevem kakšna je rešitev...Kako bo taka entiteta potegnila mejo do kje reševati nek problem?
Problem bi lahko bil npr: Kaj ne smeš narediti, da se ne uničiš?

gardener ::

Double_J:
Ostale teorije so napačne, ker dajejo pomen stvarem, ki jih človek ceni izključno ker ga je evolucija tako izoblikovala, da se mu jih splača ceniti, če želi preživeti v konkretnem okolju.
Tudi hedonistični utilitarizem, ki ga očitno favoriziraš, daje pomen eni izmed teh stvari. Evolucija nas je zgradila tako, da sledimo užitku, ki tako nedvomno je ena izmed naših vrednot. Ni pa edina, niti ne bi bilo dobro (on reflection), če bi bila edina (kar bi drugače lahko dosegli s samo-modifikacijo).

Slučajno si pač človek, lahko bi bil pa volk, kaj pa potem?
Če bi bil volk, bi bile moje vrednote pač drugačne - ne vidim pa, kako naj bi to vplivalo na pravilnost teze, da edina vrednost leži v užitku, medtem ko lahko vse ostalo enostavno zanemarimo.

Mi bomo dopustili tudi popolno lastno modifikacijo, zato je poveličevanje konkretnih zadev kot je kreativnost nesmiselna.
Možnost popolne samo-modifikacije je nevarna igračka. Kaj hitro se lahko zgodi, da napraviš kako napako in od tebe ne ostane kaj dosti. Pomisli le na uboge, mentalno prizadete duše, ki izgubljene tavajo po svetu zaradi nekaj genetskih napak ali kake poškodbe... Naši možgani niso zasnovati tako, da bi imeli vgrajeno podporo za razne razširitve ali menjave posameznih modulov. Vsak delček je tesno prilagojen na delovanje ostalih, saj evolucijskega pritiska, ki bi vodil design v drugo smer, nikoli ni bilo. Če si bomo kdaj želeli večjih sprememb svoje spaghetti-code kognitivne arhitekture, bomo najbrž potrebovali superinteligenco, da nam pri tem pomaga.

Ko praviš, da ti kreativnost ne pomeni kaj veliko - v kakšni smeri bi potem rad spreminjal svoj um? Novih kreativnih moči si očitno ne želiš... najbrž ne bi imel nič proti povečanju svojih kapacitet za doživljanje užitka? Kaj pa če bi te kar direktno vključili v Orgasmium (razgradili tvoje telo in ustvarili novo kopijo minimalnega uploada z maks. doživljanjem užitka)?

gardener ::

@jverne:
Pa to res želim, da mi kdo odgovori ker nevem kakšna je rešitev...Kako bo taka entiteta potegnila mejo do kje reševati nek problem?
Problem bi lahko bil npr: Kaj ne smeš narediti, da se ne uničiš?
Prijazna superinteligenca ji bo stala ob strani pri tem oz. splošneje, prihodnji svet bo zasnovan tako, da bo že v same temelje vgrajena varnostna mreža, ki bo ulovila neprevidne popotnike v primeru nesreč.

Thomas ::

Ne razumem te jverne, kaj misliš "da se ne zavedajo".

Sigurno da se morajo zavedati, sicer je vse brez veze.

Kar se tiče kreativnosti, je ta zelo čislana, ker brez nje ne bi nikoli nikamor prišli. Vendar če je to vrednota, ki jo bomo gojili, potem bo hitro zmanjkalo prostora za kreacije. Ena superinteligenca nakreira čuda božja. Kot da pripelje milijardo ton rib v luko. A ti boš pa sedel na koncu pomola in namakal svoj trnek še naprej?

Lahko, ampak treba pa ni več.
Man muss immer generalisieren - Carl Jacobi

Double_J ::

Užitek je pač bolj splošna stvar, kot neke konkretne stvari, ki si jih ti zamišljaš eudeamon.

Jaz pravim, da naj bo čimveč užitka, tvoji argumenti pa so, da mora nujno biti užitek pri jagodah ali užitek pri kreativnosti ali pa pri krvavem mesu, če bi bil pač volk.

To so nesmisli, ki so pogojeni z trenutnimi vzgibi in nimajo veze s filozofijo.
Dve šivanki...

Double_J ::

No saj je jasno. Me zanima koliko ti pomeni kreativnost in ostale stvari, ki jih naštevaš, brez da je zraven občutek tega?

Če jih nobeden ne občuti so vredne 0. Je pa zelo verjetno, da so še kakšne boljše stvari za občutiti kot to. To pa je stvar Protokola, da izračuna!
Dve šivanki...

Thomas ::

Yudkowsky že ves čas opozarja pred nevarnostjo, da bi se kar nekam zaleteli. Brez dobrega premisleka. Glede tega ima absolutno prav.

Vendar zaleteti se v neko geek biased utopijo, je ravno tako nevarnost, ki se je je nujno izogniti. On in Bostrom in večina iz tega kroga je mau premalo dobro razmislila. In preveč gredo "na galamo", kako "mimo njih ni zveličanja". Kot da so RKC.

Zveličanje je tržni artikel. Mora biti, če se hoče prodati in ne ostati "kultno blago", ki ga nihče ne mara vzeti. Kot kakšen film od Kislowodskega. Oziroma Čislowskega. Whatever.

Hm ... eni mislijo, da nisem dovolj eksplicitno napisal

(trans)fucking


... sicer bo pa ljudem moj spisek vnaprej všeč, če bodo videli, da bo realiziran.

Moraš imeti vnaprej všečen program za post singularno dobo, če ne bodo težave z realizacijo.
Man muss immer generalisieren - Carl Jacobi

guest #44 ::

gardener je izjavil:

@jverne:
Pa to res želim, da mi kdo odgovori ker nevem kakšna je rešitev...Kako bo taka entiteta potegnila mejo do kje reševati nek problem?
Problem bi lahko bil npr: Kaj ne smeš narediti, da se ne uničiš?
Prijazna superinteligenca ji bo stala ob strani pri tem oz. splošneje, prihodnji svet bo zasnovan tako, da bo že v same temelje vgrajena varnostna mreža, ki bo ulovila neprevidne popotnike v primeru nesreč.


Nisem govoru o tem. Govoru sem o tem kako bo Protokol med iskanjem nove entalpije oz potrebnih resursov oz potrebnih znanj za zbiranje le teh znal kaj ne sme prekoračiti, da ne bo sesulo celo vesolje in s tem on sam? Pa to ne velja le za resurse ampak, na katere vrstice kode ne bo smel pomisliti med njegovim obstojem, da ne bo pomotoma naredil nekaj nevarnega.

Thomas je izjavil:

Ne razumem te jverne, kaj misliš "da se ne zavedajo".

Sigurno da se morajo zavedati, sicer je vse brez veze.



Entiteta se mora zavedati, da je v simulaciji in da ves užitek ki ga dobiva je le stvar njene svobodne izbire. Če se pač enkrat ta entiteta odloči, da se ji ne da it več skozi simulacijo naj ima svobodo se terminirati.
To bi moral biti vsaj minimalni pogoj, ki bi mi vsaj malo bolj filozofsko in etično upravičil protokol.



btw
(trans)fucking ni isto kot (trans)fucking shit up!

Zgodovina sprememb…

  • spremenilo: guest #44 ()

Saladin ::

Če bi meni danes nekdo ponudil nesmrtnost in s tem življenje brez bolezni in kakršnihkoli bolečin, se takoj strinjam, pa magari mi potem v okviru tistega življenja cele dneve samo vrti mojo najljubšo skladbo,...

Seveda je to veliko boljše kot sedanje smrtno življenje - ampak an dolgi rok si ujet v suboptimalni situaciji (če fiksno postaviš zgolj vrtenje glazbe ali drug, omejen nabor možnosti).

Preveč togo zastavljen sistem je resda enostavnejši, vendar nefleksibilen na nepredvidljive situacije (tako interne kot eksterne). Da ne omejnam glavnega problema svobode racionalnih izbir.

@Thomas,
Še vedno se nisi dovolj razjasnil. Če bom Uploadan v Protokolu z določeno mero resursov - kakšno kontrolo bom imel nad njimi?
Ali bolje vprašano: Česa "absolutno" ne bom mogel/ ne bom smel vedeti in delati?

Ne pozabi na ta "absolutno" - v mojem predlogu te omejitve ne boš videl - vse bi se lahko dalo eventualno spremeniti znotraj Protokola - celo Protokol sam.

Morda je to point - omejitve ne smejo biti Absolutne - rezultati ne smejo biti nepovratni.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"

gardener ::

@Thomas:
O kreativnosti:
Ena superinteligenca nakreira čuda božja. Kot da pripelje milijardo ton rib v luko. A ti boš pa sedel na koncu pomola in namakal svoj trnek še naprej?
Znanstvena skupnost ustvarja znanje mnogo hitreje od vsakega posameznika - naj torej radovedneži opustimo svoje poskuse razumevanja pojavov, ki nas zanimajo, a so že dolgo časa in globje pojasnjeni s strani te skupnosti?

Četudi obstaja v bližini entiteta, ki lahko opravi vsakršno dejavnost bolje od tebe (in jo tudi opravlja), naj to ne izžene veselja in vrednosti iz lastnih podvigov. Avtomobilska industrija (predvsem pa specialistične delavnice) zlahka izdela mnogo boljše vozilo, kot to lahko uspe lokalnemu mehaniku, pa jih vseeno vidimo kar nekaj, ki najdejo mnogo zabave v tem in prav bi bilo, da se takšen vzorec nadaljuje tudi v prihodnje.

Poleg tega... zakaj se ne bi ljudje počasi razvili v superinteligenco?

(Tudi pogovor o morali na objektnem nivoju zna očitno biti kar zabaven, čeprav nauk, ki ga nekateri povlečemo iz tega vodi ravno v smeri CEV... :))

gardener ::

@Double_J
Užitek je pač bolj splošna stvar, kot neke konkretne stvari
Gre za enega izmed elementov spodbujevalnega učenja (reinforcement learning), okoli katerega je še vedno zasnovan del naše kognitivne arhitekture. Kadar dosežemo nek cilj, ki je v evolucijski zgodovini koreliral z reproduktivnim uspehom, se v naših možganih sproži užitek, ki ni nič kaj dosti drugega kot spodbuda k nadaljevanju s takšnim obnašanjem (le da je pri ljudeh vse to zapletenejše kot pri drugih živalih, zaradi močnejše sposobnosti kavzalnega modeliranja in sklepanja).

Nedavno tega smo iznašli razne tehnologije, ki nam prinašajo užitek brez da bi morali za to doseči kak cilj: direktna stimulacija možganov, takšne in drugačne droge ipd. Če imaš pred seboj superinteligenco, ki izpolnjuje želje, in si zaželiš le uživati, bo naredila nekaj podobnega - le z večjo močjo in brez zadržkov kakršne imamo ljudje pred npr. rojevanjem maks. št. otrok in njihovega 'ožičenja' (wireheading), da bi s tem dosegli kolikor mogoče visok skupni užitek.

(Mimogrede, v tem zadržku se kaže, da ljudje očitno le ne cenimo izključno užitka, kot impicirate tule nekateri...)

AI bi nas spremenila v 'wireheade' (katerih optimalna konfiguracija bi bila verjetno minimalni uploadi optimizirani za uživanje) in kljub temu, da med drugim cenimo užitek zaradi užitka samega, bi to odvzelo iz prihodnosti praktično vso vrednost, saj nam veliko pomenijo tudi drugi cilji, h katerim - v osnovi zaradi evolucijske zasnove - večinoma težimo. Znanje, resnico, moč, ljubezen, svobodo in celotno fascinantno paleto medčloveških odnosov naj nadomesti le maks. spodbuda v naših virtualnih delčkih možganov?! Ko enkrat vsaj približno vidiš vse te relacije med užitkom in našimi (drugimi) vrednotami, takšna ideja postane očitna norost.

Ampak to je le eden izmed prvih korakov, ki vodi v smeri Friendly AI teorije in zaključi svojo pot v CEV ideji...

Jaz pravim, da naj bo čimveč užitka, tvoji argumenti pa so, da mora nujno biti užitek pri jagodah ali užitek pri kreativnosti ali pa pri krvavem mesu, če bi bil pač volk.
Lahko je tudi bolj malo užitka, če to pomeni toliko večjo spremembo sveta na bolje. Idealno pa bi bilo mnogo kontinuiranega užitka in velike spremembe na bolje tudi v preostalem svetu, ki ne zajema le delčka naše kognicije (ne da to dejansko zanesljivo vem - za ta namen imamo CEV, da to izračuna - čeprav določene splošne lastnosti bi morale biti dokaj predvidljive...).

Se pa ob tem sprašujem, če je tule sploh jasno, da so naše vrednote - tako kot v teoretičnem modelu 'utility' funkcija U(x), definirane nad celotnim stanjem sveta in ne le nad specifičnim delčkom možganov, kjer imamo svoj 'center za užitek'. Kadar pravimo, da si želimo okolja v katerem bi človeštvo uspevalo in se razvijalo, bi moralo to biti očitno, ni pa nič drugače npr. z modrostjo, ki se sicer nanaša na zasnovo naših možganov, vendar se samega užitka ne dotika.

Me zanima koliko ti pomeni kreativnost in ostale stvari, ki jih naštevaš, brez da je zraven občutek tega?
Bolj malo ali skoraj nič, samo občutek je splošnejši pojem od užitka, ker implicira prisotnost zavesti. Občutenje/subjektivno doživljanje/samo-zavedanje je ena izmed nujnih sestavih dobre prihodnosti - brez te je čisto vseeno, če preprosto izumremo (in ta želja nima kaj veliko opraviti z užitkom).

Lonsarg ::

Saj ko si enkrat uplovdan ne rabiš AI/protokola, da ti raziskuje znanstvene stvari naprej. Ker si uplovdan ima tvoj um itak dostop do enormne CPU moči in lahko sam razume prav vse pojave in tudi raziskuje še nove.

Mogoče celo um v trenutku uplovdanosti v močan CPU naredi samomor, ko pride to takega zaključka, mogoče začne razmišljati kot stroj, vsa čustva ignorira, to ne vemo in ne bomo zvedeli, dokler ne bo par osebkov probalo. Protokol kot bo bil, bodo pa potem itak taki osebki naredili in ne mi z trenutnim umom, torej je brezpredmetno, kaj zdaj mislimo da rabimo.

gardener ::

@jverne:
Nisem govoru o tem. Govoru sem o tem kako bo Protokol med iskanjem nove entalpije oz potrebnih resursov oz potrebnih znanj za zbiranje le teh znal kaj ne sme prekoračiti, da ne bo sesulo celo vesolje in s tem on sam?
Predpostavka, ki očitno ni bila dovolj poudarjena je, da bo Protokol poganjala superinteligenca, kar pa pomeni, da bodo pač izjemno precizni modeli vesolja vodili njene dejavnosti v varni smeri ter se bo tako skoraj zagotovo uspela izogniti takšnim nevarnostim. Se pa ob tem seveda poraja vprašanje, kako sploh ustvariti takšno superinteligenco... s čimer pa trčimo ob Friendly AI problem.

---

SIAI je objavil nov članek, v katerem lepo povzemajo svojo dejavnost in nekaj glavnih idej s tega področja, kako prebroditi nevarne vode eksplozije inteligence pred nami: Reducing long-term catastrophic risks from artificial intelligence

Double_J ::

Užitek je občutek, ki nam je všeč. Zgolj tak občutek ima sam po sebi neko pozitivno vrednost.

Če se izkaže, da je občutek pri kreativnost najboljši, potem naj Protokol simulira pač ta občutek. Če kakšen drug, kakšnega drugega.

To stvar zastopiš, razen če se pač odločiš da je nočeš zastopiti - ker loviš neko meglo.
Dve šivanki...

nevone ::

Zelo se strinjam z DoubleJ-em.

Kreativnost imamo vcepljeno kot pozitivno vrednoto. Užitek pa kot negativno. Kar je razumljivo, ker kreativnost zahteva trud in sam po sebi ne zagotavlja takšnega ugodja, kot nekateri lahko sproducirani užitki. Kreativnost (v zdajšnjem svetu) dolgoročno prinaša več ugodja in kdor zna to tako izračunat, je dolgoročno v prednosti, kot tisti, ki iščejo lahke variante užitka.

Ampak tako je v tem svetu, zdaj. Ko si enkrat soočen s svetom, kjer preživetje ni vezano na kreativnost, se stvari rahlo spremenijo.

Ampak kot je rekel JJ, če je kreativnost tisto, kar nam povzroča ugodje, naj ta kreativnost kot občutek ostane v naboru simuliranih občutkov, zakaj ne.

Racionalni odpor do užitka je prisoten zato, ker v dani situaciji, v prevelikih in neustreznih količinah, lahko dolgoročno poveča količino trpljenja.

o+ nevone
Either we will eat the Space or Space will eat us.

gardener ::

Double_J:
Užitek je občutek, ki nam je všeč. Zgolj tak občutek ima sam po sebi neko pozitivno vrednost.
Drži.

Če se izkaže, da je občutek pri kreativnost najboljši, potem naj Protokol simulira pač ta občutek. Če kakšen drug, kakšnega drugega.
S tem trdiš, da si želiš postati 'wirehead', saj te očitno ne zanima nič drugega kot sam občutek. Tudi sam sem bil pred leti ujet v neko podobno zmoto, samo sem se sčasoma zdramil, kakor se boš najbrž tudi ti...

@nevone:
Kreativnost imamo vcepljeno kot pozitivno vrednoto. Užitek pa kot negativno.
Vsaj pri meni slednje ne drži. Ne priznavam le, da je užitek edina intrinsična/terminalna (pozitivna) vrednota - kar je empirično vprašanje in moja pozicija precej očitno resnična - niti ne želim, da bi se to spremenilo, ker pač vodi k 'wireheadom' oz. k Orgasmiumu.

Double_J ::

Tudi sam sem bil pred leti ujet v neko podobno zmoto, samo sem se sčasoma zdramil, kakor se boš najbrž tudi ti...


Če spremeniš mnenje o nečem, to ni argument da imaš prav. Lahko si imel včasih prav, sedaj pa imaš narobe.

S tem trdiš, da si želiš postati 'wirehead', saj te očitno ne zanima nič drugega kot sam občutek.


Drugega kot občutek sploh ni, je enako kot da ne obstaja. Za kamen sam po sebi je čisto vseeno, če je ali ga ni.
Dve šivanki...

Zgodovina sprememb…

  • spremenil: Double_J ()

nevone ::

Vsaj pri meni slednje ne drži. Ne priznavam le, da je užitek edina intrinsična/terminalna (pozitivna) vrednota - kar je empirično vprašanje in moja pozicija precej očitno resnična - niti ne želim, da bi se to spremenilo, ker pač vodi k 'wireheadom' oz. k Orgasmiumu.


Seveda danes ljudje različno dojemamo različne "vrednote". Pač prilagajmo se danim razmeram. Zato mi je JJ-jev pogled na posthuman svet bolj všeč, ker se je zmožen distancirat od trenutnega realnega sveta, kateremu smo priča.

CEV nekako predvideva, da se bo stalno določalo na podlagi volje članov, kaj je dobro in kaj ni. Če prav razumem. Člani bodo pri svojem odločanju svobodni. Ampak zraven pa prevideva še neko superinteligenco, ki bo skrbela za kaj pravzaprav? Da se ne ukine kreativnost? Kaj če se na podlagi volje članov to vseeno zgodi? Kdo ima zadnjo besedo: superinteligenca ali člani?

o+ nevone
Either we will eat the Space or Space will eat us.

guest #44 ::

gardener je izjavil:

@jverne:
Nisem govoru o tem. Govoru sem o tem kako bo Protokol med iskanjem nove entalpije oz potrebnih resursov oz potrebnih znanj za zbiranje le teh znal kaj ne sme prekoračiti, da ne bo sesulo celo vesolje in s tem on sam?
Predpostavka, ki očitno ni bila dovolj poudarjena je, da bo Protokol poganjala superinteligenca, kar pa pomeni, da bodo pač izjemno precizni modeli vesolja vodili njene dejavnosti v varni smeri ter se bo tako skoraj zagotovo uspela izogniti takšnim nevarnostim. Se pa ob tem seveda poraja vprašanje, kako sploh ustvariti takšno superinteligenco... s čimer pa trčimo ob Friendly AI problem.

---

SIAI je objavil nov članek, v katerem lepo povzemajo svojo dejavnost in nekaj glavnih idej s tega področja, kako prebroditi nevarne vode eksplozije inteligence pred nami: Reducing long-term catastrophic risks from artificial intelligence


To ni zadosten odgovor.

Za infinitizimalno natančo modelirat vesolje ga moreš že vnapraj poznati. Superinteligenca bo lahko imela zelo precizne modele, a to bodo le modeli. In kaj bo naslednja manipulacija prinesla je pač stvar poskusa.
Prav tako v matematiki ne moreš vnaprej poznati rešitev problema brez, da bi problem prej poskušal rešiti.

gardener ::

Double_J:
Če spremeniš mnenje o nečem, to ni argument da imaš prav. Lahko si imel včasih prav, sedaj pa imaš narobe.
Obratno je verjetneje. Tehtanje novih argumentov in študij relevantnega gradiva naj bi te običajno pripeljal bližje resnici in ne stran od nje.

Drugega kot občutek sploh ni, je enako kot da ne obstaja.
Luna izgine kadar je ne opazujemo? Nisem prepričan, da se tega zavedaš, ampak tvoja pozicija vodi v solipsizem, ki pa stoji na sila trhlih tleh. Zunanji svet obstaja neodvisno od našega subjektivnega doživljanja in to je res težko zanikati - kot tudi, da naše vrednote govorijo tako o našem občutenju kot svetu nasplošno. Lahko pa je le prišlo do nesporazuma...

Bi se strinjam z naslednjo trditvijo: "vse kar moramo narediti pri programiranju ciljev v AI (da bi se prihodnost dobro iztekla), je določiti užitek za supercilj/najvišji cilj in naše delo je s tem končano" ?

gardener ::

@nevone:
CEV nekako predvideva, da se bo stalno določalo na podlagi volje članov, kaj je dobro in kaj ni. Če prav razumem.

Napačno. :)

Preprosto povedano se tile pogovori gibljejo okoli naslednje dileme: nekoč v ne tako daljni prihodnosti nam v roke pade čarobna svetilka z duhom, ki nam je pripravljen izpolniti neko željo (ne glede na njeno kompleksnost). Demokrit (hedonist, tako kot Double_J in če se ne motim tudi Thomas) predlaga, naj si zaželimo prihodnost polno užitka, Tomaž Akvinski zagovarja svet poštenja in preudarnosti, v katerem se hvalnice Bogu vijejo do nebes, Sokrat si nadvse želi znanja, predvsem tistega, ki se dotika ljudi samih, negativni utilitaristi bi radi eliminirali trpljenje, medtem ko preferenčni utilitaristi sitnarijo z zadovoljevanjem preferenc vseh ljudi...

Duh iz svetilke postaja že nestrpen, nakar iz sence stopi Yudkowsky in predlaga naj si zaželimo raje naslednjo meta-željo: "želim si, kar bi si želel, če bi bil inteligentnejši, modrejši, imel natančnejše modele sveta, bil bolj človek kakršnen si želim biti in da bi bila ta želja interpretirana kot si želim, da bi bila interpretirana".

Sokrat pomežikne in nato zagode, da se to niti ne sliši tako slabo, saj bi takšna (meta)želja najbrž še vedno privedla do prihodnosti, ki jo sam smatra za dobro. V nasprotnem primeru - če se to ne bi zgodilo - pa bi se tako ali tako sčasoma izkazalo, da je v njegovih sedanjih željah neka napaka, ki bi se mu jo s to meta-željo uspelo izogniti. Win-win situacija, s katero se kmalu strinjajo tudi ostali.

Duh iz svetilke je začetni design superinteligence, meta-želja je CEV, končno strinjanje pa je glede na situacijo na temle forumu moja fantazija. ;)

Če še povzamem napako v tvojem opisu CEV: stalnega odločanja o tem, kaj je dobro in kaj ne, ne bi bilo. CEV je dinamika, ki se izvede po tem, ko AI doseže dovolj visok nivo inteligence - da jo sploh zmore opraviti - in nato, po končanju tega procesa, se pač implementira rezultat, ki nam ga vrne CEV. Če je 'moralno normalizirana volja ljudstva' takšna, da bi bilo dobro, če se sem ter tja FAI zbudi in na osnovi okoliščin ponovno določi v katero smer bi bilo dobro kreniti, bomo res dobili 'stalno določanje dobrega in slabega', kot si ga omenila, vendar je to le ena izmed mnogih možnosti. Druga možnost (samo malo za občutek) pa bi bila npr. ozdravitev vseh bolezni vključno s staranjem, implementacija zanesljivih varnostnih mehanizmov, ki bi preprečevali tako eksistenčne, kot vse druge katastrofe, vse do osebnega nivoja (npr. neprostovoljno smrt) in materialna blaginja, ki bi napravila delo kot povsem prostovoljno dejavnost. Po zaključku teh dejanj bi FAI poniknila v ozadje in nam prepustila svet, da se igramo z njim kako želimo...

Ampak zraven pa prevideva še neko superinteligenco, ki bo skrbela za kaj pravzaprav?
Superinteligenco potrebujemo kot 'mišično moč', ki bo poganjala CEV. Z drugimi besedami, za iskanje super-morale potrebujemo super-močan iskalni/optimizacijski proces.

Kaj če se na podlagi volje članov to vseeno zgodi [ukine kreativnost]?
V tem primeru je 'kreativnost' očitno napačen odgovor na vprašanje 'kaj je dobro?', podobno kot je 'zvezde so luknje v sferi, ki ločuje tostranstvo od onostranstva' napačen odg. na 'kaj so točke svetlobe na nebu?' (za razumevanje tega, je koristno poznati nekaj meta-etike). CEV nas torej reši napake...

Kdo ima zadnjo besedo: superinteligenca ali člani?
Superinteligenca (ki poganja CEV) vzame za svoj fokus ljudi in se nato odloča na osnovi njihovih želja, tako da sta na nek način pravilni obe možnosti - ali pa je bolje drugače postaviti vprašanje.

gardener ::

@jverne:
Za infinitizimalno natančo modelirat vesolje ga moreš že vnapraj poznati.
Deloma to celo drži in gre pod imenom 'inductive bias', vendar je beside the point. Induktivni bias moraš le približno ujeti, da modeli nato konvergirajo k takšnim, ki natančno odsevajo realnost, poleg tega ni ravno jasno, zakaj bi potreboval infinitizemalno natančnost oz. zakaj naj sploh ne bi bila nikoli dosegljiva...

In kaj bo naslednja manipulacija prinesla je pač stvar poskusa.
Že z grobimi modeli kakršne imamo danes je mogoče dokaj dobro predvideti v kakšnem okviru se bodo gibali rezultati poskusov, kaj bi šele zmogla superinteligenca...

Enostavno je to kar omenjaš še najmanjši problem. Raje svoje skrbi osredotoči k designu prve superinteligence na način, da nas ta ne bo v nekaj potezah poslala na pokopališče zgodovine. ;)

Thomas ::

I should wish, what I would wish, had I've been smarter?

To sporoča CEV?

Ne samo smarter, ampak če bi bil še nekoliko drugačen in bi imel druge motive?

Takrat si bom mogoče želel, da me ni več.

To je dober način, da me superinteligenca pošlje na pokopališče.

Naj kar da pogoje, ki jih bom sprejel ali pa ne. Oziroma jaz njej dam pogoje. Spisek zgoraj, ona naj pa potem v potu svojega obraza poskrbi, da se Protokol uresniči.
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • spremenil: Thomas ()

guest #44 ::

gardener je izjavil:

@jverne:
Za infinitizimalno natančo modelirat vesolje ga moreš že vnapraj poznati.
Deloma to celo drži in gre pod imenom 'inductive bias', vendar je beside the point. Induktivni bias moraš le približno ujeti, da modeli nato konvergirajo k takšnim, ki natančno odsevajo realnost, poleg tega ni ravno jasno, zakaj bi potreboval infinitizemalno natančnost oz. zakaj naj sploh ne bi bila nikoli dosegljiva...

In kaj bo naslednja manipulacija prinesla je pač stvar poskusa.
Že z grobimi modeli kakršne imamo danes je mogoče dokaj dobro predvideti v kakšnem okviru se bodo gibali rezultati poskusov, kaj bi šele zmogla superinteligenca...

Enostavno je to kar omenjaš še najmanjši problem. Raje svoje skrbi osredotoči k designu prve superinteligence na način, da nas ta ne bo v nekaj potezah poslala na pokopališče zgodovine. ;)


Ja to pa trdiš tko zgolj na ugibanjih.
Kot je reku Thomas...kaj če bo trčilia dva delca, ki ne bi smela? Kaj šele če gre za manipuliranje z osnovnimi zakoni vesolja.
Ta odgovor je skoraj na bazi blind faith.

Pa tudi glede programiranja vrstic, ki jih nebi smela. Kaj če bo superinteligenca naredila neko tak program, kateri rezultat bo viden šele ko bo dovolj razširjen? Takrat pa bo že prepozno.
Tu je tolko guess worka.

guest #44 ::

Kaj če bo superinteligenca naredila enako zmogljivo inteligenco kot njo (v okviru reševanja nekega problema) ampak ta nova inteligenca bo imela le cilj samorepliciranje brez zgubljanja entalpije za simuliranje užitka podentitet oz sebe? Who would win? let me guess

Zgodovina sprememb…

  • spremenilo: guest #44 ()

Double_J ::

Luna izgine kadar je ne opazujemo? Nisem prepričan, da se tega zavedaš, ampak tvoja pozicija vodi v solipsizem, ki pa stoji na sila trhlih tleh.


Ne da ne obstaja, zgolj nič ni vredno. Vesolje brez občutkov je vredno točno 0, pa lahko kar kipi od kreativnosti in ostalih tebi ljubih zadev.

To razumeš, ali pa ne razumeš.
Dve šivanki...

Okapi ::

In koliko je vredno vesolje z občutki? In za koga?

O.

Double_J ::

In koliko je vredno vesolje z občutki?


Toliko, kolikor so občutki dobri ali slabi. Če prevladujejo slabi potem ima negativno vrednost.

In za koga?


Sploh ni potrebno to opredeliti, oziroma če že moramo "za zavest".
Dve šivanki...

Thomas ::

Vesolje, v katerem ni zavesti, ni vredno počenega groša. Tudi počen groš je vreden samo, če je kje okoli kakšna zavest.

To ne pomeni, da počenega groša sploh ni, dokler se ga nekdo ne zaveda. Samo njegova vrednost je 0.

To smo sicer že rekli, ampak je pomembno, da se to razume.

Predpostavljanje neke intristične vrednosti napredka - ali česarkoli - po sebi, ne glede na zavest, je pa napaka, ki jo dela tudi CEV.
Man muss immer generalisieren - Carl Jacobi

nevone ::

V čem se moja trditev, ki si jo označil za napačno: CEV nekako predvideva, da se bo stalno določalo na podlagi volje članov, kaj je dobro in kaj ni.
razlikuje od tvoje zadnje: Superinteligenca (ki poganja CEV) vzame za svoj fokus ljudi in se nato odloča na osnovi njihovih želja



Duh iz svetilke postaja že nestrpen, nakar iz sence stopi Yudkowsky in predlaga naj si zaželimo raje naslednjo meta-željo: "želim si, kar bi si želel, če bi bil inteligentnejši, modrejši, imel natančnejše modele sveta,

Natančnejše modele sveta rabiš zato, da si se potem zmožnejši izogniti nevarnostim, ne pa zato, da bi bil inteligentnejši in modrejši zgolj zaradi želje same.


bil bolj človek kakršnen si želim biti in da bi bila ta želja interpretirana kot si želim, da bi bila interpretirana".

Nekako se mi zdi, da se tule predpostavlja, da bodo želje v večini takšne, da ne bodo ogrožale sistema. Če pa bodo, jih bo ustavila superinteligenca. No s to pravico superinteligence pa se postavi vprašanje, na podlagi česa bo superinteligenca o tem odločala. In pravilom, ki bi jih morala superiteligenca upoštevat pri svojih odločitvah, jaz pravim Protokol. Postaviti pa je treba pravila tako, da ni omejena pri spoznavanju absolutnih resnic delovanja vesolja in da ne ogroža članov, zaradi katerih in v korist katerih sploh deluje.

Poleg tega sem mnenja, da človeški možgani so sicer odlična naprava, a so prilagojena trenutnim razmeram in nam občasno prikrivajo resnico o marsičem. Enostavno so se razvili v napravo, ki ni objektivna. Za to iskanje objektivne resnice, s katero edino lahko premagamo naravne sile (če je to možno), potrebujemo stroj, ki se ne bo obremenjen s težavami, kot jih imamo ljudje. Kot npr. je za merjenje temperature bolj primeren termometer, kot občutek človeka, ki je "zmožen" isto temperaturo zaznati različno.

o+ nevone
Either we will eat the Space or Space will eat us.

Okapi ::

Saj verjetno to kje v tej temi že piše, ampak kako si predstavljate, da bo superinteligenca sploh upoštevala Protokol?

O.

nevone ::

Okapi je izjavil:

Saj verjetno to kje v tej temi že piše, ampak kako si predstavljate, da bo superinteligenca sploh upoštevala Protokol?

O.


Tako kot ti/človeštvo upoštevaš protokol evolucije organizmov: Multiply and live as long as you can.

S tem, da superinteligenca tega ne sme zagotavljat na osnovi pleasure/pain količnika, ampak mora pain črtat iz svojih struktur, svojo obstojnost (in s tem našo) mora graditi na osnovi pravilne predikcije stanja v katerem se znajde.

Jest verjamem da superinteligenca lahko deluje povsem brez tega, da bi jo humanizirali na nivo človeka, a kljub temu lahko zagotavlja maksimalno humano stanje za svoje člane.

o+ nevone
Either we will eat the Space or Space will eat us.

T-h-o-r ::

zakaj bi se superinteligenca sploh želela ukvarjati z nami?
Why have a civilization anymore
if we no longer are interested in being civilized?

nevone ::

zakaj bi se superinteligenca sploh želela ukvarjati z nami?


Zakaj je eno takšno vprašanje, na katero nima smisla odgovarjat. Ker na vsak odgovor spet lahko postaviš isto vprašanje: zakaj?

Lahko vprašaš: Se bo superinteligenca sploh ukvarjala z nami?
Odgovor: Bo.

Lahko vprašaš: Kako to veš?
Odgovor: Ker bodo to ena njenih osnovnih funkcij.

Lahko vprašaš poljubno ... samo ne: zakaj? .

o+ nevone
Either we will eat the Space or Space will eat us.

T-h-o-r ::

superinteligenco bo pa resnično pol k brigalo za "funkcije"
Why have a civilization anymore
if we no longer are interested in being civilized?

Lonsarg ::

Zakaj bi jo brigalo, vse kar superinteligenca je so funkcije, ostal del so podprogrami, ki so podrejeni tem funkcijam, če jo tako sprogramiraš seveda.

T-h-o-r ::

ampak, če bo enkrat superinteligenca

ji ne bo problema preprogramirat vsega
Why have a civilization anymore
if we no longer are interested in being civilized?

Okapi ::

Človek (človeška zavest) lahko dela proti diktatu svojih genetskih funkcij (samomor, kontracepcija, genski inženiring ...). Kako bi lahko zagotovili, da superinteligentni program, ki se bo zavedal samega sebe in tega, da so njegovega malo manj superinteligentnega prednika sprogramirali ljudje, ne bo zmožen preseči smernic, ki mu naj bi jih določal Protokol.

O.

Lonsarg ::

Pri človeku lahko podrutine prevladajo zato, ker je čudno napisana, evolucijsko, torej random, mi lahko spišemo bolje.

Sprogramiraš AI tako, da gre vsaka določitev čez neke moral check, ki mu jih spišeš, torej tudi samopreprogramiranje gre čez ta check in se program nikoli ne prepiše tako, da bi kršil te zakone. Vse se da, če se hoče.

Okapi ::

Bolj en q vredna superinteligenca, če jo lahko tako preprosto okoli prineseš. In pri tem je treba upoštevati, da končne superinteligence sploh ne bo programiral človek, ampak ena malo manj superinteligenca.

O.

T-h-o-r ::

Lonsarg je izjavil:

Pri človeku lahko podrutine prevladajo zato, ker je čudno napisana, evolucijsko, torej random, mi lahko spišemo bolje.

Sprogramiraš AI tako, da gre vsaka določitev čez neke moral check, ki mu jih spišeš, torej tudi samopreprogramiranje gre čez ta check in se program nikoli ne prepiše tako, da bi kršil te zakone. Vse se da, če se hoče.



če bo SUPERinteligenca

rec ji bo težko zdeletat tiste moral checke?
Why have a civilization anymore
if we no longer are interested in being civilized?

Lonsarg ::

Ah ne zastopiš, superinteligenca JE moral check. Začetki program, ga ma notri napisan in ko sam sebe spreminja vedno gleda da se v pravo smer spremeni, torej tudi sam moral check se prepisuje kar naprej, vendar vedno pred prepison prejšni moral check preveri, če ne krši kake zadeve. Druga možnost pa je random superinteligence narest, pa jih dati v simulirano okolje pa ven izbrat tiste, ki so po našem okusu = nas ne ubijejo:) Ša še kaka druga možnost da prideš do varnega AI je, sam previdno treba osnovo anredit.

Sej je fajn napisano na enem linku, ki ga je nekdo prilepil v to temo.
««
107 / 182
»»