Forum » Znanost in tehnologija » Protokol
Protokol
Temo vidijo: vsi
Thomas ::
Just expect the unexpectable!
Ampak hotel sem povedati nekaj drugega. Komentirati zanimivo pisanje od nicnevema. Njegovo primero, da bi Stari Grki recimo, naredili nek tak Protokol, ki nam z današnje perspektive ne bi bil zelo všeč. Se strinjam. Oni bi naredili točno to. Svet Odiseja, Leonidesa, Periklesa in drugih takih herojskih mitskih in nemitskih figur, s polno njihove olimpijske navlake. Bi nam bilo všeč? Bi mi bilo všeč potovati 20 let po nekakšnem mitskem Sredozemlju in srečavati karakterje, kakršne je srečeval Odisej?
Bi mi bilo. Tako bi bilo narejeno, da bi mi bilo.
Ni mi všeč z današnje perpektive, da se ne bi znašel v nečem boljšem, kot je svet Odiseja, ki se da privezati na jambor, da kot (ne)smrtnik varno posluša Sirene, kako lepo pojejo. Jaz bi, z današnje svoje perspektive, poslušal nenevarne, a ravno tako miloglasne Sirene. Razen, če ima kakšen čar biti privezan na jambor in prositi svojo začasno oglušelo posadko, da te spusti.
Po drugi strani pa, če bi Stari Grki razvili kakšno komputacijsko napravo, ekvivalentno današnjim superračunalnikom, bi zdaj že dobrih 2000 let realnega časa, morda živeli v Grškem Protokolu. Kako bi nam bilo všeč, preživeti 2000 realnih in milijarde subjektivnih let v SuperAtenah, neke vrste?
Po moje bolj, kot nam je bilo všeč vse, kar nas je v resnici doletelo, ker Grki komputacijskih naprav niso razvili.
Kako bi nam bilo všeč, če bi Leonardo denimo, ugotovil, da se da supercomputat z neko napravo njegovega časa? Bi živeli v nekakšnih večnih Firencah, večnih Benetkah? Morda, če bi se odločili za Protokol varianto. Že 400 koledarskih in kdo ve koliko milijard subjektivnih let, bi uživali v nekakšni Renesansi. Boljš kot dejanska zgodovina zadnjih 400 let. Bistveno bolje.
A še vedno slabše, kot bi lahko bilo, če bi namesto najboljših idej iz njegovega časa, uresničili in Protokolirali ideosfero in moralo današnjega časa.
Ampak a res? Sicer je bolje živeti danes v najbolj razvitem svetu, kot 2500 ali 500 let nazaj v takrat najbolj razvitem. Protokoli pa ne bi bili dosti drugačni, po moje.
Tako, da pričakovati, da bi Extrapolated Volition dala kaj bistveno boljšega, kot bi znali narediti Grki - gledano od znotraj - ni povsem samoumevno.
Po mojem mnenju, ko se neke čebele, opičjaki kot mi, ali kaj drugega, prikopljejo do dovolj velikega computinga, zamrznejo svojo civilizacijo in kulturo, za celo večnost. Naredijo sicer neke inovacije, a ne morejo iz svojega načina razmišljanja. Niti nočejo.
Moj trenutni podpis "Ne premišljujemo o prepričanjih, ampak iz njih.", je bolj usodepoln, kot bi si kdo mislil. Ne moremo premisliti o svojih izhodiščih, nemogoče je.
Zato bi od vsakih čebel, pričakoval malo drugega, kot ogromne cvetoče travnike, na katerih se vse medi in je lepo letati po tistih rožah.
Zato bo tudi vsaka naša Extrapolated Volition v osnovi tisto, kar že zdaj verjamemo. The core values, bomo zaščitili in konzervirali na tisti zgodovinski točki, v kateri se bomo domogli praktično neomejenega računskega potenciala. Izkoristili ga bomo, da zavarujemo sebe, kakorkoli bomo takrat bili.
Kot blage Atence, kot herojske Špartance, mafijsko razmišljujoče ljudi Renesanse (to vse so zamujene priložnosti) - ali pa kot ljudi z začetka 21. stoletja.
Seveda, je danes kulturna razlika med nami ogromna. Tukaj na forumu že, smo tako različni, kot Grki niti niso mogli biti. Vsaj v naših pogledih. Če že v biologiji nismo. A v biologiji smo praktično enaki tudi Starim Grkom in še našim afriškim prednikom.
Kdor bo nekako zajahal komputacijskega konja, tisti bo več ali manj določil gabaride, Protokol sveta za vnaprej. Če bo dopustil velike spremembe, se bo bal, da vse kar mu je drago, nekako izhlapi. Lahko, da bo tudi dovolj nor, da naredi kaj takega, še bolj verjetno pa je, da ne. Da bo naredil nekatere komponente secured for ever, kolikor se le da.
Zato bi jaz stavil, če že stavimo na to, kakšna bo prihodnost, da bomo lansirali nek relativno konzervativen Protokol in da se prav dosti globje spuščali ne bomo. To je tisto, kar je najbolj nepričakovano. Čaj v viktorijanskem okolju angleškega vrta in taki klišeji, skozi vso naslednjo zgodovino.
Ne moremo drugače, mi ne. Lahko pa našuntamo AI, da naredi maksimalen p/p količnik in naj nas spusti po časovni reki navzdol. Tudi to ni izključeno. V to nas sili taktični in strateški premislek, kaj bo, ko bomo srečali druge, kadarkoli v bodočnosti. Kako se vnaprej postaviti na zmagovalno stran morebitnih "intergalaktičnih" vojn. (Narekovaj zato, ker galaksije so že pomašinane v useware.)
To je en atraktor. Marko - Odin scenarij.
Drug atraktor je, "to please our human nature, to avoid conflicts here on Earth". Ker veliko ljudi se bo razburilo, ko bo slišalo, da se pripravlja kaj tako radikalnega. Čaj bi pa pili ob jezeru, celo večnost. Oziroma, vsaj do večerje in tako naprej.
Kompromisna strategija med obema - Protokolarne ki se boji ljudskega gneva in Marko - Odin scenarija ki "se boji" iracionalnosti in s tem verjetnega posega eventualnega kozmičnega velikega racionalnega brata - je pa tale EV.
"Bomo naredili super, a se ne bomo zamrznili kot civilizacija in kultura. Niti ne bomo spustili AI z vajeti".
Trije atraktorji so. Protokol, MO (ki je varianta Protokola, eden od možni scenarijev za Protokol) in FAI z EV.
Pa še prazen planet atraktor, ki je defaulten.
Ampak hotel sem povedati nekaj drugega. Komentirati zanimivo pisanje od nicnevema. Njegovo primero, da bi Stari Grki recimo, naredili nek tak Protokol, ki nam z današnje perspektive ne bi bil zelo všeč. Se strinjam. Oni bi naredili točno to. Svet Odiseja, Leonidesa, Periklesa in drugih takih herojskih mitskih in nemitskih figur, s polno njihove olimpijske navlake. Bi nam bilo všeč? Bi mi bilo všeč potovati 20 let po nekakšnem mitskem Sredozemlju in srečavati karakterje, kakršne je srečeval Odisej?
Bi mi bilo. Tako bi bilo narejeno, da bi mi bilo.
Ni mi všeč z današnje perpektive, da se ne bi znašel v nečem boljšem, kot je svet Odiseja, ki se da privezati na jambor, da kot (ne)smrtnik varno posluša Sirene, kako lepo pojejo. Jaz bi, z današnje svoje perspektive, poslušal nenevarne, a ravno tako miloglasne Sirene. Razen, če ima kakšen čar biti privezan na jambor in prositi svojo začasno oglušelo posadko, da te spusti.
Po drugi strani pa, če bi Stari Grki razvili kakšno komputacijsko napravo, ekvivalentno današnjim superračunalnikom, bi zdaj že dobrih 2000 let realnega časa, morda živeli v Grškem Protokolu. Kako bi nam bilo všeč, preživeti 2000 realnih in milijarde subjektivnih let v SuperAtenah, neke vrste?
Po moje bolj, kot nam je bilo všeč vse, kar nas je v resnici doletelo, ker Grki komputacijskih naprav niso razvili.
Kako bi nam bilo všeč, če bi Leonardo denimo, ugotovil, da se da supercomputat z neko napravo njegovega časa? Bi živeli v nekakšnih večnih Firencah, večnih Benetkah? Morda, če bi se odločili za Protokol varianto. Že 400 koledarskih in kdo ve koliko milijard subjektivnih let, bi uživali v nekakšni Renesansi. Boljš kot dejanska zgodovina zadnjih 400 let. Bistveno bolje.
A še vedno slabše, kot bi lahko bilo, če bi namesto najboljših idej iz njegovega časa, uresničili in Protokolirali ideosfero in moralo današnjega časa.
Ampak a res? Sicer je bolje živeti danes v najbolj razvitem svetu, kot 2500 ali 500 let nazaj v takrat najbolj razvitem. Protokoli pa ne bi bili dosti drugačni, po moje.
Tako, da pričakovati, da bi Extrapolated Volition dala kaj bistveno boljšega, kot bi znali narediti Grki - gledano od znotraj - ni povsem samoumevno.
Po mojem mnenju, ko se neke čebele, opičjaki kot mi, ali kaj drugega, prikopljejo do dovolj velikega computinga, zamrznejo svojo civilizacijo in kulturo, za celo večnost. Naredijo sicer neke inovacije, a ne morejo iz svojega načina razmišljanja. Niti nočejo.
Moj trenutni podpis "Ne premišljujemo o prepričanjih, ampak iz njih.", je bolj usodepoln, kot bi si kdo mislil. Ne moremo premisliti o svojih izhodiščih, nemogoče je.
Zato bi od vsakih čebel, pričakoval malo drugega, kot ogromne cvetoče travnike, na katerih se vse medi in je lepo letati po tistih rožah.
Zato bo tudi vsaka naša Extrapolated Volition v osnovi tisto, kar že zdaj verjamemo. The core values, bomo zaščitili in konzervirali na tisti zgodovinski točki, v kateri se bomo domogli praktično neomejenega računskega potenciala. Izkoristili ga bomo, da zavarujemo sebe, kakorkoli bomo takrat bili.
Kot blage Atence, kot herojske Špartance, mafijsko razmišljujoče ljudi Renesanse (to vse so zamujene priložnosti) - ali pa kot ljudi z začetka 21. stoletja.
Seveda, je danes kulturna razlika med nami ogromna. Tukaj na forumu že, smo tako različni, kot Grki niti niso mogli biti. Vsaj v naših pogledih. Če že v biologiji nismo. A v biologiji smo praktično enaki tudi Starim Grkom in še našim afriškim prednikom.
Kdor bo nekako zajahal komputacijskega konja, tisti bo več ali manj določil gabaride, Protokol sveta za vnaprej. Če bo dopustil velike spremembe, se bo bal, da vse kar mu je drago, nekako izhlapi. Lahko, da bo tudi dovolj nor, da naredi kaj takega, še bolj verjetno pa je, da ne. Da bo naredil nekatere komponente secured for ever, kolikor se le da.
Zato bi jaz stavil, če že stavimo na to, kakšna bo prihodnost, da bomo lansirali nek relativno konzervativen Protokol in da se prav dosti globje spuščali ne bomo. To je tisto, kar je najbolj nepričakovano. Čaj v viktorijanskem okolju angleškega vrta in taki klišeji, skozi vso naslednjo zgodovino.
Ne moremo drugače, mi ne. Lahko pa našuntamo AI, da naredi maksimalen p/p količnik in naj nas spusti po časovni reki navzdol. Tudi to ni izključeno. V to nas sili taktični in strateški premislek, kaj bo, ko bomo srečali druge, kadarkoli v bodočnosti. Kako se vnaprej postaviti na zmagovalno stran morebitnih "intergalaktičnih" vojn. (Narekovaj zato, ker galaksije so že pomašinane v useware.)
To je en atraktor. Marko - Odin scenarij.
Drug atraktor je, "to please our human nature, to avoid conflicts here on Earth". Ker veliko ljudi se bo razburilo, ko bo slišalo, da se pripravlja kaj tako radikalnega. Čaj bi pa pili ob jezeru, celo večnost. Oziroma, vsaj do večerje in tako naprej.
Kompromisna strategija med obema - Protokolarne ki se boji ljudskega gneva in Marko - Odin scenarija ki "se boji" iracionalnosti in s tem verjetnega posega eventualnega kozmičnega velikega racionalnega brata - je pa tale EV.
"Bomo naredili super, a se ne bomo zamrznili kot civilizacija in kultura. Niti ne bomo spustili AI z vajeti".
Trije atraktorji so. Protokol, MO (ki je varianta Protokola, eden od možni scenarijev za Protokol) in FAI z EV.
Pa še prazen planet atraktor, ki je defaulten.
Man muss immer generalisieren - Carl Jacobi
Simko ::
Hej!
Ne vem, če je že kdo omenil. Danes sem si vzel nekaj časa in odprl junijski IEEE Spectrum in zasledil obseeeeežen članek o singularnosti. Del članka je tudi na http://www.spectrum.ieee.org/jun08/6311.
Let the people know! :)
Ne vem, če je že kdo omenil. Danes sem si vzel nekaj časa in odprl junijski IEEE Spectrum in zasledil obseeeeežen članek o singularnosti. Del članka je tudi na http://www.spectrum.ieee.org/jun08/6311.
Let the people know! :)
lymph ::
Nekako se mi zdi še najbolj verjetno, da bomo preprosto peljali pain/pleasure do ekstrema. Protokol bo preučeval naše možgane in sproti računal katere vizualne podobe, zvoki in občutki bi nam v določenem trenutku prinesli največ užitka. In bi nam jih serviral. Večni pleasure in nič paina.
Nekakšen večen orgazem, so to speak.
S tem tudi izginejo vse klasične predstave življenja in samo obstajanje v protokolu postane bolj abstraktno.
Nekakšen večen orgazem, so to speak.
S tem tudi izginejo vse klasične predstave življenja in samo obstajanje v protokolu postane bolj abstraktno.
"Belief is immune to counter example."
Zgodovina sprememb…
- spremenil: lymph ()
Thomas ::
Če dobro premislim, je to zdaleč najbolj realistična opcija.
To je najbrž najmočnejši atraktor, proti katerem se gibljemo, ne glede na to, kaj mislimo in pravimo, da bi radi.
To je najbrž najmočnejši atraktor, proti katerem se gibljemo, ne glede na to, kaj mislimo in pravimo, da bi radi.
Man muss immer generalisieren - Carl Jacobi
username ::
Če bi stari Grki imeli v rokah moč, da bi ustvarili svoja mala nebesa v katerih bi precejšen del prebivalstva živel življenja sužnjev, bi bilo to - če gledamo skozi današnjo etiko - nekaj groznega.Zakaj bi bilo to nujno grozno? Grozno bi bilo samo, če bi dejanske sužnje tudi uploadal spet v sužnje.
Če pa bi vsak imel možnost živet po svoji želji, pa bi v uploadani obliki vsi bili bogataši s svojimi posestvi in sužnji - ti sužnji bi bili pač dummies.
Tudi poprejšnji sužnji bi dobili svobodo, svoja posestva in svoje dummy sužnje.
Ampak je ena stvar - Stari Grki pač niso pogruntali computinga in naredili Protokola, ker to enostavno ni (bilo) možno. Za kaj takega rabiš določen znanstveni/tehnološki in predtem ekonomski razvoj, ki je tako rekoč nemogoč brez kapitalizma (oziroma njegovih elementov, ker v nobeni državi, tudi 'kapitalističnih' ni čistega kapitalizma, ampak to je tu bolj BTW). Bistvo pravega kapitalizma pa je svoboda posameznika (se ga ne sme prisilno izkoriščati/ropati itd), torej po defaultu (čisti!) kapitalizem skensla sužnjelastništvo*.
Iz istega razloga ni smiselno razmišljati, kakšno življenje (neskončni travniki cvetic) bi si po uploadu zaželele čebele, ker one imajo pa še neskončno manj možnosti od Starih Grkov, da bi skupaj spravile Protokol.
* seveda pa je možno, da si v uploadu tudi recimo jaz zaželim en teden živeti kot antični plemič s posestvom in sužnji, (naslednji teden pa kot James Bond ali rock zvezdnik, kasneje pa kot kamenodobni lovec ali kapitan SpaceShuttla...)
I've got a solution for the rainforest: napalm the lot. (Jeremy Clarkson)
nicnevem ::
Thomas,
zanimiv post, ki pa predstavi pogled, ki se kar precej razlikuje od mojega, tako da bom očitno moral napisati nekaj daljšega, da vsaj deloma opravičim svoje zaključke.
Ena izmed razlik, ki lebdi nekje v ozadju, se nanaša na predvideni potencial človeštva.
Kadar pomislim na drevo bitij, ki lahko zraste iz današnjega človeštva, je moja intuicija enaka Bostromovi, kot jo prikazuje slika The Space of Possible Modes of Being, zato se težko strinjam s temle:
Čebele bi res ostale bolj ali manj v svojem malem kotičku prostora bivanja, kar pa ne velja za nas. Poleg očitne razlike med njihovo malo, ozko usmerjeno in našo mnogo večjo, splošno inteligenco, smo ljudje sposobni reflektivnega razmišljanja, ki nam med drugim omogoča odkrivanje in opuščanje množice vrednot, ki nam jih je zapustila evolucija.
Kadar postavimo ogledalo svoji duši in opazimo v njej kak neželen drobec, ga lahko odstranimo, ali pa vsaj poskušamo s tem (pri ultratechu to razlikovanje ni več potrebno). Recipročni altruizem se s tem prelevi v brezpogojnega, naš 'krog empatije' pa se razširi nad druge rase, ki so bile v preteklosti izločene iz njega. Bolj izrazit in negativen primer pa bi bil opustitev želje po življenju ali pa padec v nihilizem.
Poleg tega naša kognitivna arhitektura nima oblike preprostega maksimizatorja pričakovane koristi (expected utility maximizer), ki se na vso moč upira spremembi svoje kriterijske (utiliy) funkcije. Inkrementalna narava evolucije ne dopušča tako čistih designov, zato je motivacijski del našega razuma bolj podoben množici agentov, ki vlečejo vsak v svojo smer, nekje v tej sliki pa se nahaja še zapuščina 'reinforcement' arhitekture, ki je evolucijski predhodnik maksimizacije EU-ja...
Kar želim povedati je, da je naša psihologija hudo zapletena in meni ni očitno, da mora v nas nujno obstajati neko nespremenljivo jedro, neke vrednote/cilji, ki jih ne bi mogli ali ne bi želeli spremeniti v nekaj milijonih let. Mislim da ne spadamo v razred optimizacijskih procesov, ki skozi čas striktno ohranjajo svojo strukturo.
Očitno je, da bi si lahko dodajali senzorične modalnosti, povečali spominske kapacitete, pohitrili in izboljšali svoje razmišljanje, spreminjali čustva... kje naj bi se to ustavilo? Po mojem mnenju se tem spremembam ne morejo ogniti niti 'najgloblji' predeli uma od koder izvirajo naše moralne sodbe.
Moja slika idealne prihodnosti je zato dinamična: človeštvo odrašča, postaja pametnejše, izboljšuje svoje moralne meme in raziskuje prijetnejša prostranstva prostora bivanja 'where no mind has gone before'... nekaj v tem smislu. :)
Oziroma bolje bi bilo reči, da je to trenutna dokaj nejasna želja, ki pa se bo v prihodnje verjetno spremenila. Morda bom čez čas opazil, da prinaša kake neželene posledice ali pa je zaradi kakega drugega razloga moralno oporečna.
Iz teh prepričanj izhaja moje nezadovoljstvo s predlogi, kakršen je Protokol ali pa 'eksplozija užitka', kot sta jo predlagala Marko in Odin. Ne vidim namreč, kako njuna pravila zajamejo vse kar si želim od prihodnosti, moralno rast an'all that. S tega zornega kota ga nekoliko bolje odnese Goertzlov etični princip 'Voluntary Joyous Growth', vendar tudi tega pokopljejo naslednje dileme - tako kot tudi druge predloge, ki vsebujejo množico konkretnih pravil po katerih naj bi se odvijala prihodnost do konca časa.
Zoprne zadrege (vsaj za '7-čudovitih-zapovedi' oblike predlogov):
Kako je lahko kdorkoli tako zelo prepričan, da ne bi po nekaj tisoč letih premisleka spremenil svojih pravil, da si upa z njihovo implementacijo postaviti na kocko usodo človeštva? Kako je lahko prepričan, da ne prinašajo morebitnih neželenih posledic?
Ni namreč malo primerov, ko so si ljudje močno želeli nečesa, pa so jih potem te presenetile. Če bi videli dalj, bi si seveda premislili. Tako pa jim je preostalo le obžalovanje, česar pa si v tem primeru ne smemo privoščiti.
Če bi Stari Grki zasnovali svoj Protokol tako, da vanj ne bi imeli vstopa sužnji in ženske, bi jih lahko upravičeno obsojali. Enako velja za viktorijanski Protokol, v katerega ne bi smeli temnopolti. Danes vanj ne bi sprejeli šimpanzov (tudi to bi bila moralna napaka, ne?).
Kako smo lahko prepričani, da s sprejetjem določenih pravil ne delamo hude moralne napake, ob kateri bi bila starogrška le 'pozabljena vejica v povedi'?
Mislim da kaj takega kot je objektivna morala ne obstaja, kljub temu pa menim, da imajo določene oblike bivanja večjo vrednost kot druge. Bolje je biti povprečno zadovoljen človek, kot 'brezmejno uživaški' bober, bolje postčlovek, kot človek - pri čemer je 'moralna razdalja' med slednjima mnogo večja. Denimo da nas naša pravila usmerijo v prihodnost v kateri uživamo in je nihče ne obžaluje, ima pa enako relacijo do neke druge kot bobrova do človeške. Sam bi to štel za poraz in zanima me, kakšni so razlogi snovalcev pravil, ki zagotavljajo da do česa takega ne more priti.
Zanima me tudi, kaka je njihova razrešitev problema narave morale in kaj jih razlikuje od množice filozofov (in sanjačev), s svojimi moralnimi sistemi?
Kako bi v predlogu upoštevali želje ostalih ljudi? Da bi vprašali vsakega posameznika in sklepali kompromise ni izvedljivo, niti preveč pametno. Kaj bi torej rekli množicam, ki se ne strinjajo z nami?
...
Močno dvomim, da smo dovolj modri, da bi se lahko na takšen način kot to poskuša Protokol in podobni sistemi izognili kolosalnim zmotam. Potrebujemo nekaj boljšega in najobetavnejši predlog do sedaj je verjetno Coherent Extrapolated Volition (CEV), katerega dinamiko naj bi poganjal samoizboljšujoči optimizacijski proces (~AI).
Namesto množice konkretnih pravil, ki naj bi utelešala odgovor na vprašanje 'kaj si ljudje resnično želimo?', CEV usmeri to vprašanje k našim pametnejšim različicam; če malo poenostavim. Namesto igranja z moralnimi načeli imamo pri CEV proceduro, ki naj bi poiskala ta načela (v bistvu koherentno množico želja ekstrapoliranega človeštva) - gre torej za razliko med osnovnim in meta nivojem.
In poetic terms, our coherent extrapolated volition is our wish if we knew more, thought faster, were more the people we wished we were, had grown up farther together; where the extrapolation converges rather than diverges, where our wishes cohere rather than interfere; extrapolated as we wish that extrapolated, interpreted as we wish that interpreted.
CEV naj bi skonstruirala model današnjega človeštva (npr. iz stanja možganov neke množice ljudi), na katerem bi izvedla transformacije kot so povečanje znanja, hitrosti razmišljanja, približanje svojim idealom... in nato iz njega izluščila naše skupne želje ter jih pričela uresničevati.
Kot je verjetno očitno, se možnost neželjenih posledic pri CEV močno zmanjša zaradi nadomestitve našega trenutnega modela sveta s tistim, do katerega se je dokopal optimizacijski proces, ki poganja CEV (transformacija, ki poveča znanje); zaradi enakega razloga se zmanjša tudi možnost precejšnjega števila moralnih napak (npr. tistih povezanih z zmotnim prepričanjem o obstoju Boga/bogov), druge pa ujamemo z ostalimi transformacijami.
Kakšen naj bi bil rezultat CEV? Tega seveda ne vem (niti ne morem vedeti), lahko pa samo za okus navedem nekaj možnosti.
Če je Protokol dejansko najboljši sistem kar si ga lahko zamislimo, bi CEV pokazala nanj. Enako velja za druge priljubljene možnosti (ja, tudi kaki zagrizeni komunisti so lahko pomirjeni, če odkrito verjamejo, da je njihov sistem najboljši). Morda pa bi bila naša skupna želja ohranitev današnjega stanja, brez neprostovoljnega umiranja, lakote, revščine... vendar tudi brez popolne svobode pri ustvarjanju ultratehnologije, s čimer bi močno zmanjšali eksistenčna tveganja. Na tak način bi človeštvo dobilo potrebni čas da odraste. Ali pa bi naše nezadovoljstvo s trenutno rodilo novo inkarnacijo CEV, ki bi izvajala ekstrapolacijo na drugačen način; morda pa bi le izginila v oblačku dima, brez kakršnihkoli posledic. Čeprav dvomim, da bi se izšlo tako...
Predlog CEV izhaja iz skromnosti, ki je posledica zavedanja naših pomankljivosti. V absolutnem smislu smo še vedno precej neumni, naš (moralni) razvoj je šele na začetku, mnogih odgovorov še vedno ne vemo, zato bi bilo - milo rečeno - neodgovorno osnovati celotno prihodnost na (ne)znanju, ki ga trenutno posedujemo. CEV pa nam ponuja roko naših (hipotetičnih) naslednikov, ki vidijo dalj, vedo več, so bolj ljudje kakršni si želimo biti...
Kljub vsemu mislim da razumem pragmatične aspiracije, ki vodijo do Protokola. Trenutno stanje je... eno velko sranje (lahko bi rekel produkt bolnega Boga, če bi verjel vanj) in tudi sam si močno želim, da čimprej postavimo stvari na svoje mesto. Vendar ne smemo biti zadovoljni s površnimi rešitvami, ki se nam zdijo korak v pravo smer. Prizadevati si moramo za čim boljšim; le en, čeprav velik korak naprej in nato večni postanek, naj ne bo dovolj.
P.s. Morda bo spet trajalo celo večnost, da kaj napišem, ker se kmalu spet odpravljam v divje kraje, kjer ne poznajo interneta. :)
zanimiv post, ki pa predstavi pogled, ki se kar precej razlikuje od mojega, tako da bom očitno moral napisati nekaj daljšega, da vsaj deloma opravičim svoje zaključke.
Ena izmed razlik, ki lebdi nekje v ozadju, se nanaša na predvideni potencial človeštva.
Kadar pomislim na drevo bitij, ki lahko zraste iz današnjega človeštva, je moja intuicija enaka Bostromovi, kot jo prikazuje slika The Space of Possible Modes of Being, zato se težko strinjam s temle:
Po mojem mnenju, ko se neke čebele, opičjaki kot mi, ali kaj drugega, prikopljejo do dovolj velikega computinga, zamrznejo svojo civilizacijo in kulturo, za celo večnost. Naredijo sicer neke inovacije, a ne morejo iz svojega načina razmišljanja. Niti nočejo.
Čebele bi res ostale bolj ali manj v svojem malem kotičku prostora bivanja, kar pa ne velja za nas. Poleg očitne razlike med njihovo malo, ozko usmerjeno in našo mnogo večjo, splošno inteligenco, smo ljudje sposobni reflektivnega razmišljanja, ki nam med drugim omogoča odkrivanje in opuščanje množice vrednot, ki nam jih je zapustila evolucija.
Kadar postavimo ogledalo svoji duši in opazimo v njej kak neželen drobec, ga lahko odstranimo, ali pa vsaj poskušamo s tem (pri ultratechu to razlikovanje ni več potrebno). Recipročni altruizem se s tem prelevi v brezpogojnega, naš 'krog empatije' pa se razširi nad druge rase, ki so bile v preteklosti izločene iz njega. Bolj izrazit in negativen primer pa bi bil opustitev želje po življenju ali pa padec v nihilizem.
Poleg tega naša kognitivna arhitektura nima oblike preprostega maksimizatorja pričakovane koristi (expected utility maximizer), ki se na vso moč upira spremembi svoje kriterijske (utiliy) funkcije. Inkrementalna narava evolucije ne dopušča tako čistih designov, zato je motivacijski del našega razuma bolj podoben množici agentov, ki vlečejo vsak v svojo smer, nekje v tej sliki pa se nahaja še zapuščina 'reinforcement' arhitekture, ki je evolucijski predhodnik maksimizacije EU-ja...
Kar želim povedati je, da je naša psihologija hudo zapletena in meni ni očitno, da mora v nas nujno obstajati neko nespremenljivo jedro, neke vrednote/cilji, ki jih ne bi mogli ali ne bi želeli spremeniti v nekaj milijonih let. Mislim da ne spadamo v razred optimizacijskih procesov, ki skozi čas striktno ohranjajo svojo strukturo.
Očitno je, da bi si lahko dodajali senzorične modalnosti, povečali spominske kapacitete, pohitrili in izboljšali svoje razmišljanje, spreminjali čustva... kje naj bi se to ustavilo? Po mojem mnenju se tem spremembam ne morejo ogniti niti 'najgloblji' predeli uma od koder izvirajo naše moralne sodbe.
Moja slika idealne prihodnosti je zato dinamična: človeštvo odrašča, postaja pametnejše, izboljšuje svoje moralne meme in raziskuje prijetnejša prostranstva prostora bivanja 'where no mind has gone before'... nekaj v tem smislu. :)
Oziroma bolje bi bilo reči, da je to trenutna dokaj nejasna želja, ki pa se bo v prihodnje verjetno spremenila. Morda bom čez čas opazil, da prinaša kake neželene posledice ali pa je zaradi kakega drugega razloga moralno oporečna.
Iz teh prepričanj izhaja moje nezadovoljstvo s predlogi, kakršen je Protokol ali pa 'eksplozija užitka', kot sta jo predlagala Marko in Odin. Ne vidim namreč, kako njuna pravila zajamejo vse kar si želim od prihodnosti, moralno rast an'all that. S tega zornega kota ga nekoliko bolje odnese Goertzlov etični princip 'Voluntary Joyous Growth', vendar tudi tega pokopljejo naslednje dileme - tako kot tudi druge predloge, ki vsebujejo množico konkretnih pravil po katerih naj bi se odvijala prihodnost do konca časa.
Zoprne zadrege (vsaj za '7-čudovitih-zapovedi' oblike predlogov):
Kako je lahko kdorkoli tako zelo prepričan, da ne bi po nekaj tisoč letih premisleka spremenil svojih pravil, da si upa z njihovo implementacijo postaviti na kocko usodo človeštva? Kako je lahko prepričan, da ne prinašajo morebitnih neželenih posledic?
Ni namreč malo primerov, ko so si ljudje močno želeli nečesa, pa so jih potem te presenetile. Če bi videli dalj, bi si seveda premislili. Tako pa jim je preostalo le obžalovanje, česar pa si v tem primeru ne smemo privoščiti.
Če bi Stari Grki zasnovali svoj Protokol tako, da vanj ne bi imeli vstopa sužnji in ženske, bi jih lahko upravičeno obsojali. Enako velja za viktorijanski Protokol, v katerega ne bi smeli temnopolti. Danes vanj ne bi sprejeli šimpanzov (tudi to bi bila moralna napaka, ne?).
Kako smo lahko prepričani, da s sprejetjem določenih pravil ne delamo hude moralne napake, ob kateri bi bila starogrška le 'pozabljena vejica v povedi'?
Mislim da kaj takega kot je objektivna morala ne obstaja, kljub temu pa menim, da imajo določene oblike bivanja večjo vrednost kot druge. Bolje je biti povprečno zadovoljen človek, kot 'brezmejno uživaški' bober, bolje postčlovek, kot človek - pri čemer je 'moralna razdalja' med slednjima mnogo večja. Denimo da nas naša pravila usmerijo v prihodnost v kateri uživamo in je nihče ne obžaluje, ima pa enako relacijo do neke druge kot bobrova do človeške. Sam bi to štel za poraz in zanima me, kakšni so razlogi snovalcev pravil, ki zagotavljajo da do česa takega ne more priti.
Zanima me tudi, kaka je njihova razrešitev problema narave morale in kaj jih razlikuje od množice filozofov (in sanjačev), s svojimi moralnimi sistemi?
Kako bi v predlogu upoštevali želje ostalih ljudi? Da bi vprašali vsakega posameznika in sklepali kompromise ni izvedljivo, niti preveč pametno. Kaj bi torej rekli množicam, ki se ne strinjajo z nami?
...
Močno dvomim, da smo dovolj modri, da bi se lahko na takšen način kot to poskuša Protokol in podobni sistemi izognili kolosalnim zmotam. Potrebujemo nekaj boljšega in najobetavnejši predlog do sedaj je verjetno Coherent Extrapolated Volition (CEV), katerega dinamiko naj bi poganjal samoizboljšujoči optimizacijski proces (~AI).
Namesto množice konkretnih pravil, ki naj bi utelešala odgovor na vprašanje 'kaj si ljudje resnično želimo?', CEV usmeri to vprašanje k našim pametnejšim različicam; če malo poenostavim. Namesto igranja z moralnimi načeli imamo pri CEV proceduro, ki naj bi poiskala ta načela (v bistvu koherentno množico želja ekstrapoliranega človeštva) - gre torej za razliko med osnovnim in meta nivojem.
In poetic terms, our coherent extrapolated volition is our wish if we knew more, thought faster, were more the people we wished we were, had grown up farther together; where the extrapolation converges rather than diverges, where our wishes cohere rather than interfere; extrapolated as we wish that extrapolated, interpreted as we wish that interpreted.
CEV naj bi skonstruirala model današnjega človeštva (npr. iz stanja možganov neke množice ljudi), na katerem bi izvedla transformacije kot so povečanje znanja, hitrosti razmišljanja, približanje svojim idealom... in nato iz njega izluščila naše skupne želje ter jih pričela uresničevati.
Kot je verjetno očitno, se možnost neželjenih posledic pri CEV močno zmanjša zaradi nadomestitve našega trenutnega modela sveta s tistim, do katerega se je dokopal optimizacijski proces, ki poganja CEV (transformacija, ki poveča znanje); zaradi enakega razloga se zmanjša tudi možnost precejšnjega števila moralnih napak (npr. tistih povezanih z zmotnim prepričanjem o obstoju Boga/bogov), druge pa ujamemo z ostalimi transformacijami.
Kakšen naj bi bil rezultat CEV? Tega seveda ne vem (niti ne morem vedeti), lahko pa samo za okus navedem nekaj možnosti.
Če je Protokol dejansko najboljši sistem kar si ga lahko zamislimo, bi CEV pokazala nanj. Enako velja za druge priljubljene možnosti (ja, tudi kaki zagrizeni komunisti so lahko pomirjeni, če odkrito verjamejo, da je njihov sistem najboljši). Morda pa bi bila naša skupna želja ohranitev današnjega stanja, brez neprostovoljnega umiranja, lakote, revščine... vendar tudi brez popolne svobode pri ustvarjanju ultratehnologije, s čimer bi močno zmanjšali eksistenčna tveganja. Na tak način bi človeštvo dobilo potrebni čas da odraste. Ali pa bi naše nezadovoljstvo s trenutno rodilo novo inkarnacijo CEV, ki bi izvajala ekstrapolacijo na drugačen način; morda pa bi le izginila v oblačku dima, brez kakršnihkoli posledic. Čeprav dvomim, da bi se izšlo tako...
Predlog CEV izhaja iz skromnosti, ki je posledica zavedanja naših pomankljivosti. V absolutnem smislu smo še vedno precej neumni, naš (moralni) razvoj je šele na začetku, mnogih odgovorov še vedno ne vemo, zato bi bilo - milo rečeno - neodgovorno osnovati celotno prihodnost na (ne)znanju, ki ga trenutno posedujemo. CEV pa nam ponuja roko naših (hipotetičnih) naslednikov, ki vidijo dalj, vedo več, so bolj ljudje kakršni si želimo biti...
Kljub vsemu mislim da razumem pragmatične aspiracije, ki vodijo do Protokola. Trenutno stanje je... eno velko sranje (lahko bi rekel produkt bolnega Boga, če bi verjel vanj) in tudi sam si močno želim, da čimprej postavimo stvari na svoje mesto. Vendar ne smemo biti zadovoljni s površnimi rešitvami, ki se nam zdijo korak v pravo smer. Prizadevati si moramo za čim boljšim; le en, čeprav velik korak naprej in nato večni postanek, naj ne bo dovolj.
P.s. Morda bo spet trajalo celo večnost, da kaj napišem, ker se kmalu spet odpravljam v divje kraje, kjer ne poznajo interneta. :)
nicnevem ::
lymph,
username,
Nekakšen večen orgazem, so to speak.Takšnega sveta si nikakor ne želim. Izpolnjuje le eno izmed mnogih mojih želja, kar pa je seveda mnogo premalo...
username,
Grozno bi bilo samo, če bi dejanske sužnje tudi uploadal spet v sužnje.Ravno to sem imel tudi v mislih. Lepo da se strinjava, da bi bilo grozno. Sledi le še miselni preskok, ki ga vsebuje vprašanje 'kako vemo, da ne bi danes naredili kake podobno hude ali hujše moralne napake?'.
nevone ::
Če bi Stari Grki zasnovali svoj Protokol tako, da vanj ne bi imeli vstopa sužnji in ženske, bi jih lahko upravičeno obsojali. Enako velja za viktorijanski Protokol, v katerega ne bi smeli temnopolti. Danes vanj ne bi sprejeli šimpanzov (tudi to bi bila moralna napaka, ne?).
Kdo bi jih obsojal? Nas v takšni obliki sploh ne bi bilo. Bili bi pa srečni osebki v okviru njihovega Protokola.
Po moje mora človek na Protokol gledati vseeno z nekoliko manj egoizma. Jest recimo gledam takole. Kaj pa potem, če mene v tistem Protokolu ne bo. Če bodo vsi, ki bodo v Protokolu srečni, je zame delo opravljeno. Seveda upam, da bom del tega sveta, ampak če bo ta svet srečen brez mene, zame to ni noben problem.
o+ nevone
Either we will eat the Space or Space will eat us.
AtaStrudl ::
Thomas ::
Pripravljen sem premisliti, kar pravi nicnevem. Kar pravzaprav pravi mainstream Singularitancev, samo nekaj desidentov nas je. Kakšnih 20, precej vsak v svojo smer.
Ampak kot sem rekel, premislil bom še desetič. Ko vrneš s safarija nicnevem, bova še kakšno rekla.
Ampak kot sem rekel, premislil bom še desetič. Ko vrneš s safarija nicnevem, bova še kakšno rekla.
Man muss immer generalisieren - Carl Jacobi
Saladin ::
Wow.
Zelo izčrpen post, ničnevem.
In še večji Wow nad Thomasom, da ni spet rekel "AI knows best".
Zelo izčrpen post, ničnevem.
In še večji Wow nad Thomasom, da ni spet rekel "AI knows best".
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
_marko ::
->Iz teh prepričanj izhaja moje nezadovoljstvo s predlogi, kakršen je Protokol ali pa 'eksplozija užitka', kot sta jo predlagala Marko in Odin. Ne vidim namreč, kako njuna pravila zajamejo vse kar si želim od prihodnosti, moralno rast an'all that.
Jaz nimam utvar, da bi človek ostal enak kot je danes.
Spremenil bi mu substrat in tudi svojo arhitekturo ob pogoju, da bi maximiziral pleasure. Ta maksimizacija pleasurje že v defaultu pomeni, da ne moremo biti bobri ali današnji ljudje, ampak mora današnji človek skozi "digitalno evolucijo" v smislu povečanja pleasurja.
->Ni namreč malo primerov, ko so si ljudje močno želeli nečesa, pa so jih potem te presenetile. Če bi videli dalj, bi si seveda premislili.
Seveda, ampak vseeno nevem kako si moj primer primer povezal z to trditvijo.
Menim, da je to edini način, ki se izogne temu problemu. Ali je moralno sporno, da današnji človek evulira v "naprednega" človeka in tako zgubi svoj navidezen "bit"? Kot bi šinpanzi izumili protokol in bi dovolili, da v protokolu evolurajo v homo sapiensa.
Jaz sem pripravljen to dovoliti, kaj pa ti, nicnevem?
Moram priznati, da je ta CEV zanimiva ideja.
Ampak ne razumem pa kaksna je razlika med CEV-om in tem predlogom, ki ga eni zagovarjamo?
A ni "maksimiziraj pleasure na zavesti" prakticno to kar bo CEV(zelo napreden) raziskal?
->CEV naj bi skonstruirala model današnjega človeštva (npr. iz stanja možganov neke množice ljudi), na katerem bi izvedla transformacije kot so povečanje znanja, hitrosti razmišljanja, približanje svojim idealom... in nato iz njega izluščila naše skupne želje ter jih pričela uresničevati.
Morda pa je tu razlika...
Jaz pravim naj CEV kar lepo pusti ne-optimalnega cloveka na miru in naredi boljsega ob poguju, da zavest ostane vsaj tako dobra ali boljsa(=najboljsa mozna) kot je sedaj.
Motivi, ki nam jih je vsadila bioloska evolucija nimajo kaj iskati med parametri tega t.i. CEVa...
Jaz nimam utvar, da bi človek ostal enak kot je danes.
Spremenil bi mu substrat in tudi svojo arhitekturo ob pogoju, da bi maximiziral pleasure. Ta maksimizacija pleasurje že v defaultu pomeni, da ne moremo biti bobri ali današnji ljudje, ampak mora današnji človek skozi "digitalno evolucijo" v smislu povečanja pleasurja.
->Ni namreč malo primerov, ko so si ljudje močno želeli nečesa, pa so jih potem te presenetile. Če bi videli dalj, bi si seveda premislili.
Seveda, ampak vseeno nevem kako si moj primer primer povezal z to trditvijo.
Menim, da je to edini način, ki se izogne temu problemu. Ali je moralno sporno, da današnji človek evulira v "naprednega" človeka in tako zgubi svoj navidezen "bit"? Kot bi šinpanzi izumili protokol in bi dovolili, da v protokolu evolurajo v homo sapiensa.
Jaz sem pripravljen to dovoliti, kaj pa ti, nicnevem?
Moram priznati, da je ta CEV zanimiva ideja.
Ampak ne razumem pa kaksna je razlika med CEV-om in tem predlogom, ki ga eni zagovarjamo?
A ni "maksimiziraj pleasure na zavesti" prakticno to kar bo CEV(zelo napreden) raziskal?
->CEV naj bi skonstruirala model današnjega človeštva (npr. iz stanja možganov neke množice ljudi), na katerem bi izvedla transformacije kot so povečanje znanja, hitrosti razmišljanja, približanje svojim idealom... in nato iz njega izluščila naše skupne želje ter jih pričela uresničevati.
Morda pa je tu razlika...
Jaz pravim naj CEV kar lepo pusti ne-optimalnega cloveka na miru in naredi boljsega ob poguju, da zavest ostane vsaj tako dobra ali boljsa(=najboljsa mozna) kot je sedaj.
Motivi, ki nam jih je vsadila bioloska evolucija nimajo kaj iskati med parametri tega t.i. CEVa...
The saddest aspect of life right now is that science
gathers knowledge faster than society gathers wisdom.
gathers knowledge faster than society gathers wisdom.
whatever ::
Sej bo.
Veliko jih je notri, še več jih je pa zunaj.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Thomas ::
Roko na srce. Kej dosti boljšega, kot maximizacija p/p količnika si za Protokol še nismo izmislili. Moje obvezne resete na stoletje kot en amandman, štejem zraven.
Najboljše, kar je Yudkowsky doslej pogruntal, je pa takoimenovana "eksplozije inteligence". To se bo enkrat do 2100 nedvomno zgodilo, lahko že bistveno prej.
Takrat bomo veseli, če bomo kakršenkoli Protokol, po katerem naj se stvari odvijajo naprej, imeli. Če bo Superinteligenca sledila randomu, bo kaša. Goo.
Najboljše, kar je Yudkowsky doslej pogruntal, je pa takoimenovana "eksplozije inteligence". To se bo enkrat do 2100 nedvomno zgodilo, lahko že bistveno prej.
Takrat bomo veseli, če bomo kakršenkoli Protokol, po katerem naj se stvari odvijajo naprej, imeli. Če bo Superinteligenca sledila randomu, bo kaša. Goo.
Man muss immer generalisieren - Carl Jacobi
nicnevem ::
Nekaj hitrih komentarjev...
@nevone
Enako velja v primeru, da bi bila čisto sama na svetu in bi si močno želela nečesa, kar bi se ti tudi sicer zdelo moralno nesporno - vendar ni nujno da bi bilo! Lahko bi le pozabila pomisliti na nek moralni argument, ki bi sicer očrnil tvojo željo.
@Saladin
@nevone
Če bi Stari Grki zasnovali svoj Protokol tako, da vanj ne bi imeli vstopa sužnji in ženske, bi jih lahko upravičeno obsojali.Res je. Kar pa ne pomeni, da bi bilo ravnanje Starih Grkov pravilno. Odobravanje nekega dejanja s strani drugih ni dovoljšen razlog za njegovo moralno pravilnost.Kdo bi jih obsojal? Nas v takšni obliki sploh ne bi bilo.
Enako velja v primeru, da bi bila čisto sama na svetu in bi si močno želela nečesa, kar bi se ti tudi sicer zdelo moralno nesporno - vendar ni nujno da bi bilo! Lahko bi le pozabila pomisliti na nek moralni argument, ki bi sicer očrnil tvojo željo.
Po moje mora človek na Protokol gledati vseeno z nekoliko manj egoizma.Se strinjam.
Kaj pa potem, če mene v tistem Protokolu ne bo.Neoptimalna rešitev. Že če se gibljemo v okviru Protokola, ki pa je že sam verjetno daleč od optimalnega.
@Saladin
Wow. Zelo izčrpen post, ničnevem.Nja, sam nisem preveč zadovoljen z njim. Ni dovolj jasen in lahko bi bil krajši, če bi te stvari razumel bolje.
nicnevem ::
@Thomas
Predvsem me zanima, kakšne so po tvojem mnenju prednosti Protokola v primerjavi s CEV.
Pripravljen sem premisliti, kar pravi nicnevem. Kar pravzaprav pravi mainstream Singularitancev, samo nekaj desidentov nas je.Disidenti morajo imeti kak razlog za to, da ostanejo disidenti. :)
Predvsem me zanima, kakšne so po tvojem mnenju prednosti Protokola v primerjavi s CEV.
Takrat [po eksploziji inteligence] bomo veseli, če bomo kakršenkoli Protokol, po katerem naj se stvari odvijajo naprej, imeli.Ena izmed potencialnih prednosti je njegova lažja implementacija. Ampak, ali res? Konstrukcijo Protokola brez AI si težko predstavljam. Če pa potrebujemo AI, mora ta biti Frienly (ne nujno v CEV smislu) sicer gremo bye-bye. Za Protokol moramo torej rešiti večji del Friendly AI problema - zakaj ne bi potem raje naredili še koraka naprej in 'dodali' k FAI CEV, namesto da jo uporabimo za Protokol?!
_marko ::
nicnevem,
morda nisem pravilno razumel, ampak - kaksna je je razlika med CEV in AI? (razen tega, da so pogoji simuliranja malenkost drugačni)
morda nisem pravilno razumel, ampak - kaksna je je razlika med CEV in AI? (razen tega, da so pogoji simuliranja malenkost drugačni)
The saddest aspect of life right now is that science
gathers knowledge faster than society gathers wisdom.
gathers knowledge faster than society gathers wisdom.
whatever ::
Kljub vsemu mislim da razumem pragmatične aspiracije, ki vodijo do Protokola. Trenutno stanje je... eno velko sranje (lahko bi rekel produkt bolnega Boga, če bi verjel vanj) in tudi sam si močno želim, da čimprej postavimo stvari na svoje mesto.
+1, le da ne verjamem, da je kaj boljšega od trenutnega sranja sploh možno.
+1, le da ne verjamem, da je kaj boljšega od trenutnega sranja sploh možno.
Veliko jih je notri, še več jih je pa zunaj.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
nicnevem ::
Argh, sem že imel napisan odgovor zate, marko, pa ga je nekako požrlo. Here we go again...
Slabi izzid bi bilo v tem primeru mogoče preprečiti, če bi najditelj svetilke 'videl dalj' (vedel več, bil pametnejši... glej transformacije, ki jih uporablja CEV pri ekstrapolaciji.)
Skupaj z Odinom si predlagal naj maksimiziramo užitek (oziroma p/p). Si prepričan, da si podrobno premislil vse posledice, ki jih to prinaša? Zato takšna povezava.
Protokol, tvoj in Odinov predlog, Goertzlov "Voluntary Joyous Growth" in kopica ostalih sistemov uteleša neko moralo, neko množico običajnih želja; medtem ko CEV z ekstrapolacijo išče neko moralo, kar pa ga naredi za metamoralni sistem.
Bom poskušal kasneje napisati še kaj o tem, sicer se bo tale post preveč razlezel...
Jp, moj povzetek je bil bolj švoh, zato ti predlagam da si prebereš originalni članek
Niso vsi sadovi evolucije nujno slabi. Ljubezen do svojih otrok in bližnjih, sposobnost sočustvovanja, pogovora o morali, želja po svobodi... vse to so čudovite stvaritve evolucije. Se pa med njimi nahajajo tudi temne beštije. Ena izmed nalog CEVa je odstranitev teh pošasti v svojem modelu človeštva, da bodo naše želje... pač boljše, če malo poenostavim.
Če želiš postati pametnejši, moraš sem in tja opustiti kako prepričanje in ponovno premisliti svoje predpostavke. Ena izmed teh je pri tebi povezava med užitkom (p/p) in moralno pravilnostjo. Z drugimi besedami, vse naše vrednote (svoboda, prijateljstvo,lepota...), naj bi bilo mogoče zreducirati na doživljanje užitka. Vendar temu ni tako. Pojasnilo se nahaja v Not for the Sake of Happiness (Alone). Članek je precej dolg, vendar si težko predstavljam, da bi lahko nadaljevala pogovor brez te podlage. Pa tudi sicer ga toplo priporočam.
Ta maksimizacija pleasurje že v defaultu pomeni, da ne moremo biti bobri ali današnji ljudje, ampak mora današnji človek skozi "digitalno evolucijo" v smislu povečanja pleasurja.Kaj ti zagotavlja, da tekom maksimizacije užitka ne bomo izgubili večine tistega, kar nam je dragoceno? Ljubezen, prijatejstvo, svoboda, poštenost... bi pri tem izginile, nadomestila pa bi jih neka orgazmično optimalna konfiguracija, analogna življenju zadovoljnega bobra. Nein danke. Mislim da zmoremo bolje.
Ni namreč malo primerov, ko so si ljudje močno želeli nečesa, pa so jih potem te presenetile. Če bi videli dalj, bi si seveda premislili.Sprehajaš se po puščavi in naletiš na čarobno svetilko, jo podrgneš, nakar iz nje prileze duh, ki ti je pripravljen izpolniti željo. Malce pomisliš in mu rečeš "Želim si, da bi bili vsi ljudje maksimalno srečni.". Duh zaigra na piščal in svet se začne spreminjati v množico 'brain-in-the-vat'-ov, preostali atomi pa so namenjeni stimulaciji njihovih pleasure centrov.Seveda, ampak vseeno nevem kako si moj primer primer povezal z to trditvijo.
Slabi izzid bi bilo v tem primeru mogoče preprečiti, če bi najditelj svetilke 'videl dalj' (vedel več, bil pametnejši... glej transformacije, ki jih uporablja CEV pri ekstrapolaciji.)
Skupaj z Odinom si predlagal naj maksimiziramo užitek (oziroma p/p). Si prepričan, da si podrobno premislil vse posledice, ki jih to prinaša? Zato takšna povezava.
Kot bi šinpanzi izumili protokol in bi dovolili, da v protokolu evolurajo v homo sapiensa.Enako. To je ravno ena izmed stvari, ki si jih želim, vendar tvoj predlog tega ne dopušča. Šimpanzi, ki bi se odločili za maksimizacijo svojega užitka, dvomim da bi kje na poti svojega spreminjanja postali ljudje. Od njih bi ostala le najnunejša struktura za podporo uživanju - o dodajanju intelektualnih kapacitet pa ne duha ne sluha.
Jaz sem pripravljen to dovoliti, kaj pa ti, nicnevem?
Ampak ne razumem pa kaksna je razlika med CEV-om in tem predlogom, ki ga eni zagovarjamo?Ena izmed njih se dotika razlike med osnovnim in meta nivojem. Ko ukažeš duhu "Želim biti srečen." si s tem izrazil običajno željo. Če pa mu rečeš "Želim si, kar bi si želel, če bi bil modrejši." gre pri tem za meta željo.
Protokol, tvoj in Odinov predlog, Goertzlov "Voluntary Joyous Growth" in kopica ostalih sistemov uteleša neko moralo, neko množico običajnih želja; medtem ko CEV z ekstrapolacijo išče neko moralo, kar pa ga naredi za metamoralni sistem.
Bom poskušal kasneje napisati še kaj o tem, sicer se bo tale post preveč razlezel...
A ni "maksimiziraj pleasure na zavesti" prakticno to kar bo CEV(zelo napreden) raziskal?Njet. :)
Jp, moj povzetek je bil bolj švoh, zato ti predlagam da si prebereš originalni članek
Motivi, ki nam jih je vsadila bioloska evolucija nimajo kaj iskati med parametri tega t.i. CEVa...Moram reči da bi v tem primeru ostalo bore malo od nas.
Niso vsi sadovi evolucije nujno slabi. Ljubezen do svojih otrok in bližnjih, sposobnost sočustvovanja, pogovora o morali, želja po svobodi... vse to so čudovite stvaritve evolucije. Se pa med njimi nahajajo tudi temne beštije. Ena izmed nalog CEVa je odstranitev teh pošasti v svojem modelu človeštva, da bodo naše želje... pač boljše, če malo poenostavim.
Če želiš postati pametnejši, moraš sem in tja opustiti kako prepričanje in ponovno premisliti svoje predpostavke. Ena izmed teh je pri tebi povezava med užitkom (p/p) in moralno pravilnostjo. Z drugimi besedami, vse naše vrednote (svoboda, prijateljstvo,lepota...), naj bi bilo mogoče zreducirati na doživljanje užitka. Vendar temu ni tako. Pojasnilo se nahaja v Not for the Sake of Happiness (Alone). Članek je precej dolg, vendar si težko predstavljam, da bi lahko nadaljevala pogovor brez te podlage. Pa tudi sicer ga toplo priporočam.
nicnevem ::
@marko
Običajno ljudje razmišljajo, kakšne cilje naj bi imela AI, da bi nam odprla vrata v raj. Pri CEV pa gre za to, da skonstruiramo AI na takšen način, da je njen cilj prevzeti naše koherentne ekstrapolirane želje/cilje. Njeni cilji torej niso neposredno določeni. Določena je le struktura, ki jih bo vsrkala vase.
morda nisem pravilno razumel, ampak - kaksna je je razlika med CEV in AI? (razen tega, da so pogoji simuliranja malenkost drugačni)CEV je metamoralni sistem, ki si ga lahko predstavljaš kot del optimizacijskega procesa (beseda 'umetna inteligenca' ima preveč konotacij, zato je bolje uporabljati 'optim. proces', sicer pa gre za enako stvar).
Običajno ljudje razmišljajo, kakšne cilje naj bi imela AI, da bi nam odprla vrata v raj. Pri CEV pa gre za to, da skonstruiramo AI na takšen način, da je njen cilj prevzeti naše koherentne ekstrapolirane želje/cilje. Njeni cilji torej niso neposredno določeni. Določena je le struktura, ki jih bo vsrkala vase.
nicnevem ::
@whatever
...ne verjamem, da je kaj boljšega od trenutnega sranja sploh možno.Tole je verjetno mišljeno le napol zares, samo bom vseeno odgovoril. Ena izmed temeljnih idej transhumanizma je namreč, da trenutno stanje ni končna postaja v razvoju človeštva. Fizikalne omejitve so daleč nad nami, tako da imamo ogromno prostora za rast. Samo izkoristiti ga moramo in to čimbolje.
_marko ::
->Običajno ljudje razmišljajo, kakšne cilje naj bi imela AI, da bi nam odprla vrata v raj. Pri CEV pa gre za to, da skonstruiramo AI na takšen način, da je njen cilj prevzeti naše koherentne ekstrapolirane želje/cilje. Njeni cilji torej niso neposredno določeni. Določena je le struktura, ki jih bo vsrkala vase.
Sam osebno ne vidim prednosti v CEVu....
mogoče gledam malo naivno, ampak točno ta CEV bo naredil to kar človek misli, da je zanj najboljše.
Jaz pa mislim, da človek, ki ima vdelane motive in mehanizme, ki so se nabrali skozi evolucijo, ni najprimernejši za to sodbo.
AI lahko boljše pove kaj človek želi.
Če je CEV v tem primeru ta AI o katerem govorim ponovno ne vidim razlika (razen že omenjene).
Sam osebno ne vidim prednosti v CEVu....
mogoče gledam malo naivno, ampak točno ta CEV bo naredil to kar človek misli, da je zanj najboljše.
Jaz pa mislim, da človek, ki ima vdelane motive in mehanizme, ki so se nabrali skozi evolucijo, ni najprimernejši za to sodbo.
AI lahko boljše pove kaj človek želi.
Če je CEV v tem primeru ta AI o katerem govorim ponovno ne vidim razlika (razen že omenjene).
The saddest aspect of life right now is that science
gathers knowledge faster than society gathers wisdom.
gathers knowledge faster than society gathers wisdom.
nicnevem ::
CEV bo naredil to kar človek misli, da je zanj najboljšeEm, niti ne. V tem primeru bi bil CEV samo Izpolnjevalec Želja, tako kot duh iz svetilke.
CEV poskuša ugotoviti, kaj bi si želeli, če bi bili pametnješi, če bi se spremenili v ljudi, kakršni želimo biti in tako naprej, kar pa je ogromen korak naprej od do-what-I-want.
AI lahko boljše pove kaj človek želi.In kako naj bi AI to ugotovila?
Thomas ::
Moj pomislek proti CEV je naslednji. CEV pomeni "Ne tako, kot bi vsaj nekdo od nas rad, pač pa kakor bo zunanji agent presodil, da bi mi radi, če bi bile okoliščine bistveno drugačne".
To se mi ne zdi ravno najbolj varno. Če ne začnemo iz nekega dobro definiranega stanja, pač pa iz nekega ideala, ki ga še nismo dosegli, pravzaprav niti še ne vemo kakšen ta ideal bo ... je tvegano da se nam spodmaknejo tla pod nogami.
Po moje.
Če rečemo, "ohrani, kvečjemu intenziviraj zavest in maksimiziraj p/p" ... potem so vsaj osnove jasne, če že končen rezultat ni.
Če rečemo, "tale movie naj gre v brepogojni loop, jaz pa naj bom glavni junak", je jasen celo končni rezultat.
CEV pa, kolikor se razlikuje od Protokola, ponuja na videz več. Da ne bomo vsega zamudili, kar v Protokolu vseeno morda bi, zaradi začetnih omejitev, ki jih s CEV ni.
CEV pomeni, po moje, veliko nevarnost, da sentientnih bitij preprosto ni, ko je CEV izpolnjen.
Zgodba o hudičevi denarnici. Hudič ti da denarnico, iz katere pobiraš bankovce po 500 €, dokler hočeš, tvoji so. A le dokler ne prenehaš.
CEV predlaga, da jemljemo bankovce ven do nedefiniranega časa, enkrat v prihodnosti kar po moje pomeni, smrt od lakote in žeje.
Protokol pa pravi, 2000 jih vzameš ven, potem te bomo pa prisilil da boš nehal in nikoli ne boš vedel, kako je biti milijarder.
To se mi ne zdi ravno najbolj varno. Če ne začnemo iz nekega dobro definiranega stanja, pač pa iz nekega ideala, ki ga še nismo dosegli, pravzaprav niti še ne vemo kakšen ta ideal bo ... je tvegano da se nam spodmaknejo tla pod nogami.
Po moje.
Če rečemo, "ohrani, kvečjemu intenziviraj zavest in maksimiziraj p/p" ... potem so vsaj osnove jasne, če že končen rezultat ni.
Če rečemo, "tale movie naj gre v brepogojni loop, jaz pa naj bom glavni junak", je jasen celo končni rezultat.
CEV pa, kolikor se razlikuje od Protokola, ponuja na videz več. Da ne bomo vsega zamudili, kar v Protokolu vseeno morda bi, zaradi začetnih omejitev, ki jih s CEV ni.
CEV pomeni, po moje, veliko nevarnost, da sentientnih bitij preprosto ni, ko je CEV izpolnjen.
Zgodba o hudičevi denarnici. Hudič ti da denarnico, iz katere pobiraš bankovce po 500 €, dokler hočeš, tvoji so. A le dokler ne prenehaš.
CEV predlaga, da jemljemo bankovce ven do nedefiniranega časa, enkrat v prihodnosti kar po moje pomeni, smrt od lakote in žeje.
Protokol pa pravi, 2000 jih vzameš ven, potem te bomo pa prisilil da boš nehal in nikoli ne boš vedel, kako je biti milijarder.
Man muss immer generalisieren - Carl Jacobi
Zgodovina sprememb…
- spremenil: Thomas ()
whatever ::
Če rečemo, "ohrani, kvečjemu intenziviraj zavest in maksimiziraj p/p" ... potem so vsaj osnove jasne, če že končen rezultat ni.
Škoda, ker tudi osnove niso jasne. Namreč, kaj zavest sploh je in kaj k njej spada oziroma kaj vse je njen neodtujljiv del.
Škoda, ker tudi osnove niso jasne. Namreč, kaj zavest sploh je in kaj k njej spada oziroma kaj vse je njen neodtujljiv del.
Veliko jih je notri, še več jih je pa zunaj.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
whatever ::
Ali drugače - če je neodtujljiv del zavesti tudi morala, je to v nasprotju s hedonističnim principom. Case closed.
Veliko jih je notri, še več jih je pa zunaj.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
whatever ::
Pa še eno vprašanje: zakaj ne bi ostali kar na trenutnem planetu, trenutnem substratu in tako dalje. Recimo z nanotehnologijo transformiramo Luno v superračunalnik, strong AI, ki ne bo imela nikakršne zavesti, nikakršnih lastnih preferenc in tako dalje in bi Zemljanom zvesto služila kot orodje. Kot duh iz Aladinove (ha, ha, Arabci
) svetilke. Namesto da simulira virtualne svetove za vsakega od nas ali da se matramo z nekim uploadingom, naj nam poišče odgovore na najbolj zamotana znanstvena vprašanja.
) svetilke. Namesto da simulira virtualne svetove za vsakega od nas ali da se matramo z nekim uploadingom, naj nam poišče odgovore na najbolj zamotana znanstvena vprašanja. Veliko jih je notri, še več jih je pa zunaj.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Thomas ::
Pa še eno vprašanje: zakaj ne bi ostali kar na trenutnem planetu, trenutnem substratu in tako dalje.
Ker ni dovolj, to kar imamo, niti če optimiziramo.
Man muss immer generalisieren - Carl Jacobi
Thomas ::
Ne moreš pustiti nekontroliranih evolucij v svoji okolici. Iz dveh razlogov. Prvič, ker te potencialno ogrožajo. Nočeš nobenih "Predatorjev" na svojem planetu, zato vnaprej razkužiš in naseliš vso soseščino. To je prvi razlog.
Drugi razlog je moralne narave. Ne moreš dopuščati trpečih sentientov, ki bi jih zlahka skuhala nekontrolirana evolucija v okolici. Pa se obnašali kot Predator do tebe ali ne. Brezpredmetno.
Da bi pa naseljeval planete in od večine njihove mase imel samo "idealni gravitacijski privlak" je pa way too silly. Way too silly!
Zato sedanja zvezdno galaktična konfiguracija nima kakšne velike prihodnosti. Gremo in si podredimo svet, kakor naj bi že Bog naročil Adamu in Evi. Oziroma, kar nam je bilo nekako skozi mite vedno jasno. Naredili si bomo raj po svoje iz tega sveta in noben nas ne bo zaustavil. Niti Zelenci v lastnih vrstah - ti še najmanj.
Drugi razlog je moralne narave. Ne moreš dopuščati trpečih sentientov, ki bi jih zlahka skuhala nekontrolirana evolucija v okolici. Pa se obnašali kot Predator do tebe ali ne. Brezpredmetno.
Da bi pa naseljeval planete in od večine njihove mase imel samo "idealni gravitacijski privlak" je pa way too silly. Way too silly!
Zato sedanja zvezdno galaktična konfiguracija nima kakšne velike prihodnosti. Gremo in si podredimo svet, kakor naj bi že Bog naročil Adamu in Evi. Oziroma, kar nam je bilo nekako skozi mite vedno jasno. Naredili si bomo raj po svoje iz tega sveta in noben nas ne bo zaustavil. Niti Zelenci v lastnih vrstah - ti še najmanj.
Man muss immer generalisieren - Carl Jacobi
Saladin ::
CEV sam razumem nekako drugače:
Gre se za to, da do neke mere kontroliraš razvoj, tako da ta ne more neposredno privesti do predvidljivega, globalnega in nepovratnega paradigm shifta.
Torej karkoli, kar nas bi z veliko verjetnostjo (to je že 0,01% verjetnost ali manj) lahko globalno in nepovratno ogrozilo (ne glede na potencialne dobičke takšnega rizika).
Govor je seveda o Protokolu in podobnimi paradigmami.
Izhajamo iz predpostavke, da v nobenem trenutku nimamo na voljo dovolj informacij, niti computinga niti zdrave pameti, da človeštvu že vnaprej določimo nek nepovraten končni cilj in ga nato implementiramo (poudarek je na implementaciji - nič ni narobe z teoretiziranjem).
Rizik katastrofalnih napak je enostavno prevelik.
Zato z CEV implementiramo stalno kontrolo nad posamezniki koraki, s katerimi stopa človeštvo. Znanstveni koraki vnaprej so lahko poljubno dolgi - ampak ne smejo vključevat aktualizacijo nečesa tako fundamentalnega, kot je Protokol.
Vsaj tako dolgo ne, dokler s takimi (omejenimi) koraki ne prispemo do takšne stopnje, ko imamo na voljo dovolj informacij, dovolj computinga in dovolj zdrave pameti.
Šela takrat postane Protokol legitimna opcija in lahko opustiš CEV.
Do takrat pa je CEV v resnici isto, čemu danes rečemo zmerno previden napredek (double, tripple checking, backups, failsaifs, redundance...) napram nebrzdanem in nekontroliranem razvoju.
Kar pa že stalno tudi sam trobim. Pa ne varnost mešat z konzervativizmom.
Gre se za to, da do neke mere kontroliraš razvoj, tako da ta ne more neposredno privesti do predvidljivega, globalnega in nepovratnega paradigm shifta.
Torej karkoli, kar nas bi z veliko verjetnostjo (to je že 0,01% verjetnost ali manj) lahko globalno in nepovratno ogrozilo (ne glede na potencialne dobičke takšnega rizika).
Govor je seveda o Protokolu in podobnimi paradigmami.
Izhajamo iz predpostavke, da v nobenem trenutku nimamo na voljo dovolj informacij, niti computinga niti zdrave pameti, da človeštvu že vnaprej določimo nek nepovraten končni cilj in ga nato implementiramo (poudarek je na implementaciji - nič ni narobe z teoretiziranjem).
Rizik katastrofalnih napak je enostavno prevelik.
Zato z CEV implementiramo stalno kontrolo nad posamezniki koraki, s katerimi stopa človeštvo. Znanstveni koraki vnaprej so lahko poljubno dolgi - ampak ne smejo vključevat aktualizacijo nečesa tako fundamentalnega, kot je Protokol.
Vsaj tako dolgo ne, dokler s takimi (omejenimi) koraki ne prispemo do takšne stopnje, ko imamo na voljo dovolj informacij, dovolj computinga in dovolj zdrave pameti.
Šela takrat postane Protokol legitimna opcija in lahko opustiš CEV.
Do takrat pa je CEV v resnici isto, čemu danes rečemo zmerno previden napredek (double, tripple checking, backups, failsaifs, redundance...) napram nebrzdanem in nekontroliranem razvoju.
Kar pa že stalno tudi sam trobim. Pa ne varnost mešat z konzervativizmom.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
nevone ::
le da ne verjamem, da je kaj boljšega od trenutnega sranja sploh možno.
Seveda je možno.
Jest pa le ne verjamem, da je "rast človeka" tisto, kar je najbolj pomembno. Tale "rast" je en tak atraktor, ki je zelo popularen, ampak je tudi zelo pisan na kožo posameznikom, ki sebe vidijo kot razvijajočo inteligenco. Kar je seveda prav, ker ta "rast" nas trenutno drži na kurzu razvoja vsega živega, kar človeku pomaga živeti in preživeti.
Vendar mi se moramo pogovarjati o času, ko bo preživetje enostavno ne bo več problem. Torej o času, ko procesa človeškega zavedanja ne bo več mogoče prekiniti. Seveda bo to stanje potrebno vzpostaviti. Ko je enkrat vzpostavljeno takšno stanje, potem je potrebno definirati, kaj bo ta zavest doživljala. Za začetek, je to lahko nekaj zelo preprostega, kar pa je bistveno, pa je to, da se počuti bolje, kot se počuti, kot biološka instanca. In bistveno je, da dobro počutje ne pade pod nek minimalni prag, ki mora biti zelo strogo postavljen.
No, ko to imamo, potem lahko na tisto priklopimo tudi "rast" ali karkoli že človeka veseli. Ali pa se priklaplja samo, vendar ne sme kršiti pravila minimalnega dobrega počutja.
Either we will eat the Space or Space will eat us.
Valentin ::
> No, ko to imamo, potem lahko na tisto priklopimo tudi "rast" ali karkoli že človeka veseli. Ali pa se priklaplja samo, vendar ne sme kršiti pravila minimalnega dobrega počutja.
Se veliko bolj nagibam k tej varianti, kot pa k zamrznjeni civilizaciji v stanju večnega orgazma...
Se veliko bolj nagibam k tej varianti, kot pa k zamrznjeni civilizaciji v stanju večnega orgazma...
nevone ::
Se veliko bolj nagibam k tej varianti, kot pa k zamrznjeni civilizaciji v stanju večnega orgazma..
Seveda. Ko smo govorili o večnem orgaznimčnem stanju, smo to govorili predvsem v smislu optimalne porabe sredstev za zagotavljanje maksimalnega užitka, pri čemer smo predpostavili, da je orgazem najintenzivnejši ugodni občutek. In s tem v zvezi smo zaključili, da če bi AI-ju dali izračunati optimalno stanje, bi ta po teh kriterijih izračunala maksimalno ugodje za minimalno sredstev.
Jest osebno tudi nisem za to varianto, ampak obvezno je pa treba omejiti AI s tem, da ne zaide v polje prevelikega neugodja. Vse kar je nad minimunom ugodja je pa po moje sprejemljivo in lahko varira od recimo orgazmične ekstaze do prijetnega počitka v hladni senci, če naj to izrazim z dosedaj znanimi občutki človeka. Ni seveda nujno, da v novem svetu ne bomo odkrili polje ugodnih občutij, ki jih zdaj ne poznamo.
o+ nevone
Either we will eat the Space or Space will eat us.
Saladin ::
Vzdrževanje minimuma ugodja je hvalevreden cilj.
Ampak o kakem minimalnem ugodju tukaj govorimo? Povprečnem ali individualnem?
Če se gremo povprečnega, mora ta nujno biti vsiljen, saj postaviš eno normo za vse. Prav tako je nujno irreverzibilen, saj po tej logiki ljudem ne moreš dopustiti povratek v bolečo vsakdanjost.
Edini pravilen bi bil individualno postavljen min. prag ugodja. In s tem tudi možnost izstopa iz tega sistema, ki omogoča to ugodje.
Ampak o kakem minimalnem ugodju tukaj govorimo? Povprečnem ali individualnem?
Če se gremo povprečnega, mora ta nujno biti vsiljen, saj postaviš eno normo za vse. Prav tako je nujno irreverzibilen, saj po tej logiki ljudem ne moreš dopustiti povratek v bolečo vsakdanjost.
Edini pravilen bi bil individualno postavljen min. prag ugodja. In s tem tudi možnost izstopa iz tega sistema, ki omogoča to ugodje.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
nevone ::
In s tem tudi možnost izstopa iz tega sistema, ki omogoča to ugodje.
Izstop kam?
o+ nevone
Either we will eat the Space or Space will eat us.
nevone ::
Edini pravilen bi bil individualno postavljen min. prag ugodja.
Se ne strinjam. Igranje z neugodjem je lahko nevarno. Mora biti postavljen nek univerzalni minimalni prag, ki pa si ga vsak lahko poveča, ne sme pa ga zmanjšat. IMO.
o+ nevone
Either we will eat the Space or Space will eat us.
Saladin ::
In s tem tudi možnost izstopa iz tega sistema, ki omogoča to ugodje.
Izstop kam?
Bodisi v klasičen substrat (če je ta še na voljo) bodisi v ločeno simulacija z možnostjo paina.
Posamezniku moraš omogočit možnost, da izkusi bolečino.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
nevone ::
Posamezniku moraš omogočit možnost, da izkusi bolečino.
Se bomo o tem pogovarjali, ko nam sedanjo bolečino uspe eliminirat. Bomo videli, če bo še povpraševanje zanjo.
o+ nevone
Either we will eat the Space or Space will eat us.
nevone ::
Bodisi v klasičen substrat (če je ta še na voljo) bodisi v ločeno simulacija z možnostjo paina.
hehe ... a da bi naredil nebesa z minimalnim pragom ugodja in pekel z maksimalnim možnim painom, pol se pa mau knajpamo ... hehe
o+ nevone
Either we will eat the Space or Space will eat us.
Zgodovina sprememb…
- spremenila: nevone ()
Saladin ::
Tipkovnica mi crkuje zato samo na kratko:
Posamezniku je treba nudit maksimalni nabor možnih doživetij (dokler to ne škoduje drugim - o kakem mazohizmu pa se lahko še kregamo).
In edini način, da razumeš pain (tako kot vsako drugo čustveno doživetje), je da ga izkusiš.
Seveda ne vsiljeno - dovolj je, da imaš to možnost na voljo. Kaj je še dobrobit tega (razen širjenja osebnih svobod)? Morda ko izkusiš pain še bolj ceniš pleasure? Morda je potrebna za razvoj empatije?
Morda pa je nujen za ohranjanje človečnosti, ne vem. Osebno doživljanje paina mora biti opcija. Seveda pain v neki zmernosti (pametno bi bilo določiti maks. prag bolečine).
Pa nisem mazohist. Sploh ne. Gre se za pain kot del moralne rasti in razumevanja.
Posamezniku je treba nudit maksimalni nabor možnih doživetij (dokler to ne škoduje drugim - o kakem mazohizmu pa se lahko še kregamo).
In edini način, da razumeš pain (tako kot vsako drugo čustveno doživetje), je da ga izkusiš.
Seveda ne vsiljeno - dovolj je, da imaš to možnost na voljo. Kaj je še dobrobit tega (razen širjenja osebnih svobod)? Morda ko izkusiš pain še bolj ceniš pleasure? Morda je potrebna za razvoj empatije?
Morda pa je nujen za ohranjanje človečnosti, ne vem. Osebno doživljanje paina mora biti opcija. Seveda pain v neki zmernosti (pametno bi bilo določiti maks. prag bolečine).
Pa nisem mazohist. Sploh ne. Gre se za pain kot del moralne rasti in razumevanja.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
nevone ::
Posamezniku je treba nudit maksimalni nabor možnih doživetij (dokler to ne škoduje drugim
Sej, to se lepo sliši. Ampak ko se gradi avtomatiko za ta svet je treba biti previden, da ne vzpostaviš enakega sranja, kot ga že imaš, ali pa celo slabšega.
Svoboda mogoče ni tisto, kar je pametno dopuščati v takem sistemu. Seveda s tem mislim svobodo v smislu, da je vse mogoče.
Omejena svoboda, ki jo praktično dojemaš kot popolno svobodo, je lahko povsem zadosti dobra stvar. Tukaj še vedno razmišljamo v okviru spoznanj in hotenj, ki nam jih je vgradila biološka evolucija. Če uspemo stopiti stopničko višje, ali bom raje rekla korak vstran, se bo verjetno odprlo povsem drugačno videnje stvari.
Ni potrebno da vso, z biološko evolucijo nagrmadeno stanje, prenesemo v nov svet. Nekatere stvari bomo enostavno opustili, kot smo opustili lesena kolesa, odkar imamo kovino in gumo.
o+ nevone
Either we will eat the Space or Space will eat us.
Saladin ::
Omejena svoboda, ki jo praktično dojemaš kot popolno svobodo, je lahko povsem zadosti dobra stvar.
Maybe.
Ampak preden prisilno in nepovratno eliminiramo pain, zaženimo eno reverzibilno, testno verzijo Protokola.
Šele ko se dolgoročno izkaže, da paina resnično ne potrebujemo več, ga lahko nepovratno eliminiramo. Ker pain je tudi en izmed fundamentov, ki nas naredi za ljudi.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
nevone ::
Ampak preden prisilno in nepovratno eliminiramo pain, zaženimo eno reverzibilno, testno verzijo Protokola.
Definitivno se nam splača najprej narest nekaj testnih reverzibilnih simulacij. Sej sploh ne vem, če je možno kako drugače. Upam, da ni nihče tako nor, da bo kar z nule naredil nek nov svet, brez da bi vsaj osnove prej preveril. Drugače pa nekaj tega preverjanja poteče že v času nastajanja. Pa magari bilo to preverjanje zgolj na nivoju filozofiranja.
o+ nevone
Either we will eat the Space or Space will eat us.
Saladin ::
Upam, da ni nihče tako nor, da bo kar z nule naredil nek nov svet, brez da bi vsaj osnove prej preveril.
Si ziiiiher?
No, osnove morda že. Ampak potrebno je veliko več (double, tripple ... checking, backups, failsaifs, redundance...).
In pridobitev časa za vse to. To pa tako z klasičnimi načini preživljanja kakor tudi (če je potrebno) z strogim preprečevanjem takšnih fundamentalnih aktualizacij. Tudi če veliko ljudi umira med tem časom.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
Thomas ::
For the record. Kdo je prvi na tem forumu govoril o fundamentalni nujnosti večkratnih varnostnih testov?
Thomas.
Vseeno, nič narobe, če se to pove še dvajsetkrat, kot da je prvič.
Thomas.
Vseeno, nič narobe, če se to pove še dvajsetkrat, kot da je prvič.
Man muss immer generalisieren - Carl Jacobi
whatever ::
Pa še eno vprašanje: zakaj ne bi ostali kar na trenutnem planetu, trenutnem substratu in tako dalje. Recimo z nanotehnologijo transformiramo Luno v superračunalnik, strong AI, ki ne bo imela nikakršne zavesti, nikakršnih lastnih preferenc in tako dalje in bi Zemljanom zvesto služila kot orodje.
No sej, zato pa pravim, da najprej naredimo to kar je zgoraj poševno, pa se potem matramo z uploadanjem zavesti. Pri tem bo tovrstna AI morda podala kakšna ključna objektivna spoznanja, ki nam bodo pri implementaciji eventuelnega uploadinga v pomoč. Ker nima lastnih preferenc, tudi nagona po preživetju nima in jo lahko kadarkoli ugasnemo oziroma je možna miroljubna koeksistenca s tem gigantom. Prepričan pa sem tudi, da bi to prineslo izredno pozitivne globalne družbene spremembe.
No sej, zato pa pravim, da najprej naredimo to kar je zgoraj poševno, pa se potem matramo z uploadanjem zavesti. Pri tem bo tovrstna AI morda podala kakšna ključna objektivna spoznanja, ki nam bodo pri implementaciji eventuelnega uploadinga v pomoč. Ker nima lastnih preferenc, tudi nagona po preživetju nima in jo lahko kadarkoli ugasnemo oziroma je možna miroljubna koeksistenca s tem gigantom. Prepričan pa sem tudi, da bi to prineslo izredno pozitivne globalne družbene spremembe.
Veliko jih je notri, še več jih je pa zunaj.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Bilijarde v šole! - Ivan Kramberger
Abnormal behaviour of abnormal brain makes me normal.
Saladin ::
Kdo je prvi na tem forumu govoril o fundamentalni nujnosti večkratnih varnostnih testov?
Na forumu morda že, v tej temi pa tega nisem zasledil.
Izgovarjanje na omejen čas in prehitevanje (manj pazljive) konkurence pa tudi ne odtehta rizikov. Tukaj _moraš_ ustvariti potreben čas, če ne drugače tudi z zaviranjem razvoja in konkurence.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"