Forum » Znanost in tehnologija » Protokol
Protokol
Temo vidijo: vsi
Saladin ::
Potrebno je ustvariri takšno varno okolje za eksperimentiranje, v katerem lahko testiraš, katere verzije Asimovih 3 zakonov robotike v resnici delujejo in preprečujejo razvoj/mutiranje AI-ja v neželjene verzije.
Thomas ima prav glede malih skupin, ki nepričakovano naredijo velike napredke - ampak to ne pomeni, da si lahko ciljano privoščiš še večje eksperimente brez ustreznih zaščit.
Primarna naloga ni (in ne more biti) razvoj "varnega SAI", ampak razvoj varnega okolja v katerega bomo lahko spravili "proto SAI" (ki bo najverjetneje imel druge prioritete od tistih, ki si ji želimo).
Kot sem že večkrat rekel - SAI je beštija, ki jo še ne poznamo. Ker pa brez nje v bodoče ne bomo mogli je prvo potrebno narediti primerno kletko za njo, v kateri jo bomo primerno naučili ali "adaptirali".
To je tista varnost, z katero morajo veliki koncerni pohiteti (ker imajo resurse in podporo za to). Male skupine, ki iščejo slavo, bodo imele povsem druge prioritete.
Thomas ima prav glede malih skupin, ki nepričakovano naredijo velike napredke - ampak to ne pomeni, da si lahko ciljano privoščiš še večje eksperimente brez ustreznih zaščit.
Primarna naloga ni (in ne more biti) razvoj "varnega SAI", ampak razvoj varnega okolja v katerega bomo lahko spravili "proto SAI" (ki bo najverjetneje imel druge prioritete od tistih, ki si ji želimo).
Kot sem že večkrat rekel - SAI je beštija, ki jo še ne poznamo. Ker pa brez nje v bodoče ne bomo mogli je prvo potrebno narediti primerno kletko za njo, v kateri jo bomo primerno naučili ali "adaptirali".
To je tista varnost, z katero morajo veliki koncerni pohiteti (ker imajo resurse in podporo za to). Male skupine, ki iščejo slavo, bodo imele povsem druge prioritete.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
WarpedGone ::
Razumem tvojo skrb in se strinjam s potrebo. Problem je, da 100% varnosti tule ni. Tigra lahko zapreš v železno kletko, ker veš koliko je največ močan.
SAI? Ne vidim načina, kako bi ji lahko v 100% prepreču vpliv na zunanji svet. Že signal, ki se generira ob nihanju porabe energije, je reč ki "curlja ven" iz njene kletke. Vsaka reč, s katero boš pogledu v škatlo, kaj se not dogaja, je medij s katerim lahko kaj preveč odneseš ven.
Edina kolikor toliko varna pot je v majhnih korakih, kjer vsak naslednji korak kontroliraš s pomočjo rezultatov prejšnjega koraka.
Nad tank ne greš z lokom in puščico ampak z visokohitrostnimi izstrelki.
SAI? Ne vidim načina, kako bi ji lahko v 100% prepreču vpliv na zunanji svet. Že signal, ki se generira ob nihanju porabe energije, je reč ki "curlja ven" iz njene kletke. Vsaka reč, s katero boš pogledu v škatlo, kaj se not dogaja, je medij s katerim lahko kaj preveč odneseš ven.
Edina kolikor toliko varna pot je v majhnih korakih, kjer vsak naslednji korak kontroliraš s pomočjo rezultatov prejšnjega koraka.
Nad tank ne greš z lokom in puščico ampak z visokohitrostnimi izstrelki.
Zbogom in hvala za vse ribe
guest #44 ::
Reku bi, da smo v zgodovini imeli več sreče ko pameti. Imeli smo srečo, da nismo na takem planetu kjer bi lahko Hiroshima povzročila nepovratne poškodbe.
Če nam zbeži, self replicating machine...upajmo da bo zaruznu preden bo se preveč razširu.
Tko da, varnega okolja ni. Upajmo na srečo.
Če nam zbeži, self replicating machine...upajmo da bo zaruznu preden bo se preveč razširu.
Tko da, varnega okolja ni. Upajmo na srečo.
Zgodovina sprememb…
- spremenilo: guest #44 ()
guest #44 ::
Orbitalni satelit na nasprotni strani sonca z enosmernimi boosterji 
Ampak za DRM veno rečejo, da bo ta verzija nezlomljiva. V povprečju pa je shekana v par dneh.
Ampak za DRM veno rečejo, da bo ta verzija nezlomljiva. V povprečju pa je shekana v par dneh.
Fave ::
Recimo, da je kreacija AI dokaj enostavna ideja, a zahteva garanje 56 programerjev, da jo spesnijo v C++.
Ta možakar (z idejo) bo res primaširal v Google, obelodanil idejo in na čez leto in dan bomo imeli delujočo AI.
Vsi bodo rekli da je Google naredu AI, ampak ideja, bo pa prišla iz "garaže". Ali "prašne" sobe
.
.
.
Sam se sprašujem tole: "Ali nebi bilo smiselno z bruta forcem iskati algoritem za AI od prvaga dneva, ko imamo procesor? Ko se pa nardi boljši preoc, pa selimo computing na njega in tako naprej?
Ta možakar (z idejo) bo res primaširal v Google, obelodanil idejo in na čez leto in dan bomo imeli delujočo AI.
Vsi bodo rekli da je Google naredu AI, ampak ideja, bo pa prišla iz "garaže". Ali "prašne" sobe
.
.
.
Sam se sprašujem tole: "Ali nebi bilo smiselno z bruta forcem iskati algoritem za AI od prvaga dneva, ko imamo procesor? Ko se pa nardi boljši preoc, pa selimo computing na njega in tako naprej?
My mind's a hyper tool that fixes everything.
WarpedGone ::
"Algoritem za AI" ne obstaja al pa v bistvu trdiš da ima mačka isto sorto inteligence kot človek. Ali osa.
AI ni serijski proces ampak je "masivno paralelen" proces. Dokler ga bomo kuhal na serijskih procesorjih, ne bo iz tega nič. Mogoče kaka hudo dobra simualcija al pa avtomatski rezultat, ne bo pa tle not res kake "inteligence" - ker serijski procesorji enostavno niso dovolj hitri.
AI bodo skuhal v garaži kjer bodo vzporedno povezal par 10 hudo "vzporedno močnih" GPUjev in na vsakem GPUju pognali par tisoč ravno prav simpl in ravno prav kompleksnih feedback loopov - zank ki bodo procesirale nov input in ga prištevale k outputu prejšnjega cikla, ta output se bo pa širil v fronat z ravno pravimi frekvencami k vsem povezanim GPUjem.
Js "verjamem" da ma hofstadter prav, penrose pa stvari razume preveč dobesedno. Mi nismo turingov stroj, mi smo le njegov približek in tako lahko uganemo tut kakšno resnico, katere se ne da zračunat - sposobni smo operirat s protislovji.
AI ni serijski proces ampak je "masivno paralelen" proces. Dokler ga bomo kuhal na serijskih procesorjih, ne bo iz tega nič. Mogoče kaka hudo dobra simualcija al pa avtomatski rezultat, ne bo pa tle not res kake "inteligence" - ker serijski procesorji enostavno niso dovolj hitri.
AI bodo skuhal v garaži kjer bodo vzporedno povezal par 10 hudo "vzporedno močnih" GPUjev in na vsakem GPUju pognali par tisoč ravno prav simpl in ravno prav kompleksnih feedback loopov - zank ki bodo procesirale nov input in ga prištevale k outputu prejšnjega cikla, ta output se bo pa širil v fronat z ravno pravimi frekvencami k vsem povezanim GPUjem.
Js "verjamem" da ma hofstadter prav, penrose pa stvari razume preveč dobesedno. Mi nismo turingov stroj, mi smo le njegov približek in tako lahko uganemo tut kakšno resnico, katere se ne da zračunat - sposobni smo operirat s protislovji.
Zbogom in hvala za vse ribe
Okapi ::
al pa v bistvu trdiš da ima mačka isto sorto inteligence kot človek. Ali osa.Osnovni problem je, ker ne vemo, kakšne sorte inteligence sploh obstajajo in katera je tista sorta, ki jo ima človek, oziroma kako deluje. Vemo samo, kako so videti na zunaj, in nekaj bežnih prebliskov o tem, kakšne so te črne škatle videti od znotraj, imamo. Ampak še vedno pa tapkamo v mraku.
O.
Thomas ::
Dokler ni Edison pokazal žarnice, so glede električne luči tudi praktično vsi "tapkali v mraku".
A je sploh možna? Mora vendarle nekaj nujno izgorevati in oksidirati za imeti luč? Kako boš zagotovil stalno bliskanje v sobi, saj je že zunaj na polju smrtno nevarno. Poleg tega gre za ogromne napetosti in energije, pa tudi ta svetloba ni ravno primerna. Bi ljudje oslepeli od nje. Bo kar naprej sprožala požare? Kako naj elektrika da svetlobo, primerljivo s svečo ali celo petrolejko, danes nihče ne ve. Tudi sam Edison se že leta ni prikazal iz laboratorija v Menlo Parku, kamor se je zaprl že leta nazaj. Verjetno je sam sprevidel, da pred letom 1950 ali celo 2000, ni računati na električno luč, če sploh kdaj.
Itd ....
A je sploh možna? Mora vendarle nekaj nujno izgorevati in oksidirati za imeti luč? Kako boš zagotovil stalno bliskanje v sobi, saj je že zunaj na polju smrtno nevarno. Poleg tega gre za ogromne napetosti in energije, pa tudi ta svetloba ni ravno primerna. Bi ljudje oslepeli od nje. Bo kar naprej sprožala požare? Kako naj elektrika da svetlobo, primerljivo s svečo ali celo petrolejko, danes nihče ne ve. Tudi sam Edison se že leta ni prikazal iz laboratorija v Menlo Parku, kamor se je zaprl že leta nazaj. Verjetno je sam sprevidel, da pred letom 1950 ali celo 2000, ni računati na električno luč, če sploh kdaj.
Itd ....
Man muss immer generalisieren - Carl Jacobi
Jst ::
>smiselno z bruta forcem iskati algoritem za AI
Premisli, kako boš vedel, da je brute force našel pravi algoritem.
--
Yudowski in njegovi followerji... Ben je bil tako dober, da je dal na voljo OpenCog, da bi se vsi lahko igrali in testirali svoje ideje. Kaj je pa Yudowski naredil? Širi strah z njegovo vzvišenjostjo, ko pravi "da se mu zdi, da piše pisma future AI programerjem."
Thomas: Glede Kurzweila si falil. On je miselno na Benovi strani, čeprav nima aktivnega projekta xAI. Je pa "front face", kar se tiče transhumanizma in futurizma, kar tudi šteje, saj tako več ljudi "spregleda."
Kako je Benov Novamente sestavljen, je pa lepa lista tukaj: http://www.agiri.org/wiki/Concretely_Im...
Enterprise: Močno dvomim, da se da AI narediti samo na podlagi natural processing parsing/learning. Zakaj, sem ti že ene parkrat razložil, ampak dopuščam možnost, da se motim. Na kratko: jezik je samo orodje in jaz mislim, da ko naši možgani kalkulirajo, to ne delajo "besedno."
--
Kar se tiče pa stanja danes, 2010: vsak si lahko za nekaj tisoč EUR sestavi računalno z ogromno računsko močjo. 2 CPUja i7, ter 2 Fermi GPUja imajo takšno moč v eni kišti, kot cela soba server rackov pet let nazaj. Resda je težko uporabljati GPU za računanje, ampak tudi na tem se dela. (OpenCL; na novo napisane knjižnice, katere uporabljajo CPU, če pa je na voljo GPU in je ukaz (funkcija) temu primeren, pa na GPU. Torej zelo transprarentno in tako se programer ne rabi matrati z ločevanjem kaj gre na CPU, kaj pa na GPU.)
In eno takšno kišto dobiš za 1kEUR. Garažni projekti imajo sedaj neprimerno boljše izhodišče, kot pa še nekaj let nazaj. Verjetnost, da iz garažnega projekta nastane xAI je danes dokaj visoka. In poleg Thomasa, jim dam tudi jaz več možnosti, kot pa korporacijam, kot je recimo IBM z Blue Brain.
Če je Novamente leta 2007 imel virtualne živali (psa), katerega si v bistvu ti učil, potem iz Novamente je prišel program, ki je analiziral DNK in v zelo kratkem času našel veliko povezav med geni, ki jih "na roko" oziroma z navadnimi statističnimi programi niso uspeli najti,... me prav zanima, česa je Novamente zmožen sedaj. Ben mi je nekaj stvari sicer povedal v začetku leta, vendar sem obljubil, da ne bom govoril naprej. Ampak mene bolj zanimajo tisti projekti, za katere ne vemo. Tam za biti kakšen dragulj.
(ta post sem pisal po odlomkih, zato se opravičujem, če nima ne repa ne glave)
Premisli, kako boš vedel, da je brute force našel pravi algoritem.
--
Yudowski in njegovi followerji... Ben je bil tako dober, da je dal na voljo OpenCog, da bi se vsi lahko igrali in testirali svoje ideje. Kaj je pa Yudowski naredil? Širi strah z njegovo vzvišenjostjo, ko pravi "da se mu zdi, da piše pisma future AI programerjem."
Thomas: Glede Kurzweila si falil. On je miselno na Benovi strani, čeprav nima aktivnega projekta xAI. Je pa "front face", kar se tiče transhumanizma in futurizma, kar tudi šteje, saj tako več ljudi "spregleda."
Kako je Benov Novamente sestavljen, je pa lepa lista tukaj: http://www.agiri.org/wiki/Concretely_Im...
Enterprise: Močno dvomim, da se da AI narediti samo na podlagi natural processing parsing/learning. Zakaj, sem ti že ene parkrat razložil, ampak dopuščam možnost, da se motim. Na kratko: jezik je samo orodje in jaz mislim, da ko naši možgani kalkulirajo, to ne delajo "besedno."
--
Kar se tiče pa stanja danes, 2010: vsak si lahko za nekaj tisoč EUR sestavi računalno z ogromno računsko močjo. 2 CPUja i7, ter 2 Fermi GPUja imajo takšno moč v eni kišti, kot cela soba server rackov pet let nazaj. Resda je težko uporabljati GPU za računanje, ampak tudi na tem se dela. (OpenCL; na novo napisane knjižnice, katere uporabljajo CPU, če pa je na voljo GPU in je ukaz (funkcija) temu primeren, pa na GPU. Torej zelo transprarentno in tako se programer ne rabi matrati z ločevanjem kaj gre na CPU, kaj pa na GPU.)
In eno takšno kišto dobiš za 1kEUR. Garažni projekti imajo sedaj neprimerno boljše izhodišče, kot pa še nekaj let nazaj. Verjetnost, da iz garažnega projekta nastane xAI je danes dokaj visoka. In poleg Thomasa, jim dam tudi jaz več možnosti, kot pa korporacijam, kot je recimo IBM z Blue Brain.
Če je Novamente leta 2007 imel virtualne živali (psa), katerega si v bistvu ti učil, potem iz Novamente je prišel program, ki je analiziral DNK in v zelo kratkem času našel veliko povezav med geni, ki jih "na roko" oziroma z navadnimi statističnimi programi niso uspeli najti,... me prav zanima, česa je Novamente zmožen sedaj. Ben mi je nekaj stvari sicer povedal v začetku leta, vendar sem obljubil, da ne bom govoril naprej. Ampak mene bolj zanimajo tisti projekti, za katere ne vemo. Tam za biti kakšen dragulj.
(ta post sem pisal po odlomkih, zato se opravičujem, če nima ne repa ne glave)
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|
Fave ::
>smiselno z bruta forcem iskati algoritem za AI
Premisli, kako boš vedel, da je brute force našel pravi algoritem.
Za začetek, bi iskal favorite z nekim testnim inputom.
My mind's a hyper tool that fixes everything.
Thomas ::
Glede Kurzweila si falil.
Nisem, samo zelo slabo sem se izrazil. Kurzweila ne bi smel omeniti v kontekstu v kakršnem sem ga. On pač samo ne bo imel svojega projekta. Ne bo pa nič zaviral, tako kot SIAI, to pa gotovo ne. Nasprotno!
Bostromu je pa to vse itak "projekt za 10 milijonov let".
Se opravičujem Kurzweilu za napisano, ja.
Man muss immer generalisieren - Carl Jacobi
Okapi ::
Dokler ni Edison pokazal žarnice, so glede električne luči tudi praktično vsi "tapkali v mraku".Kar seveda ni res. Vedeli so, da daje vroča žareča snov svetlobo. In vedeli so, da lahko elektrika nekatere snovi naredi vročo in žarečo. Edison je samo inženirsko povezal znana dognanja.
Verjetnost, da iz garažnega projekta nastane xAI je danes dokaj visoka.
Ali je AI mogoče narediti v garaži, je pa seveda odvisno izključno od tega, koliko računske moči je za to res potrebne. Če sta res dovolj dva i7 in dva fermija, potem je mogoče, če je potrebno 1000x več, potem pa niti slučajno.
Evo, tule en misli, da so možgani procesorsko 500x zmogljivejši od superračunalnika BlueGene (Dharmendra Modha, director of cognitive computing at the IBM Almaden Research Center).
"We have no computers today that can begin to approach the awesome power of the human mind," Modha said. A computer comparable to the human brain, he added, would need to be able to perform more than 38 thousand trillion operations per second [[http://www.petaflop.info/]] and hold about 3,584 terabytes of memory. (IBM's BlueGene supercomputer, one of the worlds' most powerful, has a computational capability of 92 trillion operations per second and 8 terabytes of storage.)
O.
Thomas ::
Normalno. Vsaka Modha od IBM bo to rekel. Sicer Modha ni od IBM, je navadna Modha Dhramendra.
Njih ne bomo poslušali. Mogoče se bomo zato zmotili, pa kaj potem? Biti en tepec več ni zelo pomembno, kolk jih je že! Po drugi strani, pa klecnil pred avtoriteto "velikega modrega", ni niti Gates. Če bi, ga ne bi nihče poznal.
V par letih bo dosegljiva tudi taka moč. Pravzaprav je že.
Njih ne bomo poslušali. Mogoče se bomo zato zmotili, pa kaj potem? Biti en tepec več ni zelo pomembno, kolk jih je že! Po drugi strani, pa klecnil pred avtoriteto "velikega modrega", ni niti Gates. Če bi, ga ne bi nihče poznal.
če je potrebno 1000x več, potem pa niti slučajno.
V par letih bo dosegljiva tudi taka moč. Pravzaprav je že.
Man muss immer generalisieren - Carl Jacobi
Okapi ::
V par letih bo dosegljiva tudi taka moč.Jaz bi sicer rekel čez recimo 20 let. Takrat procesorska moč ne bi smela biti več pretirana ovira (vsaj ne za IBM, Google, kitajsko vojsko in podobne) in bodo stvari verjetno postale zanimive.
O.
gardener ::
Računska moč možganov - ki je mimogrede ne poznamo (Dharmendra Modha in podobni vlečejo številke iz zraka) - ne postavlja nekih posebnih omejitev de novo AI, saj ni nikakršne potrebe da bi arhitektura slednje sledila zasnovi našega izjemno paralelnega mlinčka, prej nasprotno. Serijska hitrost današnjih računalnikov je okoli sedem velikostnih redov višja od hitrosti delovanja nevronov (podobno verjetno velja tudi za glialne celice, karkoli točno že počnejo), zaradi česar lahko uporabimo algoritme, ki so bili evoluciji naših možganov nedosegljivi in s tem letijo ocene o nujno potrebni računski moči za AI bolj ali manj skozi okno.
Omenil bi še to, da nekaj petaflopsov kolikor teoretično zmorejo današnji superračunalniki v praksi niti približno ni mogoče izkoristiti, vsaj vkolikor je govora o arhitekturah podobnih nevronskim mrežam. Sanje o uploadu so tako tudi s tega stališča še precej oddaljene - vsekakor pa ne nemogoče.
Omenil bi še to, da nekaj petaflopsov kolikor teoretično zmorejo današnji superračunalniki v praksi niti približno ni mogoče izkoristiti, vsaj vkolikor je govora o arhitekturah podobnih nevronskim mrežam. Sanje o uploadu so tako tudi s tega stališča še precej oddaljene - vsekakor pa ne nemogoče.
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
gardener ::
@Fave
Brute-force preiskovanje prostora algoritmov s katerim bi poskušali poiskati AGI je svetlobna leta stran od izvedljivega, že samo zaradi ogromne velikosti tega prostora, ki raste eksponentno z dolžino programa (gre za NP-complete problem).
Brute-force preiskovanje prostora algoritmov s katerim bi poskušali poiskati AGI je svetlobna leta stran od izvedljivega, že samo zaradi ogromne velikosti tega prostora, ki raste eksponentno z dolžino programa (gre za NP-complete problem).
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
gardener ::
@Jst:
Goertzel ima velike težave pri pridobivanju sredstev za svoj AGI projekt (Novamente) in zaradi tega se je odločil prenesti vse skupaj v open-source domeno, kar naj bi pospešilo razvoj in v njegovem pogledu pripeljalo do čudovito svetle prihodnosti, kar pa je, milo rečeno, dvomljivo.
Se sprašujem ob temle koliko si kaj sledil njegovemu delu zadnja leta oz. delu SIAI v splošnem...
Dolgo serijo člankov na Overcoming Bias/Less Wrong, ki med drugim predstavlja mnogo idej relevantnih za design (prijazne) AI, CEV, analizo antropomorfizma in drugih kognitivnih pristranosti povezanih z AI ter delo na teoriji odločanja najbrž ne moreš kar zanemariti - razen če seveda kot edino merilo dosežkov šteješ le pisanje kode, karkoli točno naj bi ta že dosegla, s čimer pa bi očitno dal v nič kar celotno področje matematike in večino znanosti.
O vzvišenosti in širjenju strahu: sam prve nisem kaj posebej opazil, poleg tega je nepomembna; pri slednjem pa gre predvsem za poudarjanje previdnosti in glede na to, da se praktično vsi strinjajo o visokem tveganju povezanem z razvojem AI, je takšno ravnanje edino racionalno.
V mojem pogledu Yudkowsky skupaj s SIAI predstavlja eno izmed redkih svetlih točk v morju norosti, kakršno je mogoče videti v AGI-wannabe krogih (npr. na AGI mailing listi) in mislim, da lahko vsak pride do takšnega zaključka, če si je pripravljen odtrgati dovolj velik kos časa, da preuči njegova dela ter dela drugih (npr. Goertzla, Hansona, Bostroma, Legga itd.) in v splošnem vsaj malo sledi dogajanju na tem področju.
(Mimogrede, njegova "pisma" so prišla zelo prav tudi meni ;)).
Ben je bil tako dober, da je dal na voljo OpenCog, da bi se vsi lahko igrali in testirali svoje ideje.
Goertzel ima velike težave pri pridobivanju sredstev za svoj AGI projekt (Novamente) in zaradi tega se je odločil prenesti vse skupaj v open-source domeno, kar naj bi pospešilo razvoj in v njegovem pogledu pripeljalo do čudovito svetle prihodnosti, kar pa je, milo rečeno, dvomljivo.
Kaj je pa Yudowski naredil? Širi strah z njegovo vzvišenjostjo, ko pravi "da se mu zdi, da piše pisma future AI programerjem."
Se sprašujem ob temle koliko si kaj sledil njegovemu delu zadnja leta oz. delu SIAI v splošnem...
Dolgo serijo člankov na Overcoming Bias/Less Wrong, ki med drugim predstavlja mnogo idej relevantnih za design (prijazne) AI, CEV, analizo antropomorfizma in drugih kognitivnih pristranosti povezanih z AI ter delo na teoriji odločanja najbrž ne moreš kar zanemariti - razen če seveda kot edino merilo dosežkov šteješ le pisanje kode, karkoli točno naj bi ta že dosegla, s čimer pa bi očitno dal v nič kar celotno področje matematike in večino znanosti.
O vzvišenosti in širjenju strahu: sam prve nisem kaj posebej opazil, poleg tega je nepomembna; pri slednjem pa gre predvsem za poudarjanje previdnosti in glede na to, da se praktično vsi strinjajo o visokem tveganju povezanem z razvojem AI, je takšno ravnanje edino racionalno.
V mojem pogledu Yudkowsky skupaj s SIAI predstavlja eno izmed redkih svetlih točk v morju norosti, kakršno je mogoče videti v AGI-wannabe krogih (npr. na AGI mailing listi) in mislim, da lahko vsak pride do takšnega zaključka, če si je pripravljen odtrgati dovolj velik kos časa, da preuči njegova dela ter dela drugih (npr. Goertzla, Hansona, Bostroma, Legga itd.) in v splošnem vsaj malo sledi dogajanju na tem področju.
(Mimogrede, njegova "pisma" so prišla zelo prav tudi meni ;)).
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
gardener ::
@WarpedOne
Morda je vse tole odveč omenjati, ampak vseeno, da ne bi slučajno koga zavedle tvoje besede...
Masivno paralelni računalniki so po svoji moči ekvivalentni običajnemu, povsem serijskemu Turingovemu stroju, saj je vsak paralelni program vedno mogoče pretvoriti v serijskega. Z drugimi besedami, izračunati ne morejo prav ničesar več - dosegljiva jim ni nobena dodatna resnica - kot to velja za serijske računalnike. Church-Turingova teza stoji trdno na svojih nogah že več kot pol stoletja in nič ne kaže, da bi jo v prihodnje kaj izpodbilo (kdor je slišal za hiperračunalnike: najboljša fizika, ki jo imamo, govori o tem, da jih ni mogoče realizirati in zato ostajajo le plod naših sanj - računanje preko Turinga torej ni mogoče).
Operiranje s protislovji nikakor ni v nasprotju s tem, da smo Turingov stroj (z omejenim spominom). Ni namreč videti, da bi bilo vsaj v principu kaj hudo težko napisati program, ki operira s protislovnimi trditvami (npr. v predikatnem ali izjavnem računu) in sicer tako, da omeji sklepanje na lokalne množice trditev, uporablja kak drugačen formalni sistem ali pa preprosto 'ugiba' resnice in jih dodaja v svojo malo bazo podatkov...
Ko smo že pri tem, logika, ki jo uporabljajo naši možgani je mnogo bližje Bayesovi verjetnostni logiki z nekaj dodatnimi hevristikami in tweaki, kot pa običajni predikatni logiki, ki smo je vajeni iz matematike.
V zvezi s Penrosom in njegovimi zmotami pa toplo priporočam naslednji protistrup: http://www.scottaaronson.com/democritus...
Morda je vse tole odveč omenjati, ampak vseeno, da ne bi slučajno koga zavedle tvoje besede...
Masivno paralelni računalniki so po svoji moči ekvivalentni običajnemu, povsem serijskemu Turingovemu stroju, saj je vsak paralelni program vedno mogoče pretvoriti v serijskega. Z drugimi besedami, izračunati ne morejo prav ničesar več - dosegljiva jim ni nobena dodatna resnica - kot to velja za serijske računalnike. Church-Turingova teza stoji trdno na svojih nogah že več kot pol stoletja in nič ne kaže, da bi jo v prihodnje kaj izpodbilo (kdor je slišal za hiperračunalnike: najboljša fizika, ki jo imamo, govori o tem, da jih ni mogoče realizirati in zato ostajajo le plod naših sanj - računanje preko Turinga torej ni mogoče).
Mi nismo turingov stroj, mi smo le njegov približek in tako lahko uganemo tut kakšno resnico, katere se ne da zračunat - sposobni smo operirat s protislovji.
Operiranje s protislovji nikakor ni v nasprotju s tem, da smo Turingov stroj (z omejenim spominom). Ni namreč videti, da bi bilo vsaj v principu kaj hudo težko napisati program, ki operira s protislovnimi trditvami (npr. v predikatnem ali izjavnem računu) in sicer tako, da omeji sklepanje na lokalne množice trditev, uporablja kak drugačen formalni sistem ali pa preprosto 'ugiba' resnice in jih dodaja v svojo malo bazo podatkov...
Ko smo že pri tem, logika, ki jo uporabljajo naši možgani je mnogo bližje Bayesovi verjetnostni logiki z nekaj dodatnimi hevristikami in tweaki, kot pa običajni predikatni logiki, ki smo je vajeni iz matematike.
V zvezi s Penrosom in njegovimi zmotami pa toplo priporočam naslednji protistrup: http://www.scottaaronson.com/democritus...
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
_Enterprise_ ::
Enterprise: Močno dvomim, da se da AI narediti samo na podlagi natural processing parsing/learning. Zakaj, sem ti že ene parkrat razložil, ampak dopuščam možnost, da se motim. Na kratko: jezik je samo orodje in jaz mislim, da ko naši možgani kalkulirajo, to ne delajo "besedno."NLP del je samo del, ki ga mora AI nujno imeti, če hočeš omogočit velik dotok znanja. in hočeš, ker drugače to ni AI, ampak navaden program. naši možgani ogromno kalkulirajo, kar pa se da efektivno simulirat z zelo majhno računsko močjo. naše mišljenje se da razstavit na najmanjše možne logične operacije (if A, then B itd), ki so smešno računsko nezahtevni. poglej malo programe danes, vsi simulirajo del človeškega mišljenja, a se uporabljajo ker so pri tem precej hitrejši in za poganjanje ne rabiš procesorske farme. to je osnova informatike, vsak problem, s katerim se človek sooči in v katerem mora delat odločitve, se da s parimi vrsticami kode simulirat.
in da simuliraš celotno človeško mišljenje, pač ne rabiš samo parih vrstic, ampak nekej več, predvsem pa rabiš ogromno podatkov in te pač dobiš z information extractionom.
gardener ::
@Jverne
Ok, pa poglejmo na hitro, kje stoji nekaj glavnih igralcev:
Eliezer Yudkowsky: What I Think If Not Why/
Robin Hanson, ekonomist z ozadjem fizika in AI raziskovalca, se z njim ne strinja v tem, da je lokalni hard-takeoff kaj posebej verjeten, poleg tega meni, da je Friendly AI projekt praktično neizvedljiv v smislu, da ni mogoče dokazljivo omejiti AI sistema, da ostane v območju v katerem sledi določenim vrednotam, ki smo jih vanj vgradili na samem začetku. Na svojem blogu je pred kratkim zapisal sledeče:
"On the other hand, I think it pretty likely that growth in the world economy will speed up greatly and suddenly, that increasing intelligence in creatures will contribute to that growth, and that most future intelligence will be machine-based. I also think it inevitable that uncontrolled evolution in a competitive world leads to future creatures with values different from ours, inducing behavior we dislike. So in this sense I see a fast takeoff to unfriendly AI as likely."
Uničenje večine tega, kar štejemo za dobro, se mu torej zdi precej verjetno in proti temu naj ne bi mogli narediti skoraj ničesar.
Mnogo bližje mu je tudi uploadanje kot način za dosego strojne inteligence, za razliko od Yudkowskega, Goertzla in drugih, ki vidijo v možganih bolj kot ne le inspiracijo za design AI sistemov.
Več o njegovih in Yudkowskyevih pogledih si lahko prebereš v temle zaporedju člankov (toplo priporočam):
The Hanson-Yudkowsky AI-Foom Debate
Mimogrede, Kurzweil stoji tule nekje vmes: podpira idejo, da bi bilo dobro slediti zasnovi naših možganov, pri čemer pa bi pozabili na njihove nizko-nivojske podrobnosti implementacije in se osredotočili na samo funkcionalnost posameznih delov (vizualnega, avditornega korteksa, hipokampusa itd.), ki jih povezali skupaj v delujoč sistem.
Ben Goertzel posveča precej pozornosti problemu prijaznosti umetne inteligence (sicer ne toliko kot Yudkowsky, pa vendarle mnogo več od večine AGI designerjev), njegov pristop pa se razlikuje od Yudkowskyeve Friendly AI v tem, da želi doseči večje razumevanje inteligence - in tako tudi razrešiti vprašanje, kako narediti etično/friendly AI - s pomočjo poskusov na delujočih AI sistemih, medtem ko E.Y. ne vidi praktično nobene vrednosti v tem in poleg tega meni, da je takšna pot celo precej nevarna. Goertzel po drugi strani trdi, da je tveganje sprejemljivo, saj obstaja le sila majhna verjetnost za nepredvideni hard-takeoff sistemov, ki so daleč pod nivojem človeške inteligence. Podobno kot Hanson tudi on meni, da je Friendly AI problem neizvedljivo težak, zaradi česar usmerja svoje moči v bolj pragmatični smeri - sprva k izgradnji sistemov s približno otroškim razumevanjem morale, ki naj bi se je naučili podobno kot naši otroci tekom socializacije, nato pa... težko reči, odvisno od rezultatov prve faze.
Za občutek o drugih razlikah med njima najbolje, da si prebereš kar zadnji članek na njegovem blogu, čeprav nisem prepričan, koliko boš kaj odnesel od tega, ker je za dobro razumevanje tule potrebno poznati kup pozicij, ki zadevajo sam pogled na inteligenco, (meta)etiko in razna epistemološka stališča...
Ray Kurzweil: svoje čase del SIAI skupine (eden izmed direktorjev Singularity instituta, če me spomin ne vara), vendar težko reči, kolikšen del njegove vizije se prekriva z Yudkowskyevo, če se omejimo le na etična vprašanja povezana z AI - glede (dvojno)eksponentnih krivulj tehnološko-znanstvenega napredka in ostalih stvari je jasno, da se njuna pogleda v mnogočem razlikujeta.
Pred davnimi časi je na SL4 poslal odgovor na Yudkowskyevo kritiko, kjer med drugim pravi sledeče:
"I am familiar with Eliezer's efforts at defining and articulating ways that we can promote what he calls "friendly AI," and I applaud his concern and efforts in this direction. By itself, I don't believe that such efforts are sufficient, and Eliezer would probably agree with this. I don't think that we have enough knowledge today to define a reliable strategy to assuring that AI (or other advanced technologies) will remain "friendly," but the dialogue on how to achieve this is certainly worthwhile and not premature."
Vir: SL4
V splošnem Kurzweil ne namenja kaj prida pozornosti (un)Friendly AI tematiki in usmerjanju eksplozije inteligence v pozitivni smeri, temveč se giblje bolj v krogih pospešujočega napredka, ki bo z visoko verjetnostjo pripeljal do svetle prihodnosti, tako kot so stvari, v njegovem pogledu, potekale tudi doslej, le z mnogo manjšo hitrostjo. Kot sem že omenil, je njegov priljubljen pristop k AI problemu modeliranje možganov in takšna pot naj bi tudi močno zmanjšala tveganje za unFriendly AI, zaradi česar si s tem ni potrebno tako zelo beliti glave... or so it would seem.
Nick Bostrom, avtor članka Ethical Issues in Advanced Artificial Intelligence že v uvodu zapiše:
"Since the superintelligence may become unstoppably powerful because of its intellectual superiority and the technologies it could develop, it is crucial that it be provided with human-friendly motivations."
Nedavno tega je tudi omenil, da slabo zasnovana AI predstavlja največji delež poznanih eksistenčnih tveganj v tem stoletju, s čimer je naredil velik korak v smeri Yudkowskyevih stališč, čeprav glede specifičnih tez se njuni mnenji najbrž nekoliko razlikujeta. Svoje čase je na primer Bostrom zagovarjal FAI design v obliki Oraklja, t.j. "sistema, ki bi sedel nekje v kotu in odgovarjal na naša vprašanja", kar pa po Yudkowskyevem mnenju ne razreši ključnih etičnih problemov povezanih z AI...
Kaj dosti več je tule težko reči, ker Bostrom eksplicitno teh stvari ne obravnava (vsaj ne da bi vedel), mogoče je edino povleči določene sklepe na osnovi tega, da Future of Humanity Institute (katerega direktor je Bostrom) podpira bloga Less Wrong in Overcoming Bias, kjer je glavno vlogo igral Yudkowsky, poleg tega se Bostrom ukvarja s problemom negotovosti na področju etike, kjer je predlagal neko idejo, ki je tesno povezana z Yudkowskyevo Coherent Extrapolated Volition itd.
Lahko bi napisal še marsikaj - npr. kako nekateri kot je M. Waser sanjarijo o tem, da superinteligenca nujno implicira supermoralnost; kako je precizna samo-izboljšava posledica že samega designa motivacijskega sistema domala vsakega v realnosti delujočega AI sistema, saj morajo biti njegovi cilji sestavljeni iz ogromne množice 'mehkih' omejitev, kar vodi v njihovo visoko stabilnost, kar zagovarja R. Loosemore; kako večina sploh ne razmišlja o tem problemu itd. - ampak upam, da je za začetek to dovolj. Že tako je precej težko takole na kratko opisati pozicije te peščice posameznikov in pri tem ne zagrešiti hujših napak.
Gre za veliko debato, ki se razteza preko mnogih področij znanosti, matematike in filozofije in komur se zdi dovolj pomembna, ali pa ga preprosto dovolj zanima, da se drzne spustiti v to močvirje, predlagam, da gre sam skozi argumente in ideje v razširjeni obliki in pozabi na grobe povzetke, ki so le blede karikature kompleksnih prepričanj posameznih igralcev.
a je kje kak quick summary kateri kekci podpirajo kero metodo? Ne da se mi it skozi 116 strani, da zvem kdo kaj podpira
Ok, pa poglejmo na hitro, kje stoji nekaj glavnih igralcev:
Eliezer Yudkowsky: What I Think If Not Why/
Robin Hanson, ekonomist z ozadjem fizika in AI raziskovalca, se z njim ne strinja v tem, da je lokalni hard-takeoff kaj posebej verjeten, poleg tega meni, da je Friendly AI projekt praktično neizvedljiv v smislu, da ni mogoče dokazljivo omejiti AI sistema, da ostane v območju v katerem sledi določenim vrednotam, ki smo jih vanj vgradili na samem začetku. Na svojem blogu je pred kratkim zapisal sledeče:
"On the other hand, I think it pretty likely that growth in the world economy will speed up greatly and suddenly, that increasing intelligence in creatures will contribute to that growth, and that most future intelligence will be machine-based. I also think it inevitable that uncontrolled evolution in a competitive world leads to future creatures with values different from ours, inducing behavior we dislike. So in this sense I see a fast takeoff to unfriendly AI as likely."
Uničenje večine tega, kar štejemo za dobro, se mu torej zdi precej verjetno in proti temu naj ne bi mogli narediti skoraj ničesar.
Mnogo bližje mu je tudi uploadanje kot način za dosego strojne inteligence, za razliko od Yudkowskega, Goertzla in drugih, ki vidijo v možganih bolj kot ne le inspiracijo za design AI sistemov.
Več o njegovih in Yudkowskyevih pogledih si lahko prebereš v temle zaporedju člankov (toplo priporočam):
The Hanson-Yudkowsky AI-Foom Debate
Mimogrede, Kurzweil stoji tule nekje vmes: podpira idejo, da bi bilo dobro slediti zasnovi naših možganov, pri čemer pa bi pozabili na njihove nizko-nivojske podrobnosti implementacije in se osredotočili na samo funkcionalnost posameznih delov (vizualnega, avditornega korteksa, hipokampusa itd.), ki jih povezali skupaj v delujoč sistem.
Ben Goertzel posveča precej pozornosti problemu prijaznosti umetne inteligence (sicer ne toliko kot Yudkowsky, pa vendarle mnogo več od večine AGI designerjev), njegov pristop pa se razlikuje od Yudkowskyeve Friendly AI v tem, da želi doseči večje razumevanje inteligence - in tako tudi razrešiti vprašanje, kako narediti etično/friendly AI - s pomočjo poskusov na delujočih AI sistemih, medtem ko E.Y. ne vidi praktično nobene vrednosti v tem in poleg tega meni, da je takšna pot celo precej nevarna. Goertzel po drugi strani trdi, da je tveganje sprejemljivo, saj obstaja le sila majhna verjetnost za nepredvideni hard-takeoff sistemov, ki so daleč pod nivojem človeške inteligence. Podobno kot Hanson tudi on meni, da je Friendly AI problem neizvedljivo težak, zaradi česar usmerja svoje moči v bolj pragmatični smeri - sprva k izgradnji sistemov s približno otroškim razumevanjem morale, ki naj bi se je naučili podobno kot naši otroci tekom socializacije, nato pa... težko reči, odvisno od rezultatov prve faze.
Za občutek o drugih razlikah med njima najbolje, da si prebereš kar zadnji članek na njegovem blogu, čeprav nisem prepričan, koliko boš kaj odnesel od tega, ker je za dobro razumevanje tule potrebno poznati kup pozicij, ki zadevajo sam pogled na inteligenco, (meta)etiko in razna epistemološka stališča...
Ray Kurzweil: svoje čase del SIAI skupine (eden izmed direktorjev Singularity instituta, če me spomin ne vara), vendar težko reči, kolikšen del njegove vizije se prekriva z Yudkowskyevo, če se omejimo le na etična vprašanja povezana z AI - glede (dvojno)eksponentnih krivulj tehnološko-znanstvenega napredka in ostalih stvari je jasno, da se njuna pogleda v mnogočem razlikujeta.
Pred davnimi časi je na SL4 poslal odgovor na Yudkowskyevo kritiko, kjer med drugim pravi sledeče:
"I am familiar with Eliezer's efforts at defining and articulating ways that we can promote what he calls "friendly AI," and I applaud his concern and efforts in this direction. By itself, I don't believe that such efforts are sufficient, and Eliezer would probably agree with this. I don't think that we have enough knowledge today to define a reliable strategy to assuring that AI (or other advanced technologies) will remain "friendly," but the dialogue on how to achieve this is certainly worthwhile and not premature."
Vir: SL4
V splošnem Kurzweil ne namenja kaj prida pozornosti (un)Friendly AI tematiki in usmerjanju eksplozije inteligence v pozitivni smeri, temveč se giblje bolj v krogih pospešujočega napredka, ki bo z visoko verjetnostjo pripeljal do svetle prihodnosti, tako kot so stvari, v njegovem pogledu, potekale tudi doslej, le z mnogo manjšo hitrostjo. Kot sem že omenil, je njegov priljubljen pristop k AI problemu modeliranje možganov in takšna pot naj bi tudi močno zmanjšala tveganje za unFriendly AI, zaradi česar si s tem ni potrebno tako zelo beliti glave... or so it would seem.
Nick Bostrom, avtor članka Ethical Issues in Advanced Artificial Intelligence že v uvodu zapiše:
"Since the superintelligence may become unstoppably powerful because of its intellectual superiority and the technologies it could develop, it is crucial that it be provided with human-friendly motivations."
Nedavno tega je tudi omenil, da slabo zasnovana AI predstavlja največji delež poznanih eksistenčnih tveganj v tem stoletju, s čimer je naredil velik korak v smeri Yudkowskyevih stališč, čeprav glede specifičnih tez se njuni mnenji najbrž nekoliko razlikujeta. Svoje čase je na primer Bostrom zagovarjal FAI design v obliki Oraklja, t.j. "sistema, ki bi sedel nekje v kotu in odgovarjal na naša vprašanja", kar pa po Yudkowskyevem mnenju ne razreši ključnih etičnih problemov povezanih z AI...
Kaj dosti več je tule težko reči, ker Bostrom eksplicitno teh stvari ne obravnava (vsaj ne da bi vedel), mogoče je edino povleči določene sklepe na osnovi tega, da Future of Humanity Institute (katerega direktor je Bostrom) podpira bloga Less Wrong in Overcoming Bias, kjer je glavno vlogo igral Yudkowsky, poleg tega se Bostrom ukvarja s problemom negotovosti na področju etike, kjer je predlagal neko idejo, ki je tesno povezana z Yudkowskyevo Coherent Extrapolated Volition itd.
Lahko bi napisal še marsikaj - npr. kako nekateri kot je M. Waser sanjarijo o tem, da superinteligenca nujno implicira supermoralnost; kako je precizna samo-izboljšava posledica že samega designa motivacijskega sistema domala vsakega v realnosti delujočega AI sistema, saj morajo biti njegovi cilji sestavljeni iz ogromne množice 'mehkih' omejitev, kar vodi v njihovo visoko stabilnost, kar zagovarja R. Loosemore; kako večina sploh ne razmišlja o tem problemu itd. - ampak upam, da je za začetek to dovolj. Že tako je precej težko takole na kratko opisati pozicije te peščice posameznikov in pri tem ne zagrešiti hujših napak.
Gre za veliko debato, ki se razteza preko mnogih področij znanosti, matematike in filozofije in komur se zdi dovolj pomembna, ali pa ga preprosto dovolj zanima, da se drzne spustiti v to močvirje, predlagam, da gre sam skozi argumente in ideje v razširjeni obliki in pozabi na grobe povzetke, ki so le blede karikature kompleksnih prepričanj posameznih igralcev.
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
gardener ::
@Thomas:
Random number generator je halting oracle? Kar malo dvomim, bi me pa zanimalo, kako je mogoče rešiti halting problem na takšen način, če je temu res tako.
Kakorkoli že, v vsakem primeru nam to kaj dosti ne pomaga, ker ni videti, da bi kaj takšnega sploh obstajalo (kvantna mehanika ni protiprimer, ker bi to pomenilo, da kvantni računalnik (QC) lahko reši kak problem, ki ga TM ne more, kar pa ne drži - obstaja redukcija QC na TM, sicer po vsej verjetnosti ni učinkovita/polinomska, ampak to je v tem kontekstu nepomembno).
TM + random generator > TM
Random number generator je halting oracle? Kar malo dvomim, bi me pa zanimalo, kako je mogoče rešiti halting problem na takšen način, če je temu res tako.
Kakorkoli že, v vsakem primeru nam to kaj dosti ne pomaga, ker ni videti, da bi kaj takšnega sploh obstajalo (kvantna mehanika ni protiprimer, ker bi to pomenilo, da kvantni računalnik (QC) lahko reši kak problem, ki ga TM ne more, kar pa ne drži - obstaja redukcija QC na TM, sicer po vsej verjetnosti ni učinkovita/polinomska, ampak to je v tem kontekstu nepomembno).
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
gardener ::
@Jst
Hehe, saj nista otroka. ;) Ben je drugače eksplicitno napisal na svojem blogu sledeče: "Eliezer, Anna Salamon and Michael Vassar (all of whom I'm quite friendly with and know F2F)" in mimogrede, zgodovina njune interakcije je že kar dolga, saj sta imela mnogo debat na SL4 v več kot 10 letni zgodovini mailing liste, kjer je prepad med njunima perspektivama mogoče videti še danes...
Kot prvo, kaj prida denarja mu ne prinašajo, ker stalno tarna o pomanjkanju investicij v njegov in druge AGI projekte, in kot drugo, kolikor mi je znano OpenCog/Novamente po Yudkowskyevem prepričanju nima kaj prida možnosti za 'uspeh', tako da tudi iz te strani ni mogoče pričakovati kaj dosti foušije. ;)
You sure know his mind... :-P
(Tudi če bi to držalo, čemu omenjati? Misliš, da mu misel na njegovo superiornost zamegljuje pogled na realnost? Maybe, ampak kako? Bolje kritizirati ideje, kot pa psihologijo oseb, ki stojijo za njimi.)
Na kateri strani teme si pisal o CEV?
Iz spomina, Goertzlov glavni protiargument CEV je njegova tehnična neizvedljivost, s čimer bi se celo strinjal - vkolikor je govora o AI sistemih, kakršne Ben načrtuje kratkoročno (t.j. v grobem human-or-sub-human-level AI) - dolgoročno gledano pa podcenjuje moč inteligence (malce dvomim), ali pa se mu zdi izziv designa takšnega sistema prevelik (verjetneje). Ob slednjem lahko rečem le, da kake boljše alternative ni na vidiku in tako pač moramo stisniti zobe, napeti možgane in poiskati neko pot iz nezavidljivega položaja (npr. razvoj IA tehnologij, s katerimi bi FAI raziskovalci zaradi povečane inteligence imeli lažjo nalogo).
Ben ne mara Yudowskega od enega predavanja, kjer je bilo 5 govorcev, če se ne motim, za eno mizo, med njimi Ben in Yudowski in tam sta se skregala.
Hehe, saj nista otroka. ;) Ben je drugače eksplicitno napisal na svojem blogu sledeče: "Eliezer, Anna Salamon and Michael Vassar (all of whom I'm quite friendly with and know F2F)" in mimogrede, zgodovina njune interakcije je že kar dolga, saj sta imela mnogo debat na SL4 v več kot 10 letni zgodovini mailing liste, kjer je prepad med njunima perspektivama mogoče videti še danes...
Pomoje so mu pa še fouš [Goertzlu], ker ima zelo dobro delujoč model iz katerega ven vleče razne bolj Narrow AI projekte, ki mu nosijo denar.
Kot prvo, kaj prida denarja mu ne prinašajo, ker stalno tarna o pomanjkanju investicij v njegov in druge AGI projekte, in kot drugo, kolikor mi je znano OpenCog/Novamente po Yudkowskyevem prepričanju nima kaj prida možnosti za 'uspeh', tako da tudi iz te strani ni mogoče pričakovati kaj dosti foušije. ;)
Yudowski se ima pa za nekega ultra racionalnega boga...
You sure know his mind... :-P
(Tudi če bi to držalo, čemu omenjati? Misliš, da mu misel na njegovo superiornost zamegljuje pogled na realnost? Maybe, ampak kako? Bolje kritizirati ideje, kot pa psihologijo oseb, ki stojijo za njimi.)
Ben je dobro povedal, kar si misli o CEV in ima podobno mnenje, kot sem ga napisal jaz prvič, ko je bil omenjen v tej temi.
Na kateri strani teme si pisal o CEV?
Iz spomina, Goertzlov glavni protiargument CEV je njegova tehnična neizvedljivost, s čimer bi se celo strinjal - vkolikor je govora o AI sistemih, kakršne Ben načrtuje kratkoročno (t.j. v grobem human-or-sub-human-level AI) - dolgoročno gledano pa podcenjuje moč inteligence (malce dvomim), ali pa se mu zdi izziv designa takšnega sistema prevelik (verjetneje). Ob slednjem lahko rečem le, da kake boljše alternative ni na vidiku in tako pač moramo stisniti zobe, napeti možgane in poiskati neko pot iz nezavidljivega položaja (npr. razvoj IA tehnologij, s katerimi bi FAI raziskovalci zaradi povečane inteligence imeli lažjo nalogo).
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
Thomas ::
Random number generator je halting oracle?
Haltinga ravno ne rešiš. Ampak precej večji TM rabiš, da simuliraš nek TM+random.
Man muss immer generalisieren - Carl Jacobi
gardener ::
Haltinga ravno ne rešiš. Ampak precej večji TM rabiš, da simuliraš nek TM+random.
Natančneje, TM sploh ne more generirati naključnih števil, kar sledi že iz same predpostavke, da imamo v rokah truly random generator. Če bi jih lahko generiral, bi namreč ne bila povsem naključna: takšen TM bi bil nujno krajši od neskončnega zaporedja števil in bi s tem imel manjšo kompleksnost Kolmogorova od slednjega in s tem zaporedje (po definiciji) ni več povsem naključno - v njem smo očitno opazili nek vzorec, ki ga uteleša takšen program.
Mimogrede, zanimivejša vprašanja od (ne)izračunljivosti problemov se pojavljajo v teoriji računske kompleksnosti, kjer se tematika giblje okoli učinkovite izračunljivosti in je s tem mnogo bližje sami praksi. Žal pa jih je velik del še brez odgovorov, npr. P!=NP, P=BPP in BPP!=BQP. Koliko je ta teorija relevantna za AI... na prvi pogled težko reči, vendar je znano, da nekateri AI podproblemi spadajo v razred NP-complete problemov in s tem zanje *v splošnem* skoraj zagotovo ne obstaja učinkovit algoritem (razen če P=NP), kar pa po drugi plati ne izključuje algoritmov, ki imajo običajno - za probleme, ki se pojavljajo v praksi - polinomski čas izvajanja (tako kot to velja npr. za Dantzigov simpleksni algoritem). Just (a)musing (myself a bit)... :)
@jverne:
Yer wellcome. ;)
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
gardener ::
(Alright then, ker imam ravno čas, bi še malo nadaljeval, če pa koga moti, naj prosim pove (če bi imeli tule implementirano gnezdenje sub-threadov, ne bi izgledalo kot grozno dolg monolog, poleg tega bi bilo lažje voditi dialoge, oh well...))
@Thomas
Morda kak hint, kaj je tista skrivnost, ki se skriva v ozadju inteligence? ;)
Morda na njegovi osnovi spremenim svojo skromno oceno, da so Goertzelove možnosti nekje okoli 1:1000 ter tvoje za kak velikostni red ali dva manjše. Samo-izboljšujoči evolucijski algoritem v stilu Goedlovega stroja poznam - še kaj drugega ali morda kakšna podrobnost pri slednjem?
@Sago:
Pošteno vprašanje, na katerega bi recimo Goertzel odgovoril nekako v stilu, da je bil preoptimističen glede finančnih obetov in obilja drugih resursov, ki jih potrebuje njegov AGI projekt. Z dovolj denarja in (posledično) dobrimi programerji, bi bili najbrž že skoraj na cilju, po mojem ugibanju njegovega mnenja.
Kakšen pa bi bil moj odgovor? Planning fallacy (+ še kaka druga beštija) ... kar pa nikakor ne pomeni, da bomo *vedno* desetletje oddaljeni od cilja. Približujemo se vsekakor mu, vprašanje pa je, s kolikšno hitrostjo.
@Thomas:
Enako, vendar ga najprej usmerim v Friendly AI in ne v "zmeči skupaj karkoli deluje, da dobiš AGI" vode - whatever-works gospode imamo zaenkrat dovolj. Potem naj se sam odloči in pretehta, katera pot je tista prava: teoretična meditacija a la Yudkowsky ali prijazna inteligenca preko praktičnih AGI designov a la Goertzel, ali pa seveda kaj drugega. After all, it's not the only game in town.
Zanimivo je, da dogajanje okoli SIAI kaže ravno v nasprotni smeri: št. podpornikov in osebja se zvišuje, zaživel je tudi Visiting Fellows program, s predstavitvami člankov se počasi prodira v akademske vode itd. Vse uspeva in živi, a nekateri napovedujejo zimo - na kakšni osnovi, I wonder!?
Upam, da se zavedaš, da s tem niti približno nisi razrešil FAI dileme. Če pokažem le na najočitnejšo luknjo, celo dobronamerni motivi imajo zlahka uničujoče stranske posledice:
"One might imagine that AI systems with harmless goals will be harmless. This paper instead shows that intelligent systems will need to be carefully designed to prevent them from behaving in harmful ways."
Preostali del abstracta in celoten članek: The Basic AI Drives
@Thomas
1/4 verjetnosti za uspeh v naslednjih 10 letih mu kljukec Thomas da [Goertzlu]. Potem premisli in mu da še več, saj ta luni (Thomas) tudi misli, da mu je njemu samemu bistvo cele "intelligence sage" prezentno...
Morda kak hint, kaj je tista skrivnost, ki se skriva v ozadju inteligence? ;)
Morda na njegovi osnovi spremenim svojo skromno oceno, da so Goertzelove možnosti nekje okoli 1:1000 ter tvoje za kak velikostni red ali dva manjše. Samo-izboljšujoči evolucijski algoritem v stilu Goedlovega stroja poznam - še kaj drugega ali morda kakšna podrobnost pri slednjem?
@Sago:
Zakaj smo pa vedno "le še 10 let" stran? :)
Pošteno vprašanje, na katerega bi recimo Goertzel odgovoril nekako v stilu, da je bil preoptimističen glede finančnih obetov in obilja drugih resursov, ki jih potrebuje njegov AGI projekt. Z dovolj denarja in (posledično) dobrimi programerji, bi bili najbrž že skoraj na cilju, po mojem ugibanju njegovega mnenja.
Kakšen pa bi bil moj odgovor? Planning fallacy (+ še kaka druga beštija) ... kar pa nikakor ne pomeni, da bomo *vedno* desetletje oddaljeni od cilja. Približujemo se vsekakor mu, vprašanje pa je, s kolikšno hitrostjo.
@Thomas:
Jaz direktno vzpodbujam vsakogar z več kot eno promilo možnosti, naj proba, kakor misli sam, da je najbolj prav.
Enako, vendar ga najprej usmerim v Friendly AI in ne v "zmeči skupaj karkoli deluje, da dobiš AGI" vode - whatever-works gospode imamo zaenkrat dovolj. Potem naj se sam odloči in pretehta, katera pot je tista prava: teoretična meditacija a la Yudkowsky ali prijazna inteligenca preko praktičnih AGI designov a la Goertzel, ali pa seveda kaj drugega. After all, it's not the only game in town.
[Yudkowskyev] SIAI je na dobri poti, da potone v pozabo.
Zanimivo je, da dogajanje okoli SIAI kaže ravno v nasprotni smeri: št. podpornikov in osebja se zvišuje, zaživel je tudi Visiting Fellows program, s predstavitvami člankov se počasi prodira v akademske vode itd. Vse uspeva in živi, a nekateri napovedujejo zimo - na kakšni osnovi, I wonder!?
Ne, mene UFAI v določenih pogojih ni čisto nič strah. ... Najbolj banalen nagon ali motiv, si povsem podredi še tako veliko inteligenco, brez težav. Vrhovni motiv je lahko scary, inteligenca sama pa ne.
Upam, da se zavedaš, da s tem niti približno nisi razrešil FAI dileme. Če pokažem le na najočitnejšo luknjo, celo dobronamerni motivi imajo zlahka uničujoče stranske posledice:
"One might imagine that AI systems with harmless goals will be harmless. This paper instead shows that intelligent systems will need to be carefully designed to prevent them from behaving in harmful ways."
Preostali del abstracta in celoten članek: The Basic AI Drives
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
Thomas ::
Morda kak hint, kaj je tista skrivnost, ki se skriva v ozadju inteligence? ;)
Si enega potem dal kar sam:
Samo-izboljšujoči evolucijski algoritem v stilu Goedlovega stroja poznam - še kaj drugega ali morda kakšna podrobnost pri slednjem?
Ne mislim, da je ravno to in tako optimum, ampak a mar misliš, da ne bi delovalo?
Kar se tiče slowing downa pa mislim podobno kot:
http://lesswrong.com/lw/304/what_i_woul...
Man muss immer generalisieren - Carl Jacobi
_Enterprise_ ::
to s samoizboljšujočim algoritmom bi mogoče šlo, ampak bi rabil postavit res zahtevne in pametne teste, pa tudi v takem primeru bi rabil precej kalkulacij, da prideš do ene konkretne stopnje razvitosti.
drugače pa pač narediš preprost AI, mu vneseš ogromno znanja in on potem sam odkriva take algoritme. v vsakem primeru mora dober AI imet ogromno znanja in če greš nekaj preprostega na podlagi testov z algoritmi izboljševat v tak AI, to pomeni, da AI vso to znanje s kalkulacijami generira. in ker ima človeštvo ogromno znanja, si tega ne znam predstavljat. pa če imaš še najboljše evolucijske algoritme, vedno obstaja pametnejša rešitev kot brute-force pristop.
drugače pa pač narediš preprost AI, mu vneseš ogromno znanja in on potem sam odkriva take algoritme. v vsakem primeru mora dober AI imet ogromno znanja in če greš nekaj preprostega na podlagi testov z algoritmi izboljševat v tak AI, to pomeni, da AI vso to znanje s kalkulacijami generira. in ker ima človeštvo ogromno znanja, si tega ne znam predstavljat. pa če imaš še najboljše evolucijske algoritme, vedno obstaja pametnejša rešitev kot brute-force pristop.
WarpedGone ::
Tale samoizbolšujoč algoritem trpi za isto boleznijo kot ideja, da je zunaj našega vesolja še eno drugo. Osnovni problem je postavljen en nivo višje in s tem kao rešen. A žal le navidezno.
Kdo bo pa spesnil kriterijsko funkcijo kaj je bolje in kaj slabše? Katera inteligenca je boljša od druge? Kakorkoli se tega lotiš, boš dobil rezultat ki je superduperdober glede na postavljene začetne kriterije. Mal drugačni kriteriji/okoliščine in imaš artifišl idijota.
Zato bomo najprej skuhal le Narrow AI. Splošna AI bo pa kvečjemu v obliki superduper hitre mašine, kjer bo za rešitev posameznega problema treba najprej nakuhat primerno nadgradnjo.
Karkoli več, zahteva povsem avtonomen avtomat, ki avtonomno sprejema input iz našega sveta in se avtonomno odloča kaj upoštevat, kaj ignorirat in k čemu stremet.
To je pa objektivna definicia sentienta.
Kdo bo pa spesnil kriterijsko funkcijo kaj je bolje in kaj slabše? Katera inteligenca je boljša od druge? Kakorkoli se tega lotiš, boš dobil rezultat ki je superduperdober glede na postavljene začetne kriterije. Mal drugačni kriteriji/okoliščine in imaš artifišl idijota.
Zato bomo najprej skuhal le Narrow AI. Splošna AI bo pa kvečjemu v obliki superduper hitre mašine, kjer bo za rešitev posameznega problema treba najprej nakuhat primerno nadgradnjo.
Karkoli več, zahteva povsem avtonomen avtomat, ki avtonomno sprejema input iz našega sveta in se avtonomno odloča kaj upoštevat, kaj ignorirat in k čemu stremet.
To je pa objektivna definicia sentienta.
Zbogom in hvala za vse ribe
gardener ::
@Thomas
Težava je v tem, da ideja sploh nima dovolj mesa da bi bilo mogoče podati neko mnenje, podobno (a ne tako drastično) kot če bi nekdo rekel, da bo kot osnovo za svoj AI design vzel von Neumannovo računalniško arhitekturo. Seveda je na njej mogoče implementirati AI, vendar praktično vsi problemi pri tem ležijo še pred teboj. Enako velja za evolucijski Goedlov stroj.
Te stvari so precej tricky in odkrito rečeno, neke povsem zadovoljive strategije tule še ne poznam.
Vsekakor bi bilo dobro imeti ob Yudkowskyevi FAI še plan B (in C ter še kakega), ter nikakor ne zavirati razvoja AI tehnik kompatibilnih z zahtevami FAI designa, čeprav tule je vprašljiva javna dostopnost tega znanja, saj lahko omogoči komu razvoj uFAI...
Po drugi strani imamo že danes nekaj ad-hoc pristopov k AGI problemu, v katerih sam ne vidim neke vrednosti, saj niti zdaleč ne vodijo v smeri kakorkoli prijazne AI. Bolje bi bilo, če bi ljudje na teh projektih svoj trud preusmerili kam drugam.
Poleg tega ni težko videti, da svet, v katerem se stvari zasučejo na takšen način, da imamo pred seboj tekmo s ciljem razviti superinteligenco, postane mnogo nevarnejši. Kaj narediti, da do tega ne pride... težko reči, po vsej verjetnosti nič kaj dosti.
O good guys/bad guys dihotomiji: ljudi z dobrimi nameni vsaj v tem okolišu ni tako malo, vendar če ne vedo kaj točno počnejo - in takšnih ne manjka - so njihove možnosti za stvaritev AI s pozitivnim učinkom približno enake tisti pri bad guysih. And so on and on...
Gre torej za igro mnogih faktorjev, ki ji seveda sledi primerno zapletena debata in v končni fazi vprašanje "where do I fit in?". Še kaj o tem bom raje napisal v naslednjih dneh - ali pa se dotaknemo te teme na srečanju v petek, ker zdajle sem mi že pošteno zeha.
Ne mislim, da je ravno to in tako optimum, ampak a mar misliš, da ne bi delovalo?
Težava je v tem, da ideja sploh nima dovolj mesa da bi bilo mogoče podati neko mnenje, podobno (a ne tako drastično) kot če bi nekdo rekel, da bo kot osnovo za svoj AI design vzel von Neumannovo računalniško arhitekturo. Seveda je na njej mogoče implementirati AI, vendar praktično vsi problemi pri tem ležijo še pred teboj. Enako velja za evolucijski Goedlov stroj.
Kar se tiče slowing downa...
Te stvari so precej tricky in odkrito rečeno, neke povsem zadovoljive strategije tule še ne poznam.
Vsekakor bi bilo dobro imeti ob Yudkowskyevi FAI še plan B (in C ter še kakega), ter nikakor ne zavirati razvoja AI tehnik kompatibilnih z zahtevami FAI designa, čeprav tule je vprašljiva javna dostopnost tega znanja, saj lahko omogoči komu razvoj uFAI...
Po drugi strani imamo že danes nekaj ad-hoc pristopov k AGI problemu, v katerih sam ne vidim neke vrednosti, saj niti zdaleč ne vodijo v smeri kakorkoli prijazne AI. Bolje bi bilo, če bi ljudje na teh projektih svoj trud preusmerili kam drugam.
Poleg tega ni težko videti, da svet, v katerem se stvari zasučejo na takšen način, da imamo pred seboj tekmo s ciljem razviti superinteligenco, postane mnogo nevarnejši. Kaj narediti, da do tega ne pride... težko reči, po vsej verjetnosti nič kaj dosti.
O good guys/bad guys dihotomiji: ljudi z dobrimi nameni vsaj v tem okolišu ni tako malo, vendar če ne vedo kaj točno počnejo - in takšnih ne manjka - so njihove možnosti za stvaritev AI s pozitivnim učinkom približno enake tisti pri bad guysih. And so on and on...
Gre torej za igro mnogih faktorjev, ki ji seveda sledi primerno zapletena debata in v končni fazi vprašanje "where do I fit in?". Še kaj o tem bom raje napisal v naslednjih dneh - ali pa se dotaknemo te teme na srečanju v petek, ker zdajle sem mi že pošteno zeha.
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
Thomas ::
..................The Singularity Fails to Happen by 2020.................Quick Singularity arrives before 2020
eudaemon..................got a chance..........................................made a wrong turn
J.R.......................but of course.........................................lahko bi preprečili, pa nismo
Thomas....................hypemaker exposed.....................................the winner
Yudkowsky.................business as usual.....................................can't believe this shit!
J.R. ni iz Dallasa, iz Slovenije je.
Lahko dopolnite s svojim imenom. Naprimer:
XY, škoda / party time!
Man muss immer generalisieren - Carl Jacobi
gardener ::
Pri sebi bi popravil prvi stolpec v "got a small chance" in dodal k zadnjemu obrazložitev, da imamo bolj slabe možnosti za razrešitev vseh (pod)problemov povezanih s Friendly AI tekom naslednjega desetletja, zaradi česar bi Singularnost v tem obdobju najverjetneje imela uničujoče posledice. Thomas bi bil torej "the winner who doomed us all", ampak k sreči ima le zelo slabe možnosti za to. ;)
Ena izmed stvari, ki jih je pri teh ocenah dobro imeti pred očmi, je zelo pogosta iracionalna pretvorba, ki gre nekako takole: "ne vem niti kako bi se lotil AI problema", čemur sledi občutkek izjemne težavnosti --> časovna umestitev pojava prve AI v daljno prihodnost. Kadar nekdo odvrne, da za AI potrebujemo še najmanj 1000 let, gre skoraj gotovo za to napako transformacije občutka v časovno napoved. Slednja seveda je funkcija (med drugim tudi) težavnosti - problem je v preslikavi: "zelo težko" --> "potrebovali bomo stoletja/tisočletja".
Na drugi strani pa imamo ljudi, ki zaradi takšnih in drugačnih razlogov (npr. uspelo jim je najti "the one true answer to AI", ki pa ni nič drugega kot "a mysterious answer to a mysterious question") menijo, da je AI problem dokaj preprost in potemtakem rešljiv v roku peščice let. Če že pustim ob strani njihove zgrešene teorije inteligence, ni težko videti, da so postali plen 'planning fallacy'-ja. Vizualizacija poti, ki vodi do dokončanja projekta, praktično vedno močno podceni potrebni čas za njegovo izvedbo, ker ne upošteva mnogih, težko predvidljivih preprek, ki se običajno pojavijo na njej - in to še posebej velja za AI projekte.
Kaj je dejansko mogoče reči o časovnem intervalu pojava AI?
V grobem, da so negotovosti velike, ter da je zato potrebno razširiti interval zaupanja v obe smeri in ne le v prihodnost, kot to počenjajo nekateri. Zaradi tega tudi sam puščam nekaj verjetnostne gostote v obdobju 2010-2020, čeprav menim, da bomo najbrž potrebovali kako desetletje ali dve več, da stremo AI problem (tam nekje se namreč nahaja vrh zelo položnega hribčka moje funkcije verj. gostote).
(Mimogrede, nezanemarljive možnosti puščam tudi temu, da bom svet zapustil tako kot vsi naši predniki doslej, brez kake Singularnosti, rešitve problema staranja, eksistenčne ali druge globalne katastrofe, ali česa podobno disruptivnega (štejem pa 25 let). Takšen "business as usual" bi seveda me presenetil, vseeno pa ne v nekem izjemnem smislu...).
Ena izmed stvari, ki jih je pri teh ocenah dobro imeti pred očmi, je zelo pogosta iracionalna pretvorba, ki gre nekako takole: "ne vem niti kako bi se lotil AI problema", čemur sledi občutkek izjemne težavnosti --> časovna umestitev pojava prve AI v daljno prihodnost. Kadar nekdo odvrne, da za AI potrebujemo še najmanj 1000 let, gre skoraj gotovo za to napako transformacije občutka v časovno napoved. Slednja seveda je funkcija (med drugim tudi) težavnosti - problem je v preslikavi: "zelo težko" --> "potrebovali bomo stoletja/tisočletja".
Na drugi strani pa imamo ljudi, ki zaradi takšnih in drugačnih razlogov (npr. uspelo jim je najti "the one true answer to AI", ki pa ni nič drugega kot "a mysterious answer to a mysterious question") menijo, da je AI problem dokaj preprost in potemtakem rešljiv v roku peščice let. Če že pustim ob strani njihove zgrešene teorije inteligence, ni težko videti, da so postali plen 'planning fallacy'-ja. Vizualizacija poti, ki vodi do dokončanja projekta, praktično vedno močno podceni potrebni čas za njegovo izvedbo, ker ne upošteva mnogih, težko predvidljivih preprek, ki se običajno pojavijo na njej - in to še posebej velja za AI projekte.
Kaj je dejansko mogoče reči o časovnem intervalu pojava AI?
V grobem, da so negotovosti velike, ter da je zato potrebno razširiti interval zaupanja v obe smeri in ne le v prihodnost, kot to počenjajo nekateri. Zaradi tega tudi sam puščam nekaj verjetnostne gostote v obdobju 2010-2020, čeprav menim, da bomo najbrž potrebovali kako desetletje ali dve več, da stremo AI problem (tam nekje se namreč nahaja vrh zelo položnega hribčka moje funkcije verj. gostote).
(Mimogrede, nezanemarljive možnosti puščam tudi temu, da bom svet zapustil tako kot vsi naši predniki doslej, brez kake Singularnosti, rešitve problema staranja, eksistenčne ali druge globalne katastrofe, ali česa podobno disruptivnega (štejem pa 25 let). Takšen "business as usual" bi seveda me presenetil, vseeno pa ne v nekem izjemnem smislu...).
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
Thomas ::
Zanimivo, kako si prepričan, da nisi ničesar spregledal. Misliti, kako zdaj dolgo nič ne bo, ker sam ne vidiš kaj sploh bi "tisto" lahko bilo - ni ravno oportuno.
Man muss immer generalisieren - Carl Jacobi
gardener ::
Seveda je mogoče, da sem kaj spregledal, ampak kaj naj sploh storim s to možnostjo - kako naj vpliva na moja prepričanja?! Naj se nagnejo v eno ali drugo smer? Tudi če bi jo lahko vključil v svoj model, se ponovno pojavi enako vprašanje, ad infinitum...
Bolje torej pokazati na kaj, kar sem morebiti spregledal, kaj takšnega, nad čemer lahko izvedem update. Odg. na vprašanje, zakaj si tako prepričan v AI pred 2020, bi bil že nekaj temu primernega. Lahko pa tudi sam začnem navajati razloge za svojo nizko oceno možnosti pojava AI pred 2020...
Bolje torej pokazati na kaj, kar sem morebiti spregledal, kaj takšnega, nad čemer lahko izvedem update. Odg. na vprašanje, zakaj si tako prepričan v AI pred 2020, bi bil že nekaj temu primernega. Lahko pa tudi sam začnem navajati razloge za svojo nizko oceno možnosti pojava AI pred 2020...
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
Thomas ::
Ena od stvari, ki si jih spregledal, je ponavadi spregledana.
Če bi Kolumb, ko je na Santi Marii potoval prvič v Ameriko, slišal in verjel, da bo čez dobrega pol tisočletja, 13 km nad njim letela zračna ladja, večja in 100 krat hitrje od njegove, z njegovimi kostmi, na kontinent, kjer bo kmalu pristal, da se tam ugotovi identiteta teh njegovih kosti, ki bodo potem pripeljane nazaj in spet pokopane ... bi od šoka padel overboard.
To se najbrž strinjamo.
Današnji ljudje so že nekoliko navajeni takih ontoloških potresov in za 500 let v prihodnosti pričakujejo praktično karkoli.
Edini safe net je velika časovna oddaljenost takih zadev - in tega se oklepajo ko pijanec plota. The last remaining safe-heaven for the mind, je časovna bariera. Da ne padejo overboard, kot bi padel Kolumb.
To je prvo, se strinjaš glede te zadeve?
Če bi Kolumb, ko je na Santi Marii potoval prvič v Ameriko, slišal in verjel, da bo čez dobrega pol tisočletja, 13 km nad njim letela zračna ladja, večja in 100 krat hitrje od njegove, z njegovimi kostmi, na kontinent, kjer bo kmalu pristal, da se tam ugotovi identiteta teh njegovih kosti, ki bodo potem pripeljane nazaj in spet pokopane ... bi od šoka padel overboard.
To se najbrž strinjamo.
Današnji ljudje so že nekoliko navajeni takih ontoloških potresov in za 500 let v prihodnosti pričakujejo praktično karkoli.
Edini safe net je velika časovna oddaljenost takih zadev - in tega se oklepajo ko pijanec plota. The last remaining safe-heaven for the mind, je časovna bariera. Da ne padejo overboard, kot bi padel Kolumb.
To je prvo, se strinjaš glede te zadeve?
Man muss immer generalisieren - Carl Jacobi
Okapi ::
bi od šoka padel overboard.Niti približno. Ljudje so takrat (in še zdaj) verjeli tudi precej bolj neverjetne stvari, pa ni nihče od šoka padal overboard. In to verjamejo, da se že dogajajo (recimo NLP-ji), ne, da se šele bodo. Prav nihče ne pada čez krov in nihče resen ne napoveduje AI čez 500 let zaradi tega, ker bi se bal možnosti, da bo tu že čez 20 let.
To se najbrž strinjamo.
Stvar je kvečjemu obratna. Od vekomaj verniki prihod mesije (ali konec sveta) napovedujejo preoptimistično, v naslednjih 20-30 letih.
O.
donfilipo ::
Nekako v roku izteka lastnega trajanja, ker se jim zdi bolj ziher kot vstati izmed rožic
In times of Universal Deceit, telling the truth
becomes revolutionary act. Orwell
becomes revolutionary act. Orwell
donfilipo ::
Ampak dobro. Če na drugi strani nismo zlobni Okapi, kaneda:), moram povedati, da smo vsi mi, recimo za Kurzweila pojoči duhovniki, kar se pobožnosti tiče In tudi Thomasa. No, vera ima več obrazov. Pri transhumanizmu, gre vendarle predvsem za poizkuse realnih ugibanj. Nobene povezave z neko eshatologijo. To seveda ne pomeni, da mož ni veliko reči spregledal, ostane pa dejstvo, da jih je veliko predvidel, kar drugi niso upali. No za konkretne napovedi, pa kot rečeno eshatologije in transhumanizma, ni pošteno primerjati.
Da bom konkreten. Brez zelo dobrih narrow AI-jev in zmernega napredka na vseh 'kurzweilovih' področjih (transhumanizma), 1000 let nimamo. Po moje jih ni niti 50. Pomeni ni razvoja kapitalizma po sedanji ruti, brez velikih svetovnih spopadov, ki človeštvo pahnejo nazaj v kameno dobo. Pomeni, da kaj drugega kot optimizem, ali resignacija, ne ostane:)
Da pa se resneje polotim samega direktnega vprašanja, pa bi rad do konca preglodal, še nekaj pozabljenih filozofov in pogledov iz preteklosti. Lažje potem zavoham eventuelen izvor in skriti ubod 'utopije':) Kar pa se paradnih dosežkov iz novic tiče, pa tako po občutku, zadeva gre kar dobro naprej, le da je ime AI postalo nenadoma konkretno tržno precej icy zadeva. Če hočeš dobro služiti, zadevo malce prekrstiš, če gre za pravo reč,..... ali poudariš, če gre za star in preizkušen narrow AI:)
Izzivov in revolucij brez velikega zlobnega Skyneta, je pred nami obilo. In se bojim, da smo še na nerodne in nebolgjene številne narrow AI-je in njih dejanski potencial slabše pripravljeni, kot v fikciji na Skynet, kjer smo Schwazenengra predelali v zvestega slugo
In tudi Thomasa. No, vera ima več obrazov. Pri transhumanizmu, gre vendarle predvsem za poizkuse realnih ugibanj. Nobene povezave z neko eshatologijo. To seveda ne pomeni, da mož ni veliko reči spregledal, ostane pa dejstvo, da jih je veliko predvidel, kar drugi niso upali. No za konkretne napovedi, pa kot rečeno eshatologije in transhumanizma, ni pošteno primerjati.Da bom konkreten. Brez zelo dobrih narrow AI-jev in zmernega napredka na vseh 'kurzweilovih' področjih (transhumanizma), 1000 let nimamo. Po moje jih ni niti 50. Pomeni ni razvoja kapitalizma po sedanji ruti, brez velikih svetovnih spopadov, ki človeštvo pahnejo nazaj v kameno dobo. Pomeni, da kaj drugega kot optimizem, ali resignacija, ne ostane:)
Da pa se resneje polotim samega direktnega vprašanja, pa bi rad do konca preglodal, še nekaj pozabljenih filozofov in pogledov iz preteklosti. Lažje potem zavoham eventuelen izvor in skriti ubod 'utopije':) Kar pa se paradnih dosežkov iz novic tiče, pa tako po občutku, zadeva gre kar dobro naprej, le da je ime AI postalo nenadoma konkretno tržno precej icy zadeva. Če hočeš dobro služiti, zadevo malce prekrstiš, če gre za pravo reč,..... ali poudariš, če gre za star in preizkušen narrow AI:)
Izzivov in revolucij brez velikega zlobnega Skyneta, je pred nami obilo. In se bojim, da smo še na nerodne in nebolgjene številne narrow AI-je in njih dejanski potencial slabše pripravljeni, kot v fikciji na Skynet, kjer smo Schwazenengra predelali v zvestega slugo
In times of Universal Deceit, telling the truth
becomes revolutionary act. Orwell
becomes revolutionary act. Orwell
Okapi ::
Če na drugi strani nismo zlobni Okapi, kaneda:),Vernika prepoznaš še po eni lastnosti - zameri, če podvomiš v njegovega boga
Če nekdo na osnovi takih ali drugačnih podatkov oceni, da je AI oddaljen verjetno še 200 let, in da ni prav nobenih možnosti, da bi bil tu prej kot v 50 letih, to ne pomeni, da je proti AI, da se AI boji, da hoče s svojo napovedjo zavreti razvoj AI, ali da se ne bi AI razveselil, če bi jo nekdo naredil jutri. Bo pa pravi vernik takšno oddaljeno napoved tako razumel in po tem ga zlahka prepoznaš.
O.
Zgodovina sprememb…
- spremenil: Okapi ()
Thomas ::
Eni preprosto ne doumejo, da njihovi "argumenti" zvečinoma niso nobeni argumenti in so zato irelevantni. Preveč si ga mislijo, preprosto.
Man muss immer generalisieren - Carl Jacobi
guest #44 ::
Eni preprosto ne doumejo, da njihovi "argumenti" zvečinoma niso nobeni argumenti in so zato irelevantni. Preveč si ga mislijo, preprosto.
Ti vrjetno baziraš tvoje sklepe na podlagi znane statistike razvoja in ekstrapoliraš? Če nekdo reče, da šele čez 200 let, ampak zato nima nobenega znanstvenega argumenta, potem imaš ti bolj prav.
Jz mam dobr protiargument, "human stupidity". To je univerzalno stredstvo za podpiranje argumentov.
Zgodovina sprememb…
- spremenilo: guest #44 ()
donfilipo ::
Če nekdo na osnovi takih ali drugačnih podatkov oceni, da je AI oddaljen verjetno še 200 let, in da ni prav nobenih možnosti, da bi bil tu prej kot v 50 letih, to ne pomeni, da je proti AI, da se AI boji, da hoče s svojo napovedjo zavreti razvoj AI, ali da se ne bi AI razveselil, če bi jo nekdo naredil jutri. Bo pa pravi vernik takšno oddaljeno napoved tako razumel in po tem ga zlahka prepoznaš.
O.
No če smo že pri tem, se boš tudi ti identično vedel, če bi se recimo meni ljubilo zagovarjati kakšno verzijo kreacionizma in bi se šel izverzirati pri najboljših. Prej ali slej bi izgubil živce. Seveda bi jaz odnehal prej, ker bi mi bilo blesavo, ampak, pod hipotezo da me škof George:) iz USA plača 50€ na dan, bi bila pa huda:) Trdim, da na forumih z esencielno platonskimi dialogi, lahko dobri tretjini ali več (v USA dosti več:) 'pokažem', da tvoji argumenti niso vedno prepričljivi, pa četudi vem, da imaš 100% prav in da si proti meni doktor. See? Thomas je večino energije posvetil transhumanizmu. In njegovo znanje lahko dejansko tehtamo v primeri s tistimi, ki so vsaj toliko močni na tem polju. Pod predpostavko, da ne upogiba realnosti....
Ker je izpričano desničar, ne vidim zakaj, bi pa zdaj ravno ideologija kapitalizma in Ayn Rand klicala k 'bogu' transhumanizma. Kvečjemu nasprotno. 'Boga' transhumanizma za Ayn Rand po moje ni. Je le individuum, in sposoben individuum, ki mu mase ne bi smele odžreti pot k lastni sreči, na račun neke tobožnje svete solidarnosti. In seveda, predpostavlja se splošno pošten individuum. Par lopovov zadevo če ne podre, pa zato precej zveriži. Če že čemu, je transhumanistični raj zelo podoben Marxovemu. Le da ta o virtualni realnosti niti slišati ni hotel.
In times of Universal Deceit, telling the truth
becomes revolutionary act. Orwell
becomes revolutionary act. Orwell
Thomas ::
No, seveda je treba upoštevati možnost, da Singularnosti še vsaj 500 let ne bo. To je ena od alternativ, ki vsekakor zaslužijo in so že dobile precej globokega tehtanja in razmisleka in ga bodo še. Prav tako bi bilo vredno premisliti XY. Vendar ta moment, se ukvarjam z neko drugo možnostjo, torej možnostjo zelo zgodnje Singularnosti in zakaj je "slabo vidna" celo če je možna, v debati z eudaemonom. Kričanje "vernik si, ker zameriš, če ti rečem, da tega še 200 let ne bo! - je brezvezno oglašanje.
Singularnost je tako pomembna tema, da debata za vsako leto, od 2010 do 3000 - kakšna je verjetnost za tak dogodek - lahko ima smisel.
Vendar tudi če bi se zdej ukvarjali naprimer s tem, kakšna je verjetnost, da je do 2045 še ne bo - je vsako nakladanje o verjetnosti za obdobje 2100 do 2120 - lapanje mimo. Trenutno off topic.
Pozna Singularnost (2021 and later) je ta moment off topic zame in za mojo debato z eudaemonom. (Kar seveda ne pomeni, da se tega drugi ne smete it. Pejte se, ampak mene to ne zanima, dokler si z eudemonom ne izmenjava kar nekaj postov na Early Singularity topic. (Kar pa ne pomeni, da se tudi tega drugi ne smete it. Pejte se, najverjetneje bom sodeloval takoj. (Kar pa ne pomeni, da ne bom dneve ali tedne KASNEJE kaj rekel tudi o teh poznih ali "odpovedanih" Singularnostih.)))
!!!
Singularnost je tako pomembna tema, da debata za vsako leto, od 2010 do 3000 - kakšna je verjetnost za tak dogodek - lahko ima smisel.
Vendar tudi če bi se zdej ukvarjali naprimer s tem, kakšna je verjetnost, da je do 2045 še ne bo - je vsako nakladanje o verjetnosti za obdobje 2100 do 2120 - lapanje mimo. Trenutno off topic.
Pozna Singularnost (2021 and later) je ta moment off topic zame in za mojo debato z eudaemonom. (Kar seveda ne pomeni, da se tega drugi ne smete it. Pejte se, ampak mene to ne zanima, dokler si z eudemonom ne izmenjava kar nekaj postov na Early Singularity topic. (Kar pa ne pomeni, da se tudi tega drugi ne smete it. Pejte se, najverjetneje bom sodeloval takoj. (Kar pa ne pomeni, da ne bom dneve ali tedne KASNEJE kaj rekel tudi o teh poznih ali "odpovedanih" Singularnostih.)))
!!!
Man muss immer generalisieren - Carl Jacobi
Okapi ::
Če že čemu, je transhumanistični raj zelo podoben Marxovemu. Le da ta o virtualni realnosti niti slišati ni hotel.Transhumanizem je v resnici filozofija, ki z znanostjo (vsaj za zdaj) nima nič skupnega. Ne glede na to, kakšen odnos do transhumanizma imaš, to na razvoj AI ne vpliva čisto nič. Razvoj AI je v resnici odvisen od različnih znanosti (biologija, računalništvo, fizika ...), ki delajo po svoje in se na transhumanistične razprave požvižgajo. Tudi kreacionisti, pa jih je precej več kot transhumanistov, v resnici na razvoj genetike ali česarkoli drugega ne vplivajo.
Skratka, zanimiv debatni krožek, ampak kdor misli, da bodo razprave o tem, kdaj bo prišlo do singularnosti, in zakaj prej ali kasneje, kakorkoli vplivale na to, kdaj bo do nje zares prišlo, živi v težki iluziji.
Prav tako živi v iluziji tisti, ki misli, da je že zdaj nujno razpravljati o tem, kaj se bo zgodilo, ko bo AI tu (ali kakšno AI bi radi imeli in kakšne bi se morali bati), ker drugače se lahko zgodi kaj hudega. Nekako tako smiselno je vse skupaj, kot bi bila smiselna razprava o jedrski energiji pred 150 leti. Radioaktivnosti ne bi odkrili niti dneva prej, jedrskih central tudi ne bi imeli prej in tudi Hirošime in Nagasakija debate iz sredine 19. stoletja ne bi preprečile.
O.
donfilipo ::
Transhumanizem je v resnici filozofija, ki z znanostjo (vsaj za zdaj) nima nič skupnega
Tudi Hippocrates je bil filozof prej kot doktor, za današnje poglede.
S tem da transhumanizem često zaide na čisto znanost in gre mimo filozofije. Obsega in sloni na topikih, ki so čista in tudi zapletena znanost. Obsega tudi špekulacije, ki pa so.... ja.... filozofija. Ampak sama filozofija ni nujno škodljiva reč. Preveč je reči, ki se jih ne da pokazati, ali izračunati, niti v zahtevnih simulatorjih.
In times of Universal Deceit, telling the truth
becomes revolutionary act. Orwell
becomes revolutionary act. Orwell
gardener ::
@Thomas:
Nja, strinjal bi se v tem, da v nas res obstaja tendenca obravnavati globoke spremembe kot nekaj oddaljenega, tako časovno kot prostorsko, ki pa je bolj izrazita pri negativnih dogodkih in mnogo manj pri razmišljanju na abstraktnem/"akademskem" nivoju (nikakršne težave nimam npr. igrati se z možnostjo, da jutri pride do uničenja simulacije v kateri se nahajamo, ali da se realnost "razgradi v kaosu", ker smo navsezadnje le Boltzmanovi možgani). Ker sva tule na tem slednjem nivoju, mislim da ta pristranost praktično ne vpliva na oceno o morebitni zgodnji Singularnosti. Update je zaenkrat nezaznaven - morda bo do jutra kaj drugače.
Indeed. Navsezadnje gre za najpomembnejši dogodek v zgodovini človeštva (če že ne kar življenja nasploh).
@Okapi:
Transhumanizem spada med etično filozofijo in tako igra vlogo usmerjanja pozornosti in drugih sredstev k določenim problemom kot sta npr. rešitev problema staranja in razvoj etične AI. To vlogo je doslej igral večinoma sekularni humanizem, nekateri pa menimo, da je čas za nadgradnjo. ;)
Razprave o časovnih okvirih pripomorejo k planiranju in na takšen način seveda imajo nek vpliv na pojav Singularnosti... kar pa je menda očitno.
To seveda ne drži (celo v primeru, da je AI res oddaljena ~150 let). Predlagam, da si za začetek prebereš 13. poglavje članka: Artificial Intelligence as a Positive and Negative Factor in Global Risk.
All I can say is... Absurdity bias. ;)
To je prvo, se strinjaš glede te zadeve?
Nja, strinjal bi se v tem, da v nas res obstaja tendenca obravnavati globoke spremembe kot nekaj oddaljenega, tako časovno kot prostorsko, ki pa je bolj izrazita pri negativnih dogodkih in mnogo manj pri razmišljanju na abstraktnem/"akademskem" nivoju (nikakršne težave nimam npr. igrati se z možnostjo, da jutri pride do uničenja simulacije v kateri se nahajamo, ali da se realnost "razgradi v kaosu", ker smo navsezadnje le Boltzmanovi možgani). Ker sva tule na tem slednjem nivoju, mislim da ta pristranost praktično ne vpliva na oceno o morebitni zgodnji Singularnosti. Update je zaenkrat nezaznaven - morda bo do jutra kaj drugače.
Singularnost je tako pomembna tema, da debata za vsako leto, od 2010 do 3000 - kakšna je verjetnost za tak dogodek - lahko ima smisel.
Indeed. Navsezadnje gre za najpomembnejši dogodek v zgodovini človeštva (če že ne kar življenja nasploh).
@Okapi:
Transhumanizem spada med etično filozofijo in tako igra vlogo usmerjanja pozornosti in drugih sredstev k določenim problemom kot sta npr. rešitev problema staranja in razvoj etične AI. To vlogo je doslej igral večinoma sekularni humanizem, nekateri pa menimo, da je čas za nadgradnjo. ;)
Skratka, zanimiv debatni krožek, ampak kdor misli, da bodo razprave o tem, kdaj bo prišlo do singularnosti, in zakaj prej ali kasneje, kakorkoli vplivale na to, kdaj bo do nje zares prišlo, živi v težki iluziji.
Razprave o časovnih okvirih pripomorejo k planiranju in na takšen način seveda imajo nek vpliv na pojav Singularnosti... kar pa je menda očitno.
Prav tako živi v iluziji tisti, ki misli, da je že zdaj nujno razpravljati o tem, kaj se bo zgodilo, ko bo AI tu (ali kakšno AI bi radi imeli in kakšne bi se morali bati), ker drugače se lahko zgodi kaj hudega.
To seveda ne drži (celo v primeru, da je AI res oddaljena ~150 let). Predlagam, da si za začetek prebereš 13. poglavje članka: Artificial Intelligence as a Positive and Negative Factor in Global Risk.
V resnici sploh ne morem razumeti, da lahko nekdo resno preigrava možnost, da bo do singularnosti prišlo v naslednjih desetih letih. To se mi zdi popolnoma skregano z zdravo pametjo, smešno v bistvu.
All I can say is... Absurdity bias. ;)
"I Ain't Been Dropping No Eaves, Sir." Samwise Gamgee
Okapi ::
To seveda ne drži (celo v primeru, da je AI res oddaljena ~150 let). Predlagam, da si za začetek prebereš 13. poglavje članka: Artificial Intelligence as a Positive and Negative Factor in Global Risk.Imamo pač različna mnenja. Jaz mislim, da je AI še tako oddaljen, da je sedaj o varnosti razpravljati povsem nesmiselno in celo kontraproduktivno (če bi kdo to jemal preveč resno in bi se zato razvoj upočasnil). Nekako tako, kot če bi v Becquerelovih časih na dolgo in široko razpravljali o varnosti jedrske energije in nevarnosti atomske bombe. Pa v resnici je sedaj govoriti o nevarnostih unfriendly AI tako, kot če bi o ne/varnosti jedrske energije razpravljali 50 let pred Becquerelom. Kaj bi lahko takrat koristnega ugotovili na to temo? Prav nič.
Sem povsem prepričan, da napredek na tem področju ne bo niti slučajno tako hiter in nepričakovan, da bi ne bilo prej še nekaj let časa za ukvarjanje z varnostjo, ko bomo tako daleč, da se bo o tem sploh smiselno pogovarjati.
O.