» »

Protokol

Protokol

Temo vidijo: vsi
««
20 / 182
»»

Odin ::

Se strinjam z Marjanom v celoti. Jaz samo trdim, da so čustva pomagala človeku preživeti in da je celotna današnja civilizacija zgrajena tudi na podlagi čustev.

Mislim pa, da ko si bo enkrat človek nabil IQ 5oo, si bo znal tudi odstranit vsa čustva oz. pustiti le pozitivna (to je pravzaprav ustava PROTOKOLA:)) ). Lahko si bo seveda jakost poljubno spreminjal.

Po moje so tudi čustva bistvo dobrega in zla.

Točno!
Thomas, kako si mislil, da te v PROTOKOLU ne bi smelo nič zaboleti? Telesno(bolečina, če te kdo udari) ali mentalno(nekdo ti umre)?

Thomas ::

Inteligenca ni šef v naši glavi. Samo služabnik različnih emocionalnih koalicij in interesov, ki se dinamično vzpostavljajo. Inteligenca ima "privilegij" iskati vodo kadar nas zažeja, posteljo kadar nas tako ali drugače spat, zavetje kadar gre dež ... in tako naprej.

Da bi pa inteligenca postavila ENO zahtevo v življenju - je ne. Samo muham drugih streže ta uboga sužnja.

Volja do nečesa nikoli ne nastane kot posledica samo racionalnega premisleka. Pač pa ta premislek le racionalizira "rezultanto vseh emocij".

Če si bom odstranil vsa čustva in pustil le inteligenco in zavest - bo to čisto emocionalna odločitev. Zadnja emocionalna - a tudi zadnja sploh.

Potem ne bom več imel nobene motivacije. In če res ne bom imel nobene - potem tudi moja inteligenca ne bo več kaj procesirala.

Lahko bi pa obdržal eno emocijo. Željo po vizualizaciji in raziskovanju 78 dimenzionalnega prostora. Inteligenca "IQ 100000" bi potem skrbela za simulacije, jest bi pa užival v tem v neskončnost. Pravzaprav moja zavest.

To je en tak preprost primer možne konfiguracije.

Drug tak, ne tako preprost in često protisloven in celo neprijeten primer, so naše aktualne konfiguracije.

Toda če bi vzeli le najboljše iz tega obstoječega in pomnožili s faktorjem milijon - bi nekaj že bilo.

Izven vseh naših trenutnih predstav ugodno, toda najbrž še vedno le delček možnega.

We are about to see.

:)
Man muss immer generalisieren - Carl Jacobi

Thomas ::

> kako si mislil, da te v PROTOKOLU ne bi smelo nič zaboleti? Telesno(bolečina, če te kdo udari) ali mentalno(nekdo ti umre)?

Ni nobene potrebe za nobeno bolečino. Če te kaj zaboli, pomeni da je cel sistem šel k vragu. Če se ne popravi takoj in če tudi atomske ekplozije potem ne uničijo vsega - naj se začne pa širiti vakuum na vse strani. Hell Singularity je nepojmljivo slabša in hujša reč kot smrt.

:)
Man muss immer generalisieren - Carl Jacobi

Odin ::

Torej tudi občutek krivde, strah... ne bi smelo obstajat.

Ta hell singulatity mi nič kaj ne diši. Da bi te nekdo mučil na najhujši možni način X let8-O .

Kako pa bi prva AI zgledala? Kaj pa so to genetski algoritmi(neka vrsta AI?)?

"Stephen Hawking, pisec popularno-znanstvenih del in profesor fizike na Cambridgeu trdi, da bi se morali ljudje genetsko modificirati, če nočemo doživeti, da bodo računalniki premagali človeško inteligenco."(vzeto iz MLADINE)

A veš zakaj je on tako proti, če pa bi računalnik v resnici pomagal človeku?

Thomas ::

Čemu občutek krivde in čemu strah, če ne moreš in nočeš storiti nič slabega in se ti nič takega ne bo zgodilo?

Hell Singularity je mogoča. Ampak ne bolj kot 100 zaporednih glavnih zadetkov na lotu. Upam.

Vsekakor pa dosti manj, kot da evolucija pade v Hell cycle.

Stephen Hawking je tukaj ustrelil precej mimo. On bi pa že moral vedeti, da tale biologija ni kaj prida. Da bi bilo dosti bolje, da bi nadomestil svoje telo z robotskim. Ali pa avatarji.

Biološki šovinizem je nespameten. Nikoli ne bi mogli ogljikove kemije spraviti na nivo enega Plancko computoriuma. Ki je pa poleg tega verjetno še precej bližje, kot prvi odrasli biološko popolni human.

:)




Man muss immer generalisieren - Carl Jacobi

Odin ::

> Kvantni računalniki - ideja postaja resničnost

Kako naj bi to vplivalo na datum singularnosti(še dotatna pospešitev)?
Kako si pa dobil datum 2020, kot začetek singularnosti?

Thomas ::

Neko nedeljo kakšen mesec nazaj, sva se z Yudkowskim menila po četu ene sedem ur.

Tema je bila prav ta. Increasing computing power.

Jest sem trdil, da je zelo možno, da bomo prišli ČEZ Moorov zakon. Da bo v 10 letih CPUja čez glavo dovolj. NISEM govoril o kvantnem računalniku, pač pa o procesorjih ki bi jih lahko izboljševali znotraj kakšnega ASCI Blue - s simulacijo. Tako kot danes atomske bombe. Imeli bi potem take off kompjutorske moči. Yudkowsky je bil skeptičen da do tega lahko pride. Ker ne verjame preveč v moč evolucijskega programiranja v nano tehnologiji. Pravi da že deset let vemo za nanoležaje kakšni naj bili - ampak narediti jih pa ne moremo.

Toda da v načelu pa tega ne gre izključiti. Niti kvantnih računalnikov. In da če se to zgodi, to niti ni samo dobro. Namreč potem lahko pride do Brute Force Singularity. Kdo garantira da bo ta friendly?

Človeška (in vsega živega ob tem) evolucija je zahtevala kakih 1051 bitnih operacij. Zenkrat ni videti, da bi se tudi s QC tej številki lahko približali. Ampak kaj pa če?

Potem bo nekdo zelo verjetno sprožil celltično evolucijo. Preprost evolucijski, genetski program v morju "RAMa."

Primer:



Link.

To je tako, kot bi vrgel bakterijo na primeren planet in počakal nekaj milijard let, da pride do civilizacije in Singularnosti, ki odnese v neznano tudi sejalca. Samo da v primeru res masivnega computinga lahko pride do končnega rezultata praktično takoj. Preden mine prva sekunda.


A pa je to moralno sprejemljivo? Povzročiti novo "pogorje trplenja", če lahko Singularnost sprožimo tudi inteligentnejše. Naš prjatu iz Amstrdama trdi, da bi bila to še zmeraj samo kapljica v primeri z vsemi bodočimi evolucijami v tem svetu, če Singularnosti ne bo. Da se jo torej splača sprožiti tudi na ta način, če boljšega ni. Sploh če jim (Cellticom) nekako odvzamemo pain.

No, bistvo je v tem, da če pridejo kvantni računalniki, so odprta vrata za nekatere nove opcije in nove datume.

Stvari postajajo vse bolj resne.

:)
Man muss immer generalisieren - Carl Jacobi

Zavo ::

Uf, prebral sem skoraj vse! Je šlo po gobe par ur, ampak nič ne de, če pa me čaka toliko novih življenj, zakaj bi se sekiral!

Mene pa samo zanima nekaj Thomas, in sicer:

- Kdo bo naredil tak procesor v bližnji prihodnosti?

-Katera vlada oz. organizacija bo to financirala?

-Kdo ima to znanje, če pa še niti ne vemo kako deluje hipnoza in kako bi naredili ležaje brez trenja?

-Kako naj bi ta Protokol izgledal (fizično), in ali ga ni možno potem zunanjim neuploadeejem enostavno uničiti?

-Kdo bo naredil nanorobote, ki bodo tako natančni, če pa sedanji roboti v avtoindustriji komaj kaj naredijo če ni človeka zraven?

-Kdo bo odločal kdor sme v Protokol in kdor ne?

-Kako pa prideš v Protokol (žica v glavo ali brezžična povezava do možganov ali kaj?), če pa še danes ni možno niti operirati možgane brez tveganja za pacienta?

En kup vprašanj, ker bolj kot sem bral manj mi je bilo jasno!

Hvala za odgovore in lep pozdrav,
Zavo

Gandalfar ::

se eno vprasanje za zraven. Glede na tisto tvoje prejsnje pisanje o tem da bi bilo sodelovanje vsakega oz. odlocitev o tem ali bos uplodee ali ne popolnoma prostovoljna. Kako pa lahko zagotovimo potem, da ne bo singularnost vplivala na nas same z podzavestnimi vplivi da bi si zeleli priti k njej?

Thomas ::

Zavo

> - Kdo bo naredil tak procesor v bližnji prihodnosti?

Težko reči kdo. Ampak kandidatov je kar nekaj. Leta 1985 bi morda mislili, da bo 2002 Zilog glavni. So pač drugi. Nekdo bo že naredil zadnji "naravno narejeni" procesor. S katerim bo pa mogoče kar izračunati naslednji boljši CPU. Po moje se to zna zgoditi s kakšnim IBM ASCI Blue razredom računalnikov. Ki bodo dovolj močni za simulacijo (in ugotavljanje izboljšav) na kateremkoli svojem sestavnem delu.

> -Katera vlada oz. organizacija bo to financirala?

Meni je precej jasno, od kod bodo finance. Z zasilo AI se pač da scuzati borze in podobne ustanove.

> -Kdo ima to znanje, če pa še niti ne vemo kako deluje hipnoza in kako bi naredili ležaje brez trenja?

Večino vprašanj lahko mirne duše pustimo ob strani. Bo povedala AI, kako je. Tadva zagotovo nimata dosti vpliva na razvoj procesorjev ali simulacij. Kvečjemu dobra fizikalna simulacija hitro najde "ležaj brez trenja". Če obstaja in če ga sploh rabimo.

> -Kako naj bi ta Protokol izgledal (fizično), in ali ga ni možno potem zunanjim neuploadeejem enostavno uničiti?

Computorium. Mogoče kakor oblaki kvarkov, ki izpolnjujejo prostor, kakor ga zdaj zvezde. Mogoče diamantne strukture velike kot Jupiter, v katerih teče computing. Težko reči. Optimalni computing substrat pač. Nobeden od zunaj seveda ne more nič. Če že hoče, mu inducirana kvantna fluktuacija spremeni sovražno razpoložene možgane s prijaznejšimi.

-Kdo bo naredil nanorobote, ki bodo tako natančni, če pa sedanji roboti v avtoindustriji komaj kaj naredijo če ni človeka zraven?

AI mora prevzeti nadaljni razvoj. Najprej sebe, potem pa še vsega drugega. Od neke točke naprej pač. Naj si AI beli glavo s problemi.

> -Kdo bo odločal kdor sme v Protokol in kdor ne?

Vsak sentient sme. Živ ali mrtev, če je slednjega možno restavrirati.

> Kako pa prideš v Protokol (žica v glavo ali brezžična povezava do možganov ali kaj?), če pa še danes ni možno niti operirati možgane brez tveganja za pacienta?

Nobene žice - wireless. Tega telesa tukaj sploh ne rabiš. To ti postane jasno, ko imaš tam milijardokrat večjo strukturo kot tu. Če si sentimentalen, lahko vzameš še vse atome tega telesa s sabo. In medvedka.


Gandalfar

> odlocitev o tem ali bos uplodee ali ne popolnoma prostovoljna. Kako pa lahko zagotovimo potem, da ne bo singularnost vplivala na nas same z podzavestnimi vplivi da bi si zeleli priti k njej?

Zapeljevanju Superinteligence ... se je po mojem nemogoče upreti. Na en tak prostovolen mus zna vse skup spast.

:)


Man muss immer generalisieren - Carl Jacobi

Zavo ::

Thomas, še eno vprašanje:

Recimo, da jaz in še par mio drugih ne bomo hoteli v Protokol, in da ne bi pustili, da nam kradete atome iz fizičnega sveta (zemlje + vesolje), od kje boste dobili atome, da boste lahko sestavili Protokol!

Upam, da ni preveč glupo vprašanje!

Hvala za odgovor,
Zavo

Thomas ::

Zemlja, je rečeno, bo itak pripadla krotkim. Vsaj dokler vsi ne pomro. Ali pa jih kdo prepriča, da bi bilo bolje ne vztrajati pri tradiciji.

Je pa treba vedeti naslednje. Superinteligenca z "IQ milijarda" lahko prepriča vsakega človeka v karkoli. Naj se recimo uploada.

Kot da bi hotel plavajoč človek v kopalkah preusmeriti tanker - toliko šans imaš, da te upload ne pregovori v uploadanje.

:)
Man muss immer generalisieren - Carl Jacobi

Gandalfar ::

To ce predvidevas, da se pogovarjas z razumanim clovekom, ki je pripravljen poslusati in razmisljati. Toda cloveska rasa je ze pokazala in dokazala da vcasih pac ne poslusa in se ne pusti pregovarjati. Iz principa.

Kaj pa potem?

Thomas ::

Iracionalen človek bi utegnil biti še lažja "tarča" kakšne prefrigane uploadeejevske strategije.

V milijon letih subjektivnega časa, ki so uplodeeju na rapolago, se da najti popolnoma nepremagljive strategije za človeka, ki ima na rapolago le dneve razmišljanja o nečem.

Človek je pred uploadeejem prozoren kot kapljica vode. Kaj šele pred takim, ki se je zadnjih 1000 let svojega cloka stalno izboljševal.

Če bi se že dala pogruntati finta, kako nadmodriti posthumna - bi jo verjetno pogruntal najprej on.

Powers pač.

8-)
Man muss immer generalisieren - Carl Jacobi

Zavo ::

Se pravi na en način bo treba pod prisilo v Protokol, saj te bo kao stroj prisilil v to!

To pa mi ni več cool, če si pa prej razlagal, da bo to prostovoljno!

Si že slišal za to foro, Thomas: Imeli so dve enaki podgani, eni so pod prisilo dajali neke kosmiče, ta drugi so pa kosmiče nastavili, da jih je sama jedla v istih količinah, kot so prvo prisilili, da jih poje!

Veš kaj se je zgodilo?

Prisiljena podgana se je upirala kosmičem tudi ko so ji čez nekaj časa nastavli kosmiče, da jih vzame prostovoljno!

Isto je bilo, ko so mišim na silo brizgali heroin ampak ni postala odvisna, iz tega sledi, da imajo možgani neko funkcijo, ki reagirajo blagodejno samo na stvari, ki so bile prostovoljno narejene! Se pravi, jaz ne morem postati odvisen od heroina, če mi ga nekdo v spanju vbrizga ali pa na silo vbrizga! Štekaš!

Se pravi, da če me AI na silo prepriča, da se pustim uploadat, bom verjetno tam trpel!

Ali kako gledaš ti na to! Ste se transhumanisti že ukvarjali s tem!


Hvala za odgovor,
Zavo

Thomas ::

The Seducing Singularity je "hujša" od vsakega človeškega Casanove ali katerekoli človeške ženske zapeljivke.

Ni nobene bojazni, da bi bilo sploh treba uporabiti kakršnokoli silo.

Tiste debate o tem med Transhumanisti so precej brezveze. Singularnost te ali takoj ubije ali pa je "neskončno" prijazna s tabo. Tertium non datur.

Treba je zagotoviti samo njeno prijaznost. Če ima supreme goal - friendliness do sentientov - potem ni nič, na kar ne bi pomislila da gre lahko narobe, ti pa si ali bi. Superinteligenca pač.

:)
Man muss immer generalisieren - Carl Jacobi

Hairy ::

Ola,

Ma tale tema je ze cist prevec "dolga", da bi jo uspel v celoti prebrat... glede na to, da sem bil zelo pred kratkim sele "opozorjen" nanjo. Obljubim, da bom prebral vse v celoti (ne samo 1. in 20. stran), ampak ne danes. :D

Samo ene par zacetnih komentarjev:
Imam en tak obcutek, da gre za "iz dezja pod kap" sceno. Why create another dreamworld, if we already are in one? Razen, ce gre za kozmicni evolucijski korak, cosmos with more optimal set of parameters.
Pa se en pomislek glede "uploudanja" ... consciousness is non-local ... torej, kot je nekdo ze omenil, bi moral uploudat celotno vesolje.

Ne vem, ne vem... I have a gut feeling someone got something wrong.

za zacetek...
_________________________________________________________
lp,
Hairy

Thomas ::

Welcome, Hairy!

> bi moral uploudat celotno vesolje.

Da bi posnel eno zavest? Ki takoj ugasne če premakneš atom na drugem koncu Vesolja???

I don't think so! Bi pa to bil computer ja, ki bi bil česa takega zmožen! Takoj zaznati vsako spremembo, še tako majhno, kjerkoli! "Praktično neskončno" MIPSov v 1,4 kg sive mase. :)

Uplodali pa ne bomo tegale Vesolja. Eno dosti večje in dosti lepše rajši. Neprimerljivo. Tole nam bo pa "le" za engine.

;)



Man muss immer generalisieren - Carl Jacobi

Mir ::

Protokol ima eno resno pomanjkljivost.

Protokol je računalnik hardware+software, če sem prav razumel. Pardon moral bi biti supersuper...superračunalnik, ki bi vseboval vse ljudi oz. njihove zavesti. V osnovi mi je vse jasno čeprav verjetno tehnologija le ne napreduje tako hitro, da bi se mi (tukaj prisotni) lahko uploadali.

Mučime le eno vprašanje: Zakaj? Če imam danes sodoben PC lahko brez težav obudim mojega starega spektruma s vsemi programčki vred (če kdo slučajno ne razume - to se imenuje emulacija). Deluje mnogo bolje kot je takrat, ko je še živel. Toda ali je to smiselno?

Zakaj bi na nekem tako sposobnem računalniku emulirali manj razvite računalnike (ljudi!)?

Zaenkrat takšnega računalnika še ni in ga še dolgo ne bo. Zagotovo ne bo temeljil na siliciju saj je ogljik zagotovo mnogo primernejši element. Vendar je vprašanje ali ga bomo prej izdelali z raziskavami ali po običajni poti (evolucija).

Thomas ::

> Zakaj bi na nekem tako sposobnem računalniku emulirali manj razvite računalnike (ljudi!)?

Ne bi. Samo njihovo zavest. Vse ostalo spominja na boga. Kar pa zavest - če mene, pa tudi moje nekatere moje ideološke nasprotnike, teiste vprašaš - spominja že zdaj.

> Zaenkrat takšnega računalnika še ni in ga še dolgo ne bo.

Ni ga še. Ampak computorium - visokooptimalni computing substrat - je verjetno že kar (zelo) blizu.

Kot me je pa opozoril M., da me je opozoril že en drug M. - nima niti smisla razlagat prav preveč.

Go and search for yourself Mir! Dosti si sposoben.

:)



Man muss immer generalisieren - Carl Jacobi

blabla ::

Še eno vprašanje bolj tehnične narave: Ali ima že kdo vsaj kakšno približno idejo kako to narediti (Yudkowsky?) in ali se kaj dela na tem? Saj sem malo bral na SingInst, samo to mi izgledajo zelo ugibanja. Zdaj še zbirajo denar ali kako, ker se lahko načakajo. :)
Ker verjetno je možno AI narediti tudi na kakšnemu današnjemu računalniku. Mogoče kakšno polžjo. Samo a kdo sploh ve kaj dela?

To me tako informativno zanima, ker na SingInst obstaja skoraj 1MB velik dokument "Creating Friendly AI" (malo manjši Seed AI), ki je v najslabšem primeru lahko tudi bull. :\

Thomas ::

Tkole je.

Če bi dali človeški (ali šimpanzov) upload na computing substrat - ne znatno prej kot 2020 - bi morda malenkostno tvegali kakšno nesrečo (galaktičnih proporc).

FAI (Yudkowsky) je pa po mojem za razred ali več varnejša zadeva. Tudi prej izvedljiva. Na računalniku kakršne bo IBM dobavljal do 2010, bi morala stvar steči.

Kolikor razumem CFAI, je to zelo solid zadeva. SEED se bo dalo sprogramirati v nekaj letih, v glavnem po tistih točkah, ki jih navaja Yudkowsky.

Če Yudkowsky nima pojma - potem sem tudi jest sfuzlan. Mislim pa, da ni bojazni.

Motiv Yudkowskega je, da se ljudje ne dokopljemo do nanotecha, brez da imamo prej FAI. Ker je preriskantno.

Zdaj pa se je pojavila še najmanj možnost kvantnih računalnikov. V njih, če bodo zelo močni, bo zbuditi inteligenco - malenkost. Kar bi pa lahko bilo še večje tveganje kot nanotech, če ne bi bila to inteligenca s "prijateljstvom kot glavnim motivom".

Eksestencialni riski, so se zadnje čase pomnožili.

No, tak je moj oseben pogled.

:)

Man muss immer generalisieren - Carl Jacobi

Mir ::

AI danes že obstaja, vendar so to zgolj parcialne rešitve. Zaenkrat je dovolj, da npr. računalnik premaga svetovnega prvaka v šahu - to je AI. Na žalost pa tak program zna samo šah (zelo dobro!) ne zna pa niti skuhati kave. Problem z AI je v tem, da je potrebno naravno inteligenco dovolj razumeti, da lahko narediš program. V splošnem je vedno tako, da če nek proces razumeš in veš kako deluje, potem ga lahko simuliraš. Če pa tega ne veš in ne razumeš pa tega ne moreš razen če dovolj dolgo poskušaš tako kot pri D. Adamsu, ko lahko opice z naključnim tipkanjem napišejo zbrana dela Shakespeara.

Če bi hotel narediti simulacijo zavesti, bi najprej moral vse skupaj poznati. Veste kaj danes vejo o možganih. To kar so se naučili, ko so vtikali elektrode v možgane duševnih bolnikov. To je lahko verjetno zelo uspešna metoda pri programiranju računalnika. Odprite svoj računalnik in med delovanjem pritiskajte električno elektrodo na rezlične dele matične plošče in opazujte kaj bo računalnik naredil. Iz tega lahko potem sklepate kako računalnik deluje.

Tako na področju računalništva, kot na področju raziskovanja zavesti smo še v kameni dobi in če kdo trdi da bo 2010 uploadal šimpanza potem sploh ne ve o čem govori. Po tej logiki bi danes bilo zelo lahko simulirat recimo mravljo ali morda kako še manj razvito žival. Pa ne gre! Saj ne rečem, da nihče ne poskuša. Poskusov je ogromno in so na dobri poti. Ampak trenutno je glavni dosežek umetne intelegence robot, ki zna hoditi ali se voziti po Marsu in slikati. Stvar vsekakor napreduje, vendar ne tako hitro kot bi si želeli. Za vsakim dosežkom morajo namreč biti zelo sposobni ljudje, ki imajo na razpolago ogromne količine denarja.

Končno sem prečital tudi kaj je vzrok tega pisanja (Singularity). Singularity temelji na napačni predpostavki, da cikel računalnika pomeni to kako hiter je računalnik. Po njihovi logiki bi torej možgani delali mnogo bolje, če bi delovali na frekvenci Pentuma 4. Težava pa je v tem, da so v zadnjem času frekvence procesorjev tako zrasle, ker so prišli na tehnološki minimum pri izdelavi procesorjev. Praktično to pomeni, da dokler si ne bodo zmislili kaj bolj pametnega pač poskušajo to kar imajo narediti čim bolj kvalitetno in naviti frekvenco. Zato pa so težave s hlajenjem s katerim se ukvarja večina ljudi na tem forumu. Ampak ste pomislili kdaj primerjati 100 Mhz Pentium I s 100 Mhz Pentium 4 (če ga upočasnimo) 4 bo še vedno hitrejša od 1. Sicer pa verjamem, da bodo tam (singularity) naredili marsikaj. Trenutno bi bila špica, če bi kdo znal narediti AI, ki bi znal sinhrono kvalitetno prevajati iz enega jezika v drugega. Ali pa se bodo morda lahko uploadali samo angleško govoreči ljudje?

Thomas ::

Mir

Jah ti si očitno pameten človek, ki veš o čem govoriš. Resno. Samo nekaj si prezrl. Eno bistveno malenkost.

AT LEAST bomo lahko naredili uploada, ki bo delal naprej. NE da bi morali sploh razumeti, kako človeška (šimpanzja, pasja) pamet (zavest) deluje.

Vse kar potrebujemo, je "3D model" živih možgan, ki je molekularno natančen. Ta model je treba potem naprej simulirati na dovolj veliki in hitri mašini. Misli bodo tekle dalje - in to s poljubno pospešenim tempom.

Temu se reče weak superintelligence. Ker pa ima taista dostop do svojega blueprinta, se lahko tudi izboljšuje. In postane kmalu strong superintelligence.

Najmanj ta pot nam je odprta, pa če samo boljšamo NMR mašine in CPU. Nič več. Pa leta 2020 upload bo.

Kaj bo pa potem 2021 - si pa lahko misliš.

Vidiš ti kakšno luknjo v tem "mojem" razmišljanju?

:)
Man muss immer generalisieren - Carl Jacobi

alien-w ::

Zdele bom vrjetn cist mim bleknu, sam to bo zato, ker sem u bistvu prebral samo 1/10 celotnega threada, samo mene vse skupaj zelo spominja na Vanilla Sky.

Ta je tut bil mišljen kot popoln sistem, ampak pač ni bil in je bil u bistvu še bolj grozen kot resničnost. Na koncu nisi vedel a si v resničnosti al si se vedno v "matrici".

Thomas ::

Jah nisi tko "mim bleknu". Vanilla Sky "krat milijardo", pa dobiš nekaj, za kar se nam gre. Seveda brez vseh glitchev. Superinteligenca je predvsem zato, da jih onemogoči že na začetku.

:)
Man muss immer generalisieren - Carl Jacobi

madonch ::

Živjo vsi skupaj.
Jaz se šele sedaj oglašam v thread, ker ga prej sploh nisem zasledil.
Nisem še prebral vsega, ampak zadosti, da vem o čem je tu govora.

Ideja se mi sama po sebi zdi zelo zanimiva, saj sem ljubitelj znanstvene fantastike ter filozofije. Verjamem, da ima človeštvo še neslutene možnosti razvoja in če nas ne bo nič prekinilo, smo šele nekje na začetku.

Vseeno pa sem nekoliko skeptičen do tega, da bi bilo možno tak ali podobne projekte uresničiti v relativno bližnji prihodnosti.

Res je, da se procesorska moč iz dneva v dan povečuje, vendar se je treba zavedati, da ni stvar enostavna v smislu "imamo en superhiper kompjuter in pol butnemo gor AI in se bo vse kar začelo dogajat". AI algoritem za mnogo mnogo manjše projekte je izredno zapletena stvar za sprogramirat.
In ne postavlja se vprašanje ali bo strojna oprema dovolj zmogljiva, temveč ali bo človek sposoben v bližnji prihodnosti sploh napisati tak algoritem.

Po drugi strani pa tudi sposobnost hardvera ne gre precenjevati. Upoštevati je namreč treba kompleksnost problema, ki ga rešujemo. Sami se lahko prepričate, če napišete en algoritem, ki ima eksponentno časovno zahtevnost in ga potem poženete na pentiumu 1 in na pentiumu 4. Razlika v času reševanja je pri dovolj velikem n (število iteracij) le nekaj procentna.
Dvakrat hitrejši računalnik ni enako dvakrat hitreje rešen problem, razen če ni problem linearne narave.

Imam sodelavca, ki dela magisterij iz umetne inteligence, in ko bo prišel z dopusta, bom še njega vprašal kaj meni o tem in na kakšne tehnične probleme znamo naleteti.

Zgodovina sprememb…

  • spremenil: madonch ()

Thomas ::

Da ljudje ocenjuje težo naloge kot gigantsko - je zelo razumljivo.

"Žal" pa je napačno. Zakaj sem povedal že nekajkrat - pa bom spet. Zakaj pričakujemo Singularnost v slabih dveh desetletjih.



  • samo "materialna realnost" je osnova tega sveta - ostalo je (avtomatični) derivativ


  • materialna realnost je v načelu vsa computibilna


  • reverezni inženiring je dober način, da simuliramo vsak fizikalen sistem - tudi človeške možgane




Ostalo je le sklep.

Kaj potem, če ne vemo kako deluje inteligenca? Preplonkali bomo od tam, kjer se dogaja. Iz človeških možgan.

Itak da gre za nek fizikalni proces, ki smo ga zmožni simulirati, ker je vsak izračunljiv. To vemo že 100 let. Najmanj.

"Prazen materializem" - če je pravilen - nam da ključ od vesolja.

Samo še nanotech naklopimo na uploade - pa full steam ahead!

Ampak celo bolje se da, kot tako. Morda pogruntamo inteligenco, ne da bi jo plonkali. 10 let prej.

8-)

---------
p.s.

bi bil hvaležen za atako na te premise.

p.p.s.

ampak ne nebuloz. konkretno.
Man muss immer generalisieren - Carl Jacobi

blabla ::

Flare naj bi bil programski jezik na katerem se bo delala AI. Podatki in ukazi bodo isto in program bo lahko spreminjal lastne ukaze. Vse se bo shranjevalo v XML.
Začeli "naj" bi ga kodirati konec Avgusta. Za leto pa ne vem. Mogoče letos. :\

Thomas ::

Ja, dirka za Singularnost se je že začela. Bill Gates pa je povedal, da se kaj takega za njegovega življenja ne bo zgodilo.

Zdaj je stvar gotova - (da se bo). :D
Man muss immer generalisieren - Carl Jacobi

Odin ::

Mogoče se pa tega tudi Bill Gates zaveda, ampak noče tele izpast. Ne glede na to ali imaš res, ali ne, če danes izustiš, te imajo vsi za čudaka s sfantazirano pametjo.

Bill boy mogoče ve8-)

cyer^3d ::

Thomas in njegovi vrli transhumanisti bi se morali nauciti osnov algoritemske komplexnosti ter osnove o izracunljivosti problema, vkljucno z tistim vrlim Bostrom, ki je v mladih letih nastopal kot stand on comediant. Na zalost je zamenjal oder z real lifeom, komedije pa je zamenjal z nekimi deep filozofskimi, ker se mu pac to zdi cool. Da lahko rece da je 'mad scientist'.

Thomas in njegovih ducat umazanih (dirty dozen po domace) ocitno ne poznajo kvantnega fizika Bremermanna(oziroma ga, kar je se bolj zastrasujoce), ki je izracunal da ne more nobena stvar(mrtva ali ziva) izracunati vec kakor 2*10^50 bitov informacije na kilogram mase. V realnosti to pomeni, da bi racunalnik v velikosti zemlje v casovnem razdobju od zacetka nastanka vesolja pa do danes izracunal manj kot 10^120 bito informacije.
Tudi ce bi racunalnik racunal in racunal bi izracunal manj kakor je vseh sahovskih potez. Kdor pozna 'problem trgovskega potnika' bi to pomenilo cca stevilo n = 60 > n=70.

Za vsa tista ugodja pa bi verjetno racunalnik npr. v primerjavi z 'trgovskim potnikom' moral izracunati veliko veliko vec(nepredstavljivo veliko..ne ne morete si predstavljati..res ne:)

A nic ne de, Thomas and the dirty dozen bojo cez 20 let ze uziwali v svojem protokolu, v racunalniku, ki ne bo znal izracuniti niti vseh moznih potez v sahu.

Bi vi zaupali takemu racunalniku?

Thomas ::

Prezrl si, da tudi človeški možgani ne predvidijo vseh šahovskih potez. Niti vsi ljudje skupaj ne.

En tak vitalističen pristop imaš - mi "živi v naravi lahko, za računalnike pa veljajo neke omejitve, ki za nas ne".

To je že ena stara zabloda. V resnici že Deep Blue, če ga podpreš z dovolj procesorske moči premaga vse človeške velemojstre skupaj.

Ampak ohranjanje iluzije o transcendentalnosti živega - je pač še vedno običajno.

Vsaka množica atomov, je le Turingova mašina. Tudi človeški možgani. So pa dokaj nizko na lestvici možnih TM. Manj kot na milijardinki.

Kar se pa tiče Trgovskega potnika - rabimo res za desetinko Planckove dolžine krajšo pot, kot jo med tisoč točkami najde Metropolisov ali pa evolucijski algoritem v 1015 AND/NOT operacijah?

Turingova mašina morda ne bo nikoli igrala šaha 100%, ne da bi porabila celotnega Vesolja. Ampak že z enim Joulom energije pa lahko z 99.999999%.

Morda pa najde zmagovalno strategijo že po 1020 AND/NOT operacijah.

Vera v biologijo kot končno verzijo, kot nekaj kar je imanentno boljše od vsakega računalnika - je na trhlih nogah.

8-)

Ja ... dirty dozen dozens (and Thomas) imajo tole bolje premišljeno, kot se tebi zdi.

:)
Man muss immer generalisieren - Carl Jacobi

cyer^3d ::

Cloveskim mozganom zaenkrat ni treba preracunavati PROTOKOLA, tisti racunalnik pa bo moral, zato ta primerjava ni na mestu. Bolje bi bilo, ce bi primerjal z 'naravo'. Narava lahko naprimer 'izracuna' v danem momentu vse pozicije npr. valovanja nasega oceana. Protokol tega ne bo nikoli zmogel. In govorim o enem oceanu, raje ne govorimo ce je N oceanov = 'ogromno stevilo'. Kaj se bo zgodilo, ce si bo uporabnik zazelel nekaj kar PROTOKOL ne more izracunati? Recimo, 'rad bi v najkrajsi poti poletel skozi 100 galaxij'. Ali bo protokol potem dal le message box tipa 'can't do that, call our service?'.
Dejstvo, je da tudi ce protokol bo, bo le posnetek moci nase 'narave'..vprasanje je ali bo sploh znal natancno simulirati recimo obcutek vode? Bo, a slabse kot 'narava' - in ze ta je skorajda B-kvalitetna.

Thomas ::

Zanima me, kaj tebi vliva prepričanje, da je "naravna" struktura tako superiorna umetni?



    Narava lahko naprimer 'izracuna' v danem momentu vse pozicije npr. valovanja nasega oceana. Protokol tega ne bo nikoli zmogel.



Kaj po tvojem daje oceanu takšno moč? Imuniteto pred izračunljivostjo? Se za vsem tem skriva nekakšen duh ali kaj?

:)



Man muss immer generalisieren - Carl Jacobi

Simko ::

Koliko jaz razumem, bo v PROTOKOLU možno prav vse, torej sporočil in izjem v stilu : 'can't do that, call our service?' ne bo.

Ampak to le v PROTOKOLU.

Dejstvo, je da tudi ce protokol bo, bo le posnetek moci nase 'narave'..vprasanje je ali bo sploh znal natancno simulirati recimo obcutek vode? Bo, a slabse kot 'narava' - in ze ta je skorajda B-kvalitetna.


PROTOKOL bo mnogo 'boljši od narave'.

No, pa me je Thomas prehitel - lahko tudi pove, če se kje motim...

Zgodovina sprememb…

  • spremenil: Simko ()

Thomas ::

Simko

> PROTOKOL bo mnogo 'boljši od narave'.

Saj za to gre. Sonce seva z 1027 Watti, da vsi sentienti skupaj procesiramo s kakih 1025 ops.

S to energijo bi lahko vsaj z 1046 ops.

Kar pomeni 1000 milijard milijard krat barvitejši svet.

Vsaj. Če pa upoštevamo BREMERMANN'S LIMIT, na kar se cyer^3d sklicuje, potem pa še mnogo, mnogo več.

:)

Man muss immer generalisieren - Carl Jacobi

darh ::

Preberite si tole.... pravijo da je AI vedno bližje... jest pa pravm.. svaka jim čast... smart guys...
Excuses are useless! Results are priceless!

Thomas ::

Zanimiv članek ja. Ena pot do (super)inteligence vodi skozi simulirano evolucijo. Zgodilo se je že v naravi - in ni nobene načelne ovire, da se ne bi moglo v računalnikški simulaciji.

Če bi prišli do močnih kvantnih računalnikov - pa sploh.

Da ne znamo v realnem času idealno rešiti problema trgovskega potnika za 10000 točk ali pa da ne poznavo vseh decimalk števila PI - je zelo irelevantno.

:)
Man muss immer generalisieren - Carl Jacobi

cyer^3d ::

Thomas, n=10000...a spet pretiravas? Ze pri vrednosti n=1000 bi dobil tako stevilo da si je nemogoce predstavljati koliko dolgo bi bilo.
Problem je ze n=67 in nizje..precej nizje... pa ne vem cemu primerjas PI kot stevilo z neskoncno decimalkami ter casovno komplexnost? Trgovski potnik ima tudi koncno vrednost, je resljiv. Prav tako algoritem sam ne samuje nekje v kotu, ampak skorajda karkoli se spravis programirati prej ali slej naletis na tak ali drugacen NP problem. Tudi protokol bo naletel nanj...Me zanima kako bo izracunal za 6 miljard ljudi vsako tisocinko problem NP pri n=10000? ma kaj 10000, ze 1000 je prevec. Menda ja ne bo simulacija 2-bitna v resoluciji 320x200..sorry folx, sam jst ze vidim message boxe. hihi

Thomas ::

cyer^3d

> Thomas, n=10000...a spet pretiravas?

Tukajle so šli čez 10 tisoč.

Abstraktna matematika - pa naj bo končna kot pri TSP ali nekončna kot pri decimalkah PIja - ni v splošnem rešljiva niti zdaj. Z "naravo". Če pa je - in kadar je - je rešitev našel nek Turingov stroj. Človeški možgani, množica človeških možganov, računalniška mreža ... whatever. Nek, zdaj še primitiven Turingov stroj pač.

Kmalu, pa utegnemo imeti celo transTuringove mašine - kvantne računalnike, ki bodo kos tudi nekaterim NP zadevam zelo zlahka.

Pa saj ne, da bi jih nujno potrebovali. Evolucijski algoritem implementiran na Turingovi mašini uspešno razbija NP probleme že zdaj. Približno je za tale naš fizikalni svet često čisto dobro. Ker ko je pri trgovskem potniku napaka manjša od Planckove konstante - je praktično absolutno nepomembna. To je pa zelo hitro.

:)

Ja?

Man muss immer generalisieren - Carl Jacobi

cyer^3d ::

Torej, oni so pac problem 'tweakali' da je komplexnost padla. S tem so sicer pridobili tisti velik n, vprasanje pa je kaksna je nadaljna uporabnost. Vprasanje je tudi do kaksne stopnje se da na tak nacin pridobivati resitve. Protokol pa bi moral pac v tem primeru z nevronskimi mrezami+genetskim algoritmom sproti razvijat te 'tweake', kar pa spet vzame dragoceni cas.
Kakor si sam rekel, protokol bo deloval na 'priblizke', vsekakor ne bolje kot 'narava'. Recimo, da bosta protokol in 'narava' vseeno na isti stopnji, konec koncev sta na istem hardwearju, zamenjal se bo potem prakticno le softwear. Thomas, daj malo razlozi se enkrat zakaj bo ta softwear tako boljsi od tega sedaj?

Thomas ::

Nič ne vem o tem, da bi ga tweakali.

Problem so pač rešili s približno 1017 procesorskimi ukazi. Samo načrtovanje algoritma in programa je pa teklo leta v glavah mnogih ljudi. Največ 1022(?) bit write erase operacij recimo. (Ker ko misli človek, je to pač tudi nek Turingov proces.)

Ne pa z 10cca 50000. In to čisto korektno.

Kako ta svet takle ni najbolj idealen - je precej očitno. Kako točno postaviti vse njegove atome, da bo najbolje za vse sentiente, je pa problem za uploade in/ali FAI. Vem samo, da je vse kar je sedaj rezultat random evolucije - najmanj septiljonkrat pod optimumom.

That's about to change soon.

:)

Man muss immer generalisieren - Carl Jacobi

Mir ::

Jaz sem se že nekje na tem forumu popolnoma strinjal s tabo Thomas, da so možgani računalnik. Toda vedeti je treba, da ne gre kar tako direktno primerjati biološki (naravni) računalnik z umetnim (t.i. elektronskim). Osnovna razlika je v tem, da naravni računalniki niso digitalni ampak analogni (to je bistvena razlika). Takoj si lahko zamislimo enostaven problem kako bi simulirali analogno uro z digitalno. Ker že ima marsikdo digitalno uro s kazalci vidimo, da to gre, vendar tudi v tem primeru ni tako enostavno narediti zveznega premika kazalca zato mnoge ure le preskočijo, ko je potekel določen čas.

Simulirati mnogo bolj zapleten analogni elektro kemični računalnik je precej bolj zahtevna naloga, ki je zagotovo ne bo mogoče rešiti le z elektronskimi računalniki. Verjetno bo za to potreben neke vrste umeten biološki računalnik (to pa je že področje genetike!).

Kdor govori o simulacijah kemičnih procesov v elektronskem računalniku v realnem času bo verjetno še precej dolgo čakal. Lahko je govoriti o simulacijah, če se z njimi ne ukvarjate. Teoretično je pač vse mogoče. Praktično pa simulacija ni emulacija. Simulacija je proces, kjer približno posnemamo naravni proces z uporabo računalniškega modela. Definicijo modela je podal že Einstein, ko je rekl, da mora biti model enostaven, vendar ne enostavnejši.

Direktno posneti narave pa se žal ne da! Problem je v tem, da s tem ko nekaj snemate stvar spremenite. Če bi želeli recimo posneti vse molekule v možganih bi morali možgane nekako poskenirati. S čim? Če želimo opazovati mikrosvet ga običajno obstreljujemo z elektroni. S tem pa uničujemo orginalen zapis. Poleg tega ni dovolj posneti vseh molekul v možganih ampaj je zagotovo potrebno posneti vsaj pozicije vseh prostih elektronov (če predpostavimo, da možgani delujejo zgolj električno - pa ne!)

Smešno pa se mi zdi, ko nekdo reče, da bi posneli samo zavest pri tem pa se oklepa računalniške teorije. Kaj pa je zavest? Računalniški program? Menda ne bom šel skenirat Pentiuma z elektronskim mikroskopom, če bom želel shraniti kak program na disk. Verjetno je bolj pomembno (in prej potrebno!) narediti nekak direktni human-computer interface potem pa razmišljati obratno, kako bi manjše koristne programe downloadali v možgane.

.:joco:. ::

Mir, not bad, not bad at all!

A/D (analog to digital) je problem povsod. Tudi pri sintezi zvoka, sliki,... Mnogi pravijo da digitalno še ni doseglo analognega v bolj zapletenih procesih in verjetno bo treba še kar lep čas čakat, da ga bo doseglo (če sploh) pri simulaciji misli in podobnega. Razen seveda, če so možgani zelo enostavni, kar sploh ni nemogoče. Le da so neenostavno zakodirani.

Me zanima Thomasov reply, I can't wait!
"Is science true?"
You don't get it.
Science is the process of trying to find out what's true.

Thomas ::

Mir

Če bi skenirali možgane subatomsko natančno, bi nam "Hiesenberg ubil človeka". Še preden bi bil ta poskeniran.

Vendar nam tega ni treba. Dobolj je, če najdemo vse nevrone in vse povezave med njimi. Poleg tega pa še imeti dobro teorijo, kako nevroni delujejo.

Teorijo praktično imamo - zajemanje podatkov o nevronih in sinapsah pa ne bi smelo biti več dolgo zdravju nevarna zadeva.

En nevron je dokaj preprost strojček, ki okoli 200 krat na sekundo pošlje signal vsem, s katerimi je povezan.

Program na digitalnem računalniku, ki ga bo simuliral, ne bo tako zelo zapleten.

Simulirati jetra ali možgane - ni bistveno različno. Le, da je rezultat slednje simulacije razmišljanje. To, kar potrebujemo.

Lahko naredimo tudi kalkulacijo čez palec:

Vsako tisočinko sekunde, bo (simulirani) nevron oddal signal - ali ga ne bo. Odvisno od stanja, v katerem je. 100 inštrukcij - recimo. Krat 100 milijard je 1013 inštrukcij. 10 krat manj od Moravčeve spodnje meje.

Le da imamo že petkratnega uploada in danes obstoječi superračunalnik.

No ja, četudi bi bilo 1000 krat bolj komplicirano - v 20 letih smo tam.

Mislim pa, da ne bo niti toliko.

Scan je še najbolj kočljiv člen v tej verigi.

:)

Man muss immer generalisieren - Carl Jacobi

Mir ::

Vsaka stvar, ki je ne poznaš dovolj dobro je običajno enostavna. Poznate tisto:
mag. Janez Novak: Fizika
dr. Janez Novak: Uvod v fiziko

Ko pa poskušaš nekaj zelo dobro simulirati moraš natančno vedeti kako stvar deluje. Nevroni so po mojem zelo zmogljivi mikroprocesorji (mnogo zmogljivejši kot današnje silikonske ploščice - nizek takt namiguje prej na optimalno zgradbo, kot na počasnost). V povezavi z ostalimi nevroni (med katerimi so nekateri posebej specializirani) tvorijo visoko zmogljiv paralelni procesor, ki deluje večnivojsko (delno električno, delno kemično). Posebej zanimiva je ideja, da pošlješ razpršeno informacijo ostalim nevronom z uporabo hormonov. Če poskušate danes sestaviti cluster računalnikov v superračunalnik je glavna težava v prenosu prodatkov med procesorji in skupno uporabo RAMa. V BIO računalnikih je to zelo elegantno rešeno, s silikonom pa se tega ne da narediti. Zato seveda danes razmišljajo, da bi naredili BIO računalnike, ki bodo res omogočili velik napredek, čeprav bodo temeljili na t.i. nepopolnih z evolucijo zgrajenih strojih.

Razlika med silikonsko ploščico in nevronom je takšna kot je razlika med jamskim risanjem (v prazgodovini) in 3D modeliranjem najnovejšega modela avtomobila.

Thomas ::

Mir

Ni vprašanje, kako tale zadeva (nevron) deluje.



Vprašanje je le po kakšnem algoritmu dela. Kakšna je vhodno/izhodna tabela signalov. Je preprosta - ali je komplicirana.

Če bi nadomestili en nevron s preprostim programčkom, ki bere tisto tabelo (pa kakršna že je) in odgovarja na signale po tistih navodilih, ostali nevroni ne bi imeli nobenega načina, da bi ugotovili, da je med njimi robotski vsiljivec.

Niti, da so vsi oni "samo" programčki na digitalnem računalniku.

My guess je, da je algoritem ki ga izvaja nevron - precej preprost, celo primitiven. In tudi precej robusten in neobčutljiv na motnje.

Computing na mesu, bi evolucija težko naredila drugače, kot je tudi vse ostalo. Dokaj preprosto.

:)

Man muss immer generalisieren - Carl Jacobi

Phil ::

Hja, nad tole idejo o protokolu sem bil nekaj casa precej navdušen. Pa ne verjamem vec, da ga bomo kdaj videli.
Prevec je tega "AI nam bo naredila...". Kako vse skupaj prakticno narediti, pa transhumanistov zgleda ne zanima prevec. Kaze da mislijo, da je dovolj ce druge navdusijo nad idejo, potem naj pa ti naredijo.
Jaz mislim, da clovek pac ne more narediti nekaj zapletenejšega od sebe. Enako kot v našem vesolju ne moremo zgraditi dovolj
mocnega simulatorja, ki bi simuliral vse delce v vesolju. Ce pa že "core" od AI ni bolj zapletena od nas ni vredna nic.
Ne verjamem, da bomo z evolucijskim logaritmi+nevrosnke mreže prišli kdaj dalj, kot do robotkov, ki opravljajo povsem specificne zadeve.
Kdo pa pravi da je model nevronskih mrez popoln. Cez 20 let bodo mogoce na multi miljonskem racunalu simulirali simpanzove mozgane, zraven pa se bodo praskali po glavah, zakaj se ne obnasajo tako kot pravi simpanzovi.
Zakaj ne? Zato ker je model ze v osnovi ni pravilen. Popolnega pa ne bomo nikdar izdelali, ker je prezapleten za nas. Ja, teorije so se ze velikokrat zamenjale in se se veckrat bodo.
Napredujemo in se bomo napredovali, a tudi napredek ima svojo limito.
Takole se je drugace bedarija kregati, ker bo samo cas pokazal kdo je imel prav. Bomo videli cez 20 let, ce bomo se zivi.
LP



.:joco:. ::

Ja, problem je, ker digitalni nevron ne bi bil pod vplivom hormonov in hipotalamusa.

Sicer bi imel tukaj en velik plus, ker mu testosteron ne bi nagajal pri koncentraciji in podobno. Samo vprašanje je, glede na to, da je nevron "analogen", če je potem možno prebrati s tiste tabele kaj odgovoriti. Zagotovo se obnaša po nekem vzorcu, ki je bolj ali manj pravilen. In verjetno ni prav hudičevo zapleten ta vzorec.

Pri možganskih operacijah mora biti pacient buden, le rahlo je omamljen. Velikokrat se je že zgodilo, da ko se je zdravnik s skalpelom (ali čimerkoli že) dotaknil enega dela možganov, je pacient izgovoril besedo (recimo svoje ime, ali mama), ali pa je zdravnik celo povzročil z dotikom celo verižno reakcijo čutov, da se je pacient začel jokati...

To sicer ne pomeni, da so nevroni enostavno zgrajeni, samo pa pomeni, da je komuniciranje med njimi zelo enostavno. V človeškem telesu jih v glavnem (posredno) uravnavajo hormoni.
"Is science true?"
You don't get it.
Science is the process of trying to find out what's true.
««
20 / 182
»»