Forum » Znanost in tehnologija » It means business
It means business
imagodei ::
No, tukaj mešaš vsebino in formo. Verjetno bi ti Thomas in nevone znala bolje odgovorit (oz. kdorkoli, ki se s tem ukvarja), bom pa vseeno poskusil.
Za tvoj primer delovanja možganov, je seveda bolj primerna simulacija nevronske mreže. To nevronsko mrežo pa sedaj lahko poženeš skozi nek bolj ali manj zahteven evolucijski program (GA), ki bo kot fitness ocenjeval podobnost z delovanjem človeških možganov. Hud podvig, poleg tega pa fitness funkcijo težko podaš v obliki "podobno, kot človeški možgani".
Bi bila pa verjetno izvedljiva sledeča naloga: imaš nevronsko mrežo npr. par 1000 virtualnih nevronov, ki so med sabo naključno povezani. Na eni strani imaš vhod, npr 2x8 vhodnih signalov + 1x2 vkodna signala, s katerimi zakodiraš dve 8 bitni števili in matematične znake za +, -, *, /. Na izhodni strani imaš npr. 1x16 signalov oz. 16 bitno število.
Nad to mrežo sedaj poženeš genski algoritem in v vsaki generaciji testiraš "offspring" z npr. 100 izračuni (ki ostajajo enaki skozi generacije). V vsaki generaciji izbereš za gene pool tiste nevronske mreže, ki so rezultate najbolj zadele, poženeš nov krog evolucije in zopet oceniš offspring. In tako naprej, dokler nevronska mreža npr ne zadane 99,99% operacij.
V še poenostavljenem primeru boš v začetnem stanju npr. podal mreži izračun 10x10, ven pa boš dobil popoln nesmisel, npr. 3 ali pa 49872.
Poženeš GA in dobiš npr 100 potomcev, od katerih je večina še slabših, kot so bili starši. Nekaj pa jih že kaže boljše rezultate: Npr. 16, 1298, 3100. Te vzameš za izhodišče za novo generacijo. Spet GA, dobiš spet 100 novih potomcev, večina je totalno zanič, en majhen procent pa kot rezultat podaja vedno bolj točna števila: 45, 864, 512...
In tako naprej, skozi nekaj 100 generacij prideš do potomca, ki bo na vhod 10x10 vrnil rezultat 100. Takšna mreža je očitno primerna samo za izračun 10x10, če boš podal vhod 7x4 ti nihče ne garantira, da bo izračunana vrednost pravilna. Zato pa v gornjem primeru kot fitness podaš več izračunov (npr. 100), ki v bistvu zagotavljajo, da se v nevronski mreži razvije neka logika, ne pa fiksno ožičenje za specifičen primer.
Za tvoj primer delovanja možganov, je seveda bolj primerna simulacija nevronske mreže. To nevronsko mrežo pa sedaj lahko poženeš skozi nek bolj ali manj zahteven evolucijski program (GA), ki bo kot fitness ocenjeval podobnost z delovanjem človeških možganov. Hud podvig, poleg tega pa fitness funkcijo težko podaš v obliki "podobno, kot človeški možgani".
Bi bila pa verjetno izvedljiva sledeča naloga: imaš nevronsko mrežo npr. par 1000 virtualnih nevronov, ki so med sabo naključno povezani. Na eni strani imaš vhod, npr 2x8 vhodnih signalov + 1x2 vkodna signala, s katerimi zakodiraš dve 8 bitni števili in matematične znake za +, -, *, /. Na izhodni strani imaš npr. 1x16 signalov oz. 16 bitno število.
Nad to mrežo sedaj poženeš genski algoritem in v vsaki generaciji testiraš "offspring" z npr. 100 izračuni (ki ostajajo enaki skozi generacije). V vsaki generaciji izbereš za gene pool tiste nevronske mreže, ki so rezultate najbolj zadele, poženeš nov krog evolucije in zopet oceniš offspring. In tako naprej, dokler nevronska mreža npr ne zadane 99,99% operacij.
V še poenostavljenem primeru boš v začetnem stanju npr. podal mreži izračun 10x10, ven pa boš dobil popoln nesmisel, npr. 3 ali pa 49872.
Poženeš GA in dobiš npr 100 potomcev, od katerih je večina še slabših, kot so bili starši. Nekaj pa jih že kaže boljše rezultate: Npr. 16, 1298, 3100. Te vzameš za izhodišče za novo generacijo. Spet GA, dobiš spet 100 novih potomcev, večina je totalno zanič, en majhen procent pa kot rezultat podaja vedno bolj točna števila: 45, 864, 512...
In tako naprej, skozi nekaj 100 generacij prideš do potomca, ki bo na vhod 10x10 vrnil rezultat 100. Takšna mreža je očitno primerna samo za izračun 10x10, če boš podal vhod 7x4 ti nihče ne garantira, da bo izračunana vrednost pravilna. Zato pa v gornjem primeru kot fitness podaš več izračunov (npr. 100), ki v bistvu zagotavljajo, da se v nevronski mreži razvije neka logika, ne pa fiksno ožičenje za specifičen primer.
- Hoc est qui sumus -
Saladin ::
imaš nevronsko mrežo npr. par 1000 virtualnih nevronov, ki so med sabo naključno povezani. Na eni strani imaš vhod, npr 2x8 vhodnih signalov + 1x2 vkodna signala, s katerimi zakodiraš dve 8 bitni števili in matematične znake za +, -, *, /. Na izhodni strani imaš npr. 1x16 signalov oz. 16 bitno število.
Ampak še vedno je evolucijski program povsem odvisen od tvojih začetnih parametrov:
Kako ti veš, da možgani okvirno delujejo po tem principu?
Kajti tudi, če ti program sčasoma poda pravilen rezultat, ni nujno, da ti z tem simulira delovanje človeških možganov...
"thinks it over"
Ampak saj na konc koncev ni važen postopek, ampak rezultat...
Hmmm...
Motil sem se.
Res je, da ti ta postopek ne bo nujno v detajle razložil in simuliral človeške možgane (torej moja kritika feedbacka), bo pa na koncu lahko izvedel isti rezultat na drugačen način. Verjetno celo bolje in učinkoviteje od človeških možganov. Kaj češ z točnim razumevanjem človeških možganov če pa lahko narediš bolje...
OK, 2040.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
imagodei ::
Ja, problem tele nevronske mreže iz mojega primera je tudi ta, da se omeji na en zelo majhen subset (človeških) možganov. Na podoben način bi IMHO lahko zevoluiral tudi spomin ali pa sprva preprosto aristotelsko logiko in boolovo algebro, potem matematično logiko in morda kasneje tudi kakšno preprosto abstraktno logiko. Verjetno bi lahko z dovolj veliko nevronsko mrežo zevoluiral 3D razpoznavo objektov (krogla, kvader, morda celo obraza?)
Fitness funkcija je tukaj končni rezultat, ja. Sama nevronska mreža je črna škatla. Konec koncev ne veš, kako si nevronska mreža "predstavlja" kvader ali stožec, veš le, da ga pravilno prepozna.
Fitness funkcija je tukaj končni rezultat, ja. Sama nevronska mreža je črna škatla. Konec koncev ne veš, kako si nevronska mreža "predstavlja" kvader ali stožec, veš le, da ga pravilno prepozna.
- Hoc est qui sumus -
nicnevem ::
@Saladin
-> Ne vidim tega feedback loopa, ki bi izboljševal prvoten set pravil.
To je analogno zahtevi, da bi biološka evolucija spreminjala fizikalne zakone.
V vsakem optimizacijskem procesu obstaja stabilen, nespreminjajoč nivo, vendar to ne omejuje (nujno) njegove moči. Če substrat omogoča splošno izračunljivost, potem ni več omejujoč faktor pri doseganju vrhov pokrajine rešitev (če zanemarimo časovno komponentno). Samo še od lastnosti opt. procesa je odvisno, ali se bo ujel v najbližjo lokalno rešitev, ali bo njegovo iskanje preširoko in s tem približevanje nekemu optimumu zelo počasno itd...
Konkretno, če poganjaš evolucijo nad programi napisanimi v nekem splošnem prog. jeziku, potem v principu ni nobene ovire, da ne bi EA razvil človeka.
Ali pa če EA deluje nad nevronskimi mrežami, kot je nakazal imagodei. Tudi te omogočajo splošno izračunljivost. Obstaja torej nevronska mreža, ki je ekvivalent naših možganov - tako kot obstaja Turingov stroj, ki lahko izvaja windowse. "Samo" dovolj velika mora biti.
Srž problema je v neučinkovitosti evolucije. (poleg drugih "tehničnih" problemov, kot je podajanje primerne ciljne funkcije)
-> Ne vidim tega feedback loopa, ki bi izboljševal prvoten set pravil.
To je analogno zahtevi, da bi biološka evolucija spreminjala fizikalne zakone.
V vsakem optimizacijskem procesu obstaja stabilen, nespreminjajoč nivo, vendar to ne omejuje (nujno) njegove moči. Če substrat omogoča splošno izračunljivost, potem ni več omejujoč faktor pri doseganju vrhov pokrajine rešitev (če zanemarimo časovno komponentno). Samo še od lastnosti opt. procesa je odvisno, ali se bo ujel v najbližjo lokalno rešitev, ali bo njegovo iskanje preširoko in s tem približevanje nekemu optimumu zelo počasno itd...
Konkretno, če poganjaš evolucijo nad programi napisanimi v nekem splošnem prog. jeziku, potem v principu ni nobene ovire, da ne bi EA razvil človeka.
Ali pa če EA deluje nad nevronskimi mrežami, kot je nakazal imagodei. Tudi te omogočajo splošno izračunljivost. Obstaja torej nevronska mreža, ki je ekvivalent naših možganov - tako kot obstaja Turingov stroj, ki lahko izvaja windowse. "Samo" dovolj velika mora biti.
Srž problema je v neučinkovitosti evolucije. (poleg drugih "tehničnih" problemov, kot je podajanje primerne ciljne funkcije)
Saladin ::
To je analogno zahtevi, da bi biološka evolucija spreminjala fizikalne zakone.
Mar ni to analogno temi o makroskopskem svetu, ki lahko vpliva na kvantnega?
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
gani-med ::
"makro-svet" ne more spreminjati kvantnih zakonitosti.
Vse, kar se dogaja na makro nivoju, je le odsev globjega kvantnega dogajanja.
Vse, kar se dogaja na makro nivoju, je le odsev globjega kvantnega dogajanja.
CO2 is the elixir of life.
nicnevem ::
@Saladin
-->To je analogno zahtevi, da bi biološka evolucija spreminjala fizikalne zakone.
-> Mar ni to analogno temi o makroskopskem svetu, ki lahko vpliva na kvantnega?
Njet. Malo mešaš nivoje opisa. Makroskopski svet ni neka ločena ontološka celota, temveč le skupek abstrakcij, ki jih zgradijo naši možgani nad kvantnim opisom sveta (oz. nad tistim kar resnično obstaja).
Ko sklatiš banano s palico z drevesa, je del kvantnega sveta vplival na drug del kvantnega sveta, lahko rečeš tudi da je en del makro sveta vplival na drug del (kadar govoriš o bananah in palici govoriš o omenjenih makro abstrakcijah), vplivanje makro sveta na kvantni svet je pa... mešanje hrušk in jabolk. :)
S stabilnim nivojem fizikalnih zakonov nad katerimi teče evolucija sem imel v mislih to, da so fizikalni zakoni neke nespremenljive univerzalno veljavne regularnosti v našem vesolju, medtem ko pa je evolucija abstrakcija določene vrste dogajanja, spremenljivosti, ki "vznikne" iz stabilnosti fizike...
Fizikalne zakone je takorekoč po definiciji nemogoče spreminjati, ker so to tiste osnovne nespremenljivosti... lahko bi rekel, osnovna pravila, ki določajo evoluciji iskalni prostor.
Kakorkoli že, mislim da tema ni namenjena toliko tej filozofski debati, ampak bolj vprašanjem oblike: "Ali je s pomočjo EA mogoče narediti splošno, avtonomno AI?", "Kako inteligentni sploh so EA?"...
-->To je analogno zahtevi, da bi biološka evolucija spreminjala fizikalne zakone.
-> Mar ni to analogno temi o makroskopskem svetu, ki lahko vpliva na kvantnega?
Njet. Malo mešaš nivoje opisa. Makroskopski svet ni neka ločena ontološka celota, temveč le skupek abstrakcij, ki jih zgradijo naši možgani nad kvantnim opisom sveta (oz. nad tistim kar resnično obstaja).
Ko sklatiš banano s palico z drevesa, je del kvantnega sveta vplival na drug del kvantnega sveta, lahko rečeš tudi da je en del makro sveta vplival na drug del (kadar govoriš o bananah in palici govoriš o omenjenih makro abstrakcijah), vplivanje makro sveta na kvantni svet je pa... mešanje hrušk in jabolk. :)
S stabilnim nivojem fizikalnih zakonov nad katerimi teče evolucija sem imel v mislih to, da so fizikalni zakoni neke nespremenljive univerzalno veljavne regularnosti v našem vesolju, medtem ko pa je evolucija abstrakcija določene vrste dogajanja, spremenljivosti, ki "vznikne" iz stabilnosti fizike...
Fizikalne zakone je takorekoč po definiciji nemogoče spreminjati, ker so to tiste osnovne nespremenljivosti... lahko bi rekel, osnovna pravila, ki določajo evoluciji iskalni prostor.
Kakorkoli že, mislim da tema ni namenjena toliko tej filozofski debati, ampak bolj vprašanjem oblike: "Ali je s pomočjo EA mogoče narediti splošno, avtonomno AI?", "Kako inteligentni sploh so EA?"...
gani-med ::
EA so lahko "neumni kot zajla", vendar lahko kljub temu sproducirajo "avtonomno AI".
Najboljši dokaz, da je to mogoče, je prav naš obstoj.
Predpogoj so pa ugodni naravni pogoji.
V praznem vesolju ali v vesolju brez zvezd (samo elektromagnetno valovanje) najverjetneje ne bi bilo ustreznih naravnih pogojev za tovrstno evolucijo.
Najboljši dokaz, da je to mogoče, je prav naš obstoj.
Predpogoj so pa ugodni naravni pogoji.
V praznem vesolju ali v vesolju brez zvezd (samo elektromagnetno valovanje) najverjetneje ne bi bilo ustreznih naravnih pogojev za tovrstno evolucijo.
CO2 is the elixir of life.
Saladin ::
Njet. Malo mešaš nivoje opisa. Makroskopski svet ni neka ločena ontološka celota, temveč le skupek abstrakcij, ki jih zgradijo naši možgani nad kvantnim opisom sveta (oz. nad tistim kar resnično obstaja).
Kakorkoli že, mislim da tema ni namenjena toliko tej filozofski debati, ampak bolj vprašanjem oblike: "Ali je s pomočjo EA mogoče narediti splošno, avtonomno AI?", "Kako inteligentni sploh so EA?"...
O, pa mislim da je.
Odnos kvantnega in makroskopskega je bil obdelan v drugi temi. Določene višje, kompleksnejše strukture moraš obravnavati drugače kot pa zgolj njihove sestavne enote.
Odnos naravne evolucije in tiste, pod vplivom človeka, je podoben temu. Ne moreš enačit, kako se je evolucija obnašala brez kompleksnejših struktur in kako se obnaša z njimi (kompleksne strukture smo seveda mi in naš um) - kljub temu, da oboje na najbolj osnovnem nivoju deluje po istih pravilih.
Pravila igre so morda vedno enaka, ampak bolj kot je kompleksna struktura, bolj prevzema vodstvo te igre.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
Zgodovina sprememb…
- spremenil: Saladin ()
nicnevem ::
@gani-med
-> EA so lahko "neumni kot zajla", vendar lahko kljub temu sproducirajo "avtonomno AI".
-> Najboljši dokaz, da je to mogoče, je prav naš obstoj.
Jasno, v principu je to zagotovo mogoče. V praksi pa neizvedljivo zaradi prešibkega hardwera (vsaj do naprednega nanotecha) - no ja, morda z dovolj zvito uporabo EA niti ni tako zelo nemogoče. Tu pride v igro Thomasova "auto rekurzivna" (inteligentnejša?) evolucija.
@Saladin
-> Določene višje, kompleksnejše strukture moraš obravnavati drugače kot pa zgolj njihove sestavne enote.
Ja, in kaj naj bi to dokazovalo? Da je svet razdeljen na različne ontološke nivoje, med katerimi vladajo zapletena kavzalna razmerja? Sori, non sequitur.
Če potrebujemo različne zemljevide za različne namene, še ne pomeni, da tudi obstajajo različni svetovi, ki ustrezajo tem zemljevidom. There is only one world...
-> Ne moreš enačit, kako se je evolucija obnašala brez kompleksnejših struktur in kako se obnaša z njimi (kompleksne strukture smo seveda mi in naš um) - kljub temu, da oboje na najbolj osnovnem nivoju deluje po istih pravilih.
Seveda je evolucija v kateri nastopamo ljudje različna od evolucije, v kateri nas ni in seveda so temeljni naravni zakoni v obeh primerih enaki. Tule ni nobenega "paradoksa", le ločiti je potrebno med samimi zakoni in entitetami, ki so dejansko predmet teh zakonov.
-> Pravila igre so morda vedno enaka, ampak bolj kot je kompleksna struktura, bolj prevzema vodstvo te igre.
Se trudimrazumeti, kaj točno misliš z zgornjimi trditvami, ampak mi bolj slabo uspeva. Predlagam da si poskušaš predstavljati vesolje kot ogromen celularni avtomat, na katerem se odvija Game of Life in v katerem se pojavijo inteligentna bitja, ki razmišljajo o sebi in o drugih delih njihovega vesolja... in so malo zmedena, tako kot ti - pa brez zamere. :)
Naše vesolje je zelo podobno Conwayevi igri, le da so osnovna pravila drugačna, ravno tako pa se v njem lahko pojavi netrivialna oblika evolucije, ki jo pa lahko opišemo na različnih nivojih. Če so samoreplikatorji dovolj preprosti, lahko kar z matrikami "polnih" in "praznih" polj, če bi pa postali zapletenejši, bi se pa morali drugače znajti. Uporabiti drugačen zemljevid.
Upam, da tole nekoliko razjasni mojo pozicijo. Gremo zdaj raje k rekurzivni evoluciji. :)
-> EA so lahko "neumni kot zajla", vendar lahko kljub temu sproducirajo "avtonomno AI".
-> Najboljši dokaz, da je to mogoče, je prav naš obstoj.
Jasno, v principu je to zagotovo mogoče. V praksi pa neizvedljivo zaradi prešibkega hardwera (vsaj do naprednega nanotecha) - no ja, morda z dovolj zvito uporabo EA niti ni tako zelo nemogoče. Tu pride v igro Thomasova "auto rekurzivna" (inteligentnejša?) evolucija.
@Saladin
-> Določene višje, kompleksnejše strukture moraš obravnavati drugače kot pa zgolj njihove sestavne enote.
Ja, in kaj naj bi to dokazovalo? Da je svet razdeljen na različne ontološke nivoje, med katerimi vladajo zapletena kavzalna razmerja? Sori, non sequitur.
Če potrebujemo različne zemljevide za različne namene, še ne pomeni, da tudi obstajajo različni svetovi, ki ustrezajo tem zemljevidom. There is only one world...
-> Ne moreš enačit, kako se je evolucija obnašala brez kompleksnejših struktur in kako se obnaša z njimi (kompleksne strukture smo seveda mi in naš um) - kljub temu, da oboje na najbolj osnovnem nivoju deluje po istih pravilih.
Seveda je evolucija v kateri nastopamo ljudje različna od evolucije, v kateri nas ni in seveda so temeljni naravni zakoni v obeh primerih enaki. Tule ni nobenega "paradoksa", le ločiti je potrebno med samimi zakoni in entitetami, ki so dejansko predmet teh zakonov.
-> Pravila igre so morda vedno enaka, ampak bolj kot je kompleksna struktura, bolj prevzema vodstvo te igre.
Se trudimrazumeti, kaj točno misliš z zgornjimi trditvami, ampak mi bolj slabo uspeva. Predlagam da si poskušaš predstavljati vesolje kot ogromen celularni avtomat, na katerem se odvija Game of Life in v katerem se pojavijo inteligentna bitja, ki razmišljajo o sebi in o drugih delih njihovega vesolja... in so malo zmedena, tako kot ti - pa brez zamere. :)
Naše vesolje je zelo podobno Conwayevi igri, le da so osnovna pravila drugačna, ravno tako pa se v njem lahko pojavi netrivialna oblika evolucije, ki jo pa lahko opišemo na različnih nivojih. Če so samoreplikatorji dovolj preprosti, lahko kar z matrikami "polnih" in "praznih" polj, če bi pa postali zapletenejši, bi se pa morali drugače znajti. Uporabiti drugačen zemljevid.
Upam, da tole nekoliko razjasni mojo pozicijo. Gremo zdaj raje k rekurzivni evoluciji. :)
nicnevem ::
Kakšne pa so kaj slabe lastnosti evolucije oziroma omejitve, ki ji ovirajo konstrukcijo popolnih organizmov?
Že oguljen odgovor gre nekako takole: evolucija ne zmore poškiliti v prihodnost. Vsak gen se znajde v genomu le če je koristen takoj, sicer pač ne more postati temelji kamen morebitnega mozaika genov, ki bi kasneje zgradili superiorno adaptacijo - tudi če je pot, ki bi vodila od tega gena do adaptacije nam popolnoma očitna. Zaradi tega evolucija rada zaide v lokalne maksimume.
Primer zgornjega je slepič, ki se ga evolucija ne more znebiti, ker bi gen, ki bi ga zmanjšal, povečal nevarnost vnetja in s tem zmanjšal naš fitnes. Več simultanih, koordiniranih sprememb, ki bi bile potrebne za odstranitev slepiča, pa je preko njenih sposobnosti.
Običajno se tudi omenja, da evolucija ne more "pobrisati table in začeti znova" (primer bi bili naši nevroni, ki zaradi svoje počasnosti niso ravno najboljši substrat za kompleksno človeško misel, vendar evolucija ne more reči "ok, dejmo tele nevrone ven pometat, pa vržmo not en nanotech-baseh comp, ki smo ga spotoma razvili zadej v garaži na enih podganah"), meni pa je predvsem zanimiva omejitev njene hitrosti v smislu količine informacij, ki jih lahko akumulira v genomu z eno generacijo organizmov.
Gre za Shannonovo (matematično) informacijo, ki jo do dobimo iz razmerja med otroci, ki preživijo (in se množijo) in tistimi, ki jih naravni izbor eliminira. Kakorkoli že, ta količina je neverjetno majhnih nekaj bitov na celoten "gene pool" neke populacije na generacijo.
Iz tega je očitno, zakaj potrebuje evolucija tako dolga obdobja, da lahko razvije kakršenkoli kompleksen mehanizem (za katerega 5 bitov pač ni dovolj).
Zanimivo je tudi koliko generacij je potrebnih, da neka mutacija postane univerzalna v gene poolu. In zakaj bi bilo to pomembno? Finta je v tem, da se kompleksne adaptacije lahko razvijejo le tako, da eden za drugim postajajo geni, ki so potrebni zanje, univerzalni v populaciji, ker če bi njihova verjetnost da jih najdemo v nekem posamezniku nihala, bi bilo praktično nemogoče najti celotno združbo v kateremkoli organizmu, s tem pa tudi celotno adaptacijo...
Kakorkoli že, izkaže se, da je to število generacij odvisno od velikosti populacije in koristnosti mutacije, številke pa se gibljejo od nekaj sto do nekaj tisoč (če bi kdo rad poračunal, lahko tudi poiščem formulo).
Ta omejitev še z druge strani osvetli temno dejstvo, koliko časa se je evoluciji potrebno mučiti z gradnjo recimo mehanizma za učenje jezika, srca ali kake druge kompleksne adaptacije. Tisočletja minejo brez kake večje spremembe...
Kako pa je s simulirano evolucijo? Če se držimo strogo algoritma, po katerem deluje biološka, potem so njene omejitve pač enake - kako bi ne bile!?
Pot do splošne umetne inteligence na preprost evolucijski način je zaprta... zato potrebujemo nekaj boljšega.
Že oguljen odgovor gre nekako takole: evolucija ne zmore poškiliti v prihodnost. Vsak gen se znajde v genomu le če je koristen takoj, sicer pač ne more postati temelji kamen morebitnega mozaika genov, ki bi kasneje zgradili superiorno adaptacijo - tudi če je pot, ki bi vodila od tega gena do adaptacije nam popolnoma očitna. Zaradi tega evolucija rada zaide v lokalne maksimume.
Primer zgornjega je slepič, ki se ga evolucija ne more znebiti, ker bi gen, ki bi ga zmanjšal, povečal nevarnost vnetja in s tem zmanjšal naš fitnes. Več simultanih, koordiniranih sprememb, ki bi bile potrebne za odstranitev slepiča, pa je preko njenih sposobnosti.
Običajno se tudi omenja, da evolucija ne more "pobrisati table in začeti znova" (primer bi bili naši nevroni, ki zaradi svoje počasnosti niso ravno najboljši substrat za kompleksno človeško misel, vendar evolucija ne more reči "ok, dejmo tele nevrone ven pometat, pa vržmo not en nanotech-baseh comp, ki smo ga spotoma razvili zadej v garaži na enih podganah"), meni pa je predvsem zanimiva omejitev njene hitrosti v smislu količine informacij, ki jih lahko akumulira v genomu z eno generacijo organizmov.
Gre za Shannonovo (matematično) informacijo, ki jo do dobimo iz razmerja med otroci, ki preživijo (in se množijo) in tistimi, ki jih naravni izbor eliminira. Kakorkoli že, ta količina je neverjetno majhnih nekaj bitov na celoten "gene pool" neke populacije na generacijo.
Iz tega je očitno, zakaj potrebuje evolucija tako dolga obdobja, da lahko razvije kakršenkoli kompleksen mehanizem (za katerega 5 bitov pač ni dovolj).
Zanimivo je tudi koliko generacij je potrebnih, da neka mutacija postane univerzalna v gene poolu. In zakaj bi bilo to pomembno? Finta je v tem, da se kompleksne adaptacije lahko razvijejo le tako, da eden za drugim postajajo geni, ki so potrebni zanje, univerzalni v populaciji, ker če bi njihova verjetnost da jih najdemo v nekem posamezniku nihala, bi bilo praktično nemogoče najti celotno združbo v kateremkoli organizmu, s tem pa tudi celotno adaptacijo...
Kakorkoli že, izkaže se, da je to število generacij odvisno od velikosti populacije in koristnosti mutacije, številke pa se gibljejo od nekaj sto do nekaj tisoč (če bi kdo rad poračunal, lahko tudi poiščem formulo).
Ta omejitev še z druge strani osvetli temno dejstvo, koliko časa se je evoluciji potrebno mučiti z gradnjo recimo mehanizma za učenje jezika, srca ali kake druge kompleksne adaptacije. Tisočletja minejo brez kake večje spremembe...
Kako pa je s simulirano evolucijo? Če se držimo strogo algoritma, po katerem deluje biološka, potem so njene omejitve pač enake - kako bi ne bile!?
Pot do splošne umetne inteligence na preprost evolucijski način je zaprta... zato potrebujemo nekaj boljšega.
Thomas ::
No, zdaj ko smo videli, da je ideja, da bi utegnil nekdo shekati Vesolje, samo z uporabo čistega evolucijskega algoritma, povsem nemogoča, si oddahnimo.
To ni uspelo, ne gre, in ne bo šlo niti v prihodnosti. Poleg tega, nihče niti ne poskuša tega zares storiti, zato si lahko vsi še dodatno oddahnemo.
Če bi evolucijski algoritem bil splošno uporaben, potem bi marsikakšen posvečeni z njim počel kaj "clandestine" ali "very innovative" ali kar oboje, pa je splošno znano, da nihče nič takega uspešno ne počne.
Niti nismo ustanovili nobene firme lani decembra, posvečene prav temu, da komercialno lansiramo digitalno evolucijo.
Kaj šele, da bi ta trenutek cel kup računalnikov kaj uporabnega evoluiralo.
Ali da bi mi kdo včeraj telefoniral "Ej, a veš da je vidu kombinacijo, sem bla prov presenečena!".
To se ne dogaja, to so samo sanje po prečuti noči.
To ni uspelo, ne gre, in ne bo šlo niti v prihodnosti. Poleg tega, nihče niti ne poskuša tega zares storiti, zato si lahko vsi še dodatno oddahnemo.
Če bi evolucijski algoritem bil splošno uporaben, potem bi marsikakšen posvečeni z njim počel kaj "clandestine" ali "very innovative" ali kar oboje, pa je splošno znano, da nihče nič takega uspešno ne počne.
Niti nismo ustanovili nobene firme lani decembra, posvečene prav temu, da komercialno lansiramo digitalno evolucijo.
Kaj šele, da bi ta trenutek cel kup računalnikov kaj uporabnega evoluiralo.
Ali da bi mi kdo včeraj telefoniral "Ej, a veš da je vidu kombinacijo, sem bla prov presenečena!".
To se ne dogaja, to so samo sanje po prečuti noči.
Man muss immer generalisieren - Carl Jacobi
Saladin ::
No, zdaj ko smo videli, da je ideja, da bi utegnil nekdo shekati Vesolje, samo z uporabo čistega evolucijskega algoritma, povsem nemogoča, si oddahnimo.
To ni uspelo, ne gre, in ne bo šlo niti v prihodnosti. Poleg tega, nihče niti ne poskuša tega zares storiti, zato si lahko vsi še dodatno oddahnemo.
Lepo ;)
Stroji in programi ne bodo opravili vso delo namesto vas ampak boste še kar nekaj časa morali tuhtati po klasični metodi. Za dober program potrebujete dober input, ta pa je direktno povezan z tem, kako dobro razumeš predmet, ki ga hočeš sprocesirat.
Npr. če nimaš pojma, kako točno ti delujejo možgani, potem ne pričakovat, da boš lahko spisal program, ki ti ga bo uspel simulirat.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
Thomas ::
Ej ... hecal (ironiziral) sem se s svojim tazdnjim postom. Sem mislil, da je to povsem očitno.
No, mogoče ni bilo, ker je bila šala nekoliko švoh. Pa ker se iz tega ni za hecat.
Po mojih forumskih in predvsem real life izkušnjah, je nicnevem eden najboljših/najpametnejših ljudi, kar sem jih imel čast spoznati. Vem kam meri on in kam meri Luka.
Well ... zelo se motita. Ne bom razlagal nobenih podrobnosti, ampak nimata dovolj podrobne slike.
No, mogoče ni bilo, ker je bila šala nekoliko švoh. Pa ker se iz tega ni za hecat.
Po mojih forumskih in predvsem real life izkušnjah, je nicnevem eden najboljših/najpametnejših ljudi, kar sem jih imel čast spoznati. Vem kam meri on in kam meri Luka.
Well ... zelo se motita. Ne bom razlagal nobenih podrobnosti, ampak nimata dovolj podrobne slike.
Man muss immer generalisieren - Carl Jacobi
Saladin ::
Well ... zelo se motita.
Well - bomo zvedli do 2020 oz. 2040.
Do takrat pa raje prvo brainstormajte in šele potem optimirajte ideje.
Dobro je kar nosi največ svobodne koristi/najmanj bolečine čim več sentientom
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
na najhitrejši, najvarnejši in najbolj moralen način za najdaljše obdobje.
"Utilitarianizem po Saladinovo"
Luka Percic ::
Pot do splošne umetne inteligence na preprost evolucijski način je zaprta... zato potrebujemo nekaj boljšega.
Imo nimamo nič boljšega.
Imamo le to kar nam je dosedaj biološka evolucija prinesla, ter razne veje ki izhajajo iz tega. Biološka evolucija je počasna kot hudič, zato se je raje dopolnila z novim substratom- možgani. Le tam se naprej razvija, vpliva nazaj na "biološko",... Sedaj nam pa tudi to ni več dovolj, pa jo hočemo dopolniti, nato pa preselit na še boljši substrat.
Le ta v taki obliki še ni kaj posebej boljši, vendar ima ogromen potencial. Kdaj bo prevzel pobudo možganom? Kako hitro bo napredoval? Kolkio "okolij" rabimo, za AI, ter koliko hitre "cikle" da se bo to zgodilo v doglednem času?
Ne strinjam se pa nicnevem glede tega, da evolucija nemore stvari pobrisat. Naša inteligenca je zgolj produkt evolucije, ki jo je le ta naredila, da lahko stvari pobriše, kajti očitno se to splača.
Zna pa za take "zanimive manevre" zapravit precej generacij ja!
Sam le pravim da Thomas glede časovnega okvirja "navija".
Da pač nemoremo preveč natančno vedet. Mogoče bo še hitreje (no, ja to težko
), mogoče pa precej počasneje.Seveda ima on boljši vpogled, hkrati pa tudi zanesenjaško naivnost.
Sam seveda upam da je moja skepsa zgolj psihološke narave in da nima realne dejanske osnove.
nicnevem ::
@Thomas
-> Pa ker se iz tega ni za hecat.
Res je. Glede na to, da ocenjuješ svoje možnosti za dosego "prave" AI (AGI) kot dokaj realne, upam da sem in tja tudi kaj pomisliš na temno (UnFriendly) plat zadeve...
-> Well ... zelo se motita.
Morda. Zaenkrat pač ostajam tam, kjer se bil pred zadnjimi nekaj posti.
-> Ne bom razlagal nobenih podrobnosti, ampak nimata dovolj podrobne slike.
Mogoče kak hint, ki bi me premaknil za kak milimeter? :)
Sicer pa brez težav priznam, da o EA vem bolj malo, tako da je tvoja opazka čisto upravičena.
Kljub temu pa mislim, da moja skepsa ni čisto neutemeljena...
Znano mi je recimo, da je z EA mogoče delati čudovite stvari, ki v nekaterih primerih presegajo človeški design (npr. radijske antene za vesoljska plovila); da se uporabljajo pri njih tudi metode, ki pospešijo njihovo delovanje v primerjavi z biološko evolucijo in jim s tem razširijo področje uporabnosti (npr. EDA); niso pa "zdravilo za vsako bolezen" - kar nam je pred kratkim celo nek prfoks na faxu vbijal v glavo ob vprašanju kolega, če bi uporabili kar EA na nekem problemu pri digitalnem procesiranju signalov.
Poleg tega je težko pojasniti dejstvo, da na področju EA dela tisoče ljudi, ki jim očitno ni uspelo ustvariti AGI, drugače kot da samo z njihovimi metodami to ni mogoče. Ali pa kako lahko ob navidez brezmejni moči EA ostaja toliko težkih problemov nerazrešenih (npr. dokazovanje pravilnosti programov, avtomatsko programiranje, računalniški vid...).
Tako kot o vseh delčkih sveta, si tudi o tem poskušam ustvariti čimbolj precizno sliko. Nekako mi je jasno, da ob neverjetnih rezultatih biološke evolucije in ob majhnih ponovitvah njenega plesa v računalnikih nekateri menijo, da so našli Sveti Gral reševanja problemov. Drugi se spet ne morejo otresti prepričanja, da nekaj tako butastega kot EA lahko proizvede sploh karkoli uporabnega.
Resnica ne leži vedno vmes, tokrat pa mislim da je tako. Sčasoma se bo mozaik že sestavil...
Lahko bi še našteval razne razloge, ki so me vodili do tega zaključka, pa bom raje zaželel, da vam tale evolucijski biznis dobro uspe. :)
-> Pa ker se iz tega ni za hecat.
Res je. Glede na to, da ocenjuješ svoje možnosti za dosego "prave" AI (AGI) kot dokaj realne, upam da sem in tja tudi kaj pomisliš na temno (UnFriendly) plat zadeve...
-> Well ... zelo se motita.
Morda. Zaenkrat pač ostajam tam, kjer se bil pred zadnjimi nekaj posti.
-> Ne bom razlagal nobenih podrobnosti, ampak nimata dovolj podrobne slike.
Mogoče kak hint, ki bi me premaknil za kak milimeter? :)
Sicer pa brez težav priznam, da o EA vem bolj malo, tako da je tvoja opazka čisto upravičena.
Kljub temu pa mislim, da moja skepsa ni čisto neutemeljena...
Znano mi je recimo, da je z EA mogoče delati čudovite stvari, ki v nekaterih primerih presegajo človeški design (npr. radijske antene za vesoljska plovila); da se uporabljajo pri njih tudi metode, ki pospešijo njihovo delovanje v primerjavi z biološko evolucijo in jim s tem razširijo področje uporabnosti (npr. EDA); niso pa "zdravilo za vsako bolezen" - kar nam je pred kratkim celo nek prfoks na faxu vbijal v glavo ob vprašanju kolega, če bi uporabili kar EA na nekem problemu pri digitalnem procesiranju signalov.
Poleg tega je težko pojasniti dejstvo, da na področju EA dela tisoče ljudi, ki jim očitno ni uspelo ustvariti AGI, drugače kot da samo z njihovimi metodami to ni mogoče. Ali pa kako lahko ob navidez brezmejni moči EA ostaja toliko težkih problemov nerazrešenih (npr. dokazovanje pravilnosti programov, avtomatsko programiranje, računalniški vid...).
Tako kot o vseh delčkih sveta, si tudi o tem poskušam ustvariti čimbolj precizno sliko. Nekako mi je jasno, da ob neverjetnih rezultatih biološke evolucije in ob majhnih ponovitvah njenega plesa v računalnikih nekateri menijo, da so našli Sveti Gral reševanja problemov. Drugi se spet ne morejo otresti prepričanja, da nekaj tako butastega kot EA lahko proizvede sploh karkoli uporabnega.
Resnica ne leži vedno vmes, tokrat pa mislim da je tako. Sčasoma se bo mozaik že sestavil...
Lahko bi še našteval razne razloge, ki so me vodili do tega zaključka, pa bom raje zaželel, da vam tale evolucijski biznis dobro uspe. :)
nicnevem ::
@Luka Veliki
-> Imo nimamo nič boljšega.
Kot sem samo na hitro omenil zgoraj, obstaja več različic evolucijskih algoritmov in nekatere so precej močnejše od običajnega biološkega algoritma - in tudi zapletenejše. Obstaja pa še cel kup drugih algoritmov, ki pa imajo spet svoje pluse in minuse v primerjavi z EA. Splošnega in relativno preprostega algoritma, ki bi bil mnogo boljši od običajnega EA pa mislim da res ni.
Za omejitev eksponentne ekplozije lahko torej poskušamo uporabiti kombinacijo različnih algoritmov, ki si med seboj pokrivajo šibke točke. Ta pristop je med drugimi ubral Ben Goertzel v svojem AI sistemu Novamente, v katerem sta tesno prepletena dva splošna pristopa: izboljšana različica EA in probabilistično sklepanje.
Na podoben način so se lotili problema tudi pri Bitphase AI.
Ne obstaja namreč en sam preprost, eleganten princip delovanja splošne inteligence, ki bi ga lahko ujeli v nekaj sto ali tisoč vrstic kode - vsaj če nismo pripravljeni čakati na rezultat dokler ne ugasne Sonce - tako da je integracija različnih pristopov praktično edini način, da pridemo do splošnega reševalca problemov.
-> Ne strinjam se pa nicnevem glede tega, da evolucija nemore stvari pobrisat. Naša inteligenca je zgolj produkt evolucije, ki jo je le ta naredila, da lahko stvari pobriše, kajti očitno se to splača.
-> Zna pa za take "zanimive manevre" zapravit precej generacij ja!
Evolucija generira tehnologijo s katero bomo lahko spreminjali svoja telesa (npr. zamenjali svoje nevrone za kaj boljšega)?
Ne gre to tako. Mimogrede si izpustil en element kavzalne verige: evolucija -> ljudje -> tehnologija. :)
Sicer pa drži, da ni čisto nemogoče, da bi evolucija "začela znova". Je le silno malo verjetno (večje število mutacij, ki bi usklajeno spremenile kak del našega telesa, že skoraj meni na čudež, ki pa se seveda lahko zgodi če čakaš dovolj dolgo. Res dolgo.).
-> Imo nimamo nič boljšega.
Kot sem samo na hitro omenil zgoraj, obstaja več različic evolucijskih algoritmov in nekatere so precej močnejše od običajnega biološkega algoritma - in tudi zapletenejše. Obstaja pa še cel kup drugih algoritmov, ki pa imajo spet svoje pluse in minuse v primerjavi z EA. Splošnega in relativno preprostega algoritma, ki bi bil mnogo boljši od običajnega EA pa mislim da res ni.
Za omejitev eksponentne ekplozije lahko torej poskušamo uporabiti kombinacijo različnih algoritmov, ki si med seboj pokrivajo šibke točke. Ta pristop je med drugimi ubral Ben Goertzel v svojem AI sistemu Novamente, v katerem sta tesno prepletena dva splošna pristopa: izboljšana različica EA in probabilistično sklepanje.
Na podoben način so se lotili problema tudi pri Bitphase AI.
Ne obstaja namreč en sam preprost, eleganten princip delovanja splošne inteligence, ki bi ga lahko ujeli v nekaj sto ali tisoč vrstic kode - vsaj če nismo pripravljeni čakati na rezultat dokler ne ugasne Sonce - tako da je integracija različnih pristopov praktično edini način, da pridemo do splošnega reševalca problemov.
-> Ne strinjam se pa nicnevem glede tega, da evolucija nemore stvari pobrisat. Naša inteligenca je zgolj produkt evolucije, ki jo je le ta naredila, da lahko stvari pobriše, kajti očitno se to splača.
-> Zna pa za take "zanimive manevre" zapravit precej generacij ja!
Evolucija generira tehnologijo s katero bomo lahko spreminjali svoja telesa (npr. zamenjali svoje nevrone za kaj boljšega)?
Ne gre to tako. Mimogrede si izpustil en element kavzalne verige: evolucija -> ljudje -> tehnologija. :)
Sicer pa drži, da ni čisto nemogoče, da bi evolucija "začela znova". Je le silno malo verjetno (večje število mutacij, ki bi usklajeno spremenile kak del našega telesa, že skoraj meni na čudež, ki pa se seveda lahko zgodi če čakaš dovolj dolgo. Res dolgo.).
Thomas ::
> ki pa se seveda lahko zgodi če čakaš dovolj dolgo. Res dolgo.
Čas je relativen. Ne samo v einsteinovskem smislu, pač pa predvsem glede tega, kako navita je kakšna ura.
Kako hitro se obrača substrat, ki izvaja evolucijo. Biološki naj bi bil pregovorno počasen. "5 bitov na generacijo". To je stereotip. Pri ljudeh generacija mine v 30 letih. Toda ker je ljudi 3 milijarde parov, je to tri generacije na sekundo. Torej prej "15 bitov na sekundo" kot pa "5 bitov na generacijo"!
In to samo pri ljudeh. Pri muhah je to že "gigabit na sekundo", če se držimo tega pavšala. Če gremo na vso biomaso pa govorimo že o terabajtih na sekundo. Kateri se potem sicer v glavnem "nekam porazgubijo", a vendarle. "Neciljna evolucija", ki ima le preživetje za emergent goal, je kar pridna.
Kdo pa pravi, da znotraj kakšni kvantnih pojavov te ure ne moremo pospešiti še za kakšen milijardni faktor? Nismo slabi niti že na Pentiumih.
Čas je relativen. Ne samo v einsteinovskem smislu, pač pa predvsem glede tega, kako navita je kakšna ura.
Kako hitro se obrača substrat, ki izvaja evolucijo. Biološki naj bi bil pregovorno počasen. "5 bitov na generacijo". To je stereotip. Pri ljudeh generacija mine v 30 letih. Toda ker je ljudi 3 milijarde parov, je to tri generacije na sekundo. Torej prej "15 bitov na sekundo" kot pa "5 bitov na generacijo"!
In to samo pri ljudeh. Pri muhah je to že "gigabit na sekundo", če se držimo tega pavšala. Če gremo na vso biomaso pa govorimo že o terabajtih na sekundo. Kateri se potem sicer v glavnem "nekam porazgubijo", a vendarle. "Neciljna evolucija", ki ima le preživetje za emergent goal, je kar pridna.
Kdo pa pravi, da znotraj kakšni kvantnih pojavov te ure ne moremo pospešiti še za kakšen milijardni faktor? Nismo slabi niti že na Pentiumih.
Man muss immer generalisieren - Carl Jacobi
Thomas ::
Povedano drugače. Vsi se strinjamo, z Yudowskim vred, da kakšna abnormalna količina computinga, da dovolj hitro evolucijo - za karkoli. Kakšen "nenormalno hiter computing", v realnem času da, "samo z evolucijo", katerikoli rezultat.
Podobno, kot bruta forca, ob sprijeno navitem ciklu, najde vse, kar je najti sploh.
Več ali manj se strinjamo, da za grobo silo nimamo dovolj hitre mašine in je verjetno sploh nemogoča. Ni pa povsem izključena, tudi ne.
Kar se tiče mnogo, drastično manjših zahtev EA ... smo pa mau deljenih mnenj.
Je 1000 GHZ Pentium dovolj, da recimo v letu dni pokaže svoje veličastne zobe, če melje kakšen pretkan EA?
V glavnem vsak misli, da ve na to odgovort. Prevzetni vsi po vrsti, prisotni (z mano vred) niso izključeni.
Ko je iznajdlivost (kot rezultat nekega computinga seveda), čez nek plafon ... potem juha slejkoprej prekipi čez rob lonca. Potem se cela reč nekako znajde.
Podobno, kot bruta forca, ob sprijeno navitem ciklu, najde vse, kar je najti sploh.
Več ali manj se strinjamo, da za grobo silo nimamo dovolj hitre mašine in je verjetno sploh nemogoča. Ni pa povsem izključena, tudi ne.
Kar se tiče mnogo, drastično manjših zahtev EA ... smo pa mau deljenih mnenj.
Je 1000 GHZ Pentium dovolj, da recimo v letu dni pokaže svoje veličastne zobe, če melje kakšen pretkan EA?
V glavnem vsak misli, da ve na to odgovort. Prevzetni vsi po vrsti, prisotni (z mano vred) niso izključeni.
Ko je iznajdlivost (kot rezultat nekega computinga seveda), čez nek plafon ... potem juha slejkoprej prekipi čez rob lonca. Potem se cela reč nekako znajde.
Man muss immer generalisieren - Carl Jacobi
Thomas ::
Ko in če, se bo reč znašla, ko in če bo imela kritično količino computinga na svoji levi in a very cunning EA sample na svoji desni ... to lahko zgleda kot "The second coming of Jesus" - za vsako laično oko. Plus za večino izvedenih zraven.
Če trezno premisliš, brez predsodkov ... potem je to tako. Po koliko napravljenih operacijah, na kakšem dobrem autorekurzivnem EA based listingu, se začne dogajat?
Če po minimalno 10^20, potem smo blizu. Če po minimalno 10^30, smo 20 let dlje. Če po 10^100, pa najbrž tega naravnega pojava ne bomo nikoli videli.
To je vsa dilema.
Če trezno premisliš, brez predsodkov ... potem je to tako. Po koliko napravljenih operacijah, na kakšem dobrem autorekurzivnem EA based listingu, se začne dogajat?
Če po minimalno 10^20, potem smo blizu. Če po minimalno 10^30, smo 20 let dlje. Če po 10^100, pa najbrž tega naravnega pojava ne bomo nikoli videli.
To je vsa dilema.
Man muss immer generalisieren - Carl Jacobi
Thomas ::
Pri nekaterih manjših fajlih pač je. Večji so, teže se to zgodi.
Man muss immer generalisieren - Carl Jacobi
Fave ::
Ali obstaja neka kritična velikost fajla, od katere naprej je vedno hitrejši tvoj sort?
My mind's a hyper tool that fixes everything.
Thomas ::
To ni tako preprosto. Največ se vidi iz linka. Od koder lahko tudi snameš program in ga sprobaš.
Man muss immer generalisieren - Carl Jacobi
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Quick sortOddelek: Programiranje | 2516 (1264) | drola |
| » | Digitalna evolucija (strani: 1 2 3 4 … 26 27 28 29 )Oddelek: Znanost in tehnologija | 75764 (25933) | pietro |
| » | dos C urejanje po velikostiOddelek: Programiranje | 1206 (1037) | klemen22 |
| » | [Turbo Pascal] Pomoč...Oddelek: Programiranje | 1477 (1379) | Grey |
| » | sortirni algoritem v CjuOddelek: Programiranje | 1447 (1299) | GaPe |