Novice » Znanost in tehnologija » AlphaGo Zero se uči brez človeškega zgleda
St753 ::
optimizacija je na koncu dneva brute force take ali drugacne oblike, in bolj kot je cilj splosen, tezje ga je bruteforcat.
nek hipoteticni optimizacijski algoritem, ki zna optimizirat tako kompleksen problem kot je proizvodnja paperclipov, ni prevec verjeten v obliki, kjer njegovi operaterji nimajo vpogleda v notranje stanje in njegovo interpretacijo stavka "naredi mi cimvec paperclipov". razlog je cisto prakticen, saj je tako stvar tezko razvit, ker je ne bos razvijal na slepo in zalaufal sele takrat, ko bo ze sposoben vsega tega.
tak blackbox problem je velik problem pri optimizaciji uspesnosti danasnjih deep neural networkov. ce bomo hoteli imet AI, ki zna precej, precej vec, ne bo slo brez da zelo dobro vidimo, kaksne modele si je stvar ustvarila in kako interpretira razne poizvedbe.
Ne ni. Pri brute force probas N razlicnih moznosti in izberes tisto, ki ima 'najboljso' vrednost. Brute force je nacin optimizacije, ne velja pa obratno, da je optimizacija oblika brute forca. Pri neural nets je pomembna odvedljivost funkcije med vhodom in izhodom, da je mozno uporabit gradient descent za iskanje optimalne vrednosti. Pri konveksni funkciji pri z gradient descentom nasel lokalni minimum, kar za brute force v splosnem ne drzi.
tak blackbox problem je velik problem pri optimizaciji uspesnosti danasnjih deep neural networkov. ce bomo hoteli imet AI, ki zna precej, precej vec, ne bo slo brez da zelo dobro vidimo, kaksne modele si je stvar ustvarila in kako interpretira razne poizvedbe.
Interpretability je locen problem in _NI_ pogoj za ustvarjanje bolj naprednega AI-ja (je pa seveda zazeljen). Ravno zato se sedaj toliko vlaga v to podrocje, ker z deep learningom dosegajo super rezultate, pa noben ne zna cist pojasnit, zakaj je tako. Na tem podrocju jst se nisem videl velikega napredka v zadnjih nekaj letih, pa poglej, koliko je AI napredoval. So pa pri trenutnih metodah sigurno omejitve, kar priznavajo tudi 'ocetje' deep learninga.
res je, in point je da teli nasi machine learning sistemi res ponujajo to analogijo apokalipticne optimizacije, ampak je malo verjetno, da se lahko poskejlajo na raven splosnega AI. jim dosti, dosti prevec fali v vseh pogledih.
Because, reasons? Analogija je super in namerno bizarna. Ce imas mocno orodje za optimizacijo in ne definiras omejitev oz. na drugacen nacin zagotovis, da dela v 'okvirih normale', potem te lahko preseneti, da optimalna resitev za dosego cilja ni ravno taka, kot bi si jo zelel.
Okapi ::
Zanimivo bi bilo videti, ali bi AlphaGo znal sam ugotoviti pravila, če bi mu dal analizirati milijon partij in nalogo, naj napiše pravila. Še bolj zanimivo bi bilo videti, če bi "odkril" kakšno pravilo, ki ga med uradnimi pravili ni, ga pa igralci podzavestno upoštevajo.
korenje3 ::
pravila so vhodni podatki, ne pa tisto kar lahko sam poišče.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Okapi ::
Dovolj pameten osebek lahko na osnovi poteka dovolj velikega števila iger ugotovi, po kakšnih pravilih igrajo igralci.
Jst ::
Nekaj podobnega je prvi AlphaGo, ki se je pomenil z Lee Sedolom, naredil.
Lahko sam poiščeš članke oz. komentarje o igri AlphaGo, če te zanima. Bilo je pa nekaj takšnega: Konvenconalni način igranja do sedaj je bil, da si postavil kamen na tretjo linijo, in to se je smatralo, da računaš na dominacijo tega dela. "Pro igralci" so vsi upoštevali to "znanje", dokler ni AlphaGo postavil kamen na četrto ali peto linijo... Nekaj takšnega. En mojster je izjavil (parafrazirano) "Tisočletja smo igrali Go po šolah, ki so se izpolnjevale skozi tisočletja. AlphaGo pa nam je pokazal, da obstajajo tudi drugačne strategije, katere nam niti na misel niso prišle."
Lahko sam poiščeš članke oz. komentarje o igri AlphaGo, če te zanima. Bilo je pa nekaj takšnega: Konvenconalni način igranja do sedaj je bil, da si postavil kamen na tretjo linijo, in to se je smatralo, da računaš na dominacijo tega dela. "Pro igralci" so vsi upoštevali to "znanje", dokler ni AlphaGo postavil kamen na četrto ali peto linijo... Nekaj takšnega. En mojster je izjavil (parafrazirano) "Tisočletja smo igrali Go po šolah, ki so se izpolnjevale skozi tisočletja. AlphaGo pa nam je pokazal, da obstajajo tudi drugačne strategije, katere nam niti na misel niso prišle."
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|
korenje3 ::
sem že prej napisal da za nas veljajo univerzalna pravila - pravila narave oziroma zakoni. zdej pa neki od alphago zahtevaš da dela izven tega območja, kot da bi mi lahko neki sami postavljali zakone narave.
alphago je dobil nek problem z zakoni in cilji. to območje je dokaj omejeno vi pa že sanjate o neki več.
alphago je dobil nek problem z zakoni in cilji. to območje je dokaj omejeno vi pa že sanjate o neki več.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Zgodovina sprememb…
- spremenil: korenje3 ()
noraguta ::
sem že prej napisal da za nas veljajo univerzalna pravila - pravila narave oziroma zakoni. zdej pa neki od alphago zahtevaš da dela izven tega območja.
alphago je dobil nek problem z zakoni in cilji. to območje je dokaj omejeno vi pa že sanjate o neki več.
katere pa sploh ne poznamo kot polno teorijo. neka taksomizacija in fitting.
Pust' ot pobyedy k pobyedye vyedyot!
7982884e ::
Ne ni. Pri brute force probas N razlicnih moznosti in izberes tisto, ki ima 'najboljso' vrednost. Brute force je nacin optimizacije, ne velja pa obratno, da je optimizacija oblika brute forca. Pri neural nets je pomembna odvedljivost funkcije med vhodom in izhodom, da je mozno uporabit gradient descent za iskanje optimalne vrednosti. Pri konveksni funkciji pri z gradient descentom nasel lokalni minimum, kar za brute force v splosnem ne drzi.
dobro, seveda v matematicnem smislu to ni brute force, ciljal sem da resevanje problemov z deep neural networki izgleda kot bruteforcanje, ko notri meces na stotine tisocev primerov, da se stvar kaj uporabnega nauci.
Interpretability je locen problem in _NI_ pogoj za ustvarjanje bolj naprednega AI-ja (je pa seveda zazeljen). Ravno zato se sedaj toliko vlaga v to podrocje, ker z deep learningom dosegajo super rezultate, pa noben ne zna cist pojasnit, zakaj je tako. Na tem podrocju jst se nisem videl velikega napredka v zadnjih nekaj letih, pa poglej, koliko je AI napredoval. So pa pri trenutnih metodah sigurno omejitve, kar priznavajo tudi 'ocetje' deep learninga.
seveda da v teoriji *ni* pogoj, v praksi pa noben ne pricakuje naprednih AI tehnologij, pri katerih smo tako slepi kot pri danasnjih. tudi noben nima nekega roadmapa za tak splosen AI, ker je vse, kar mamo, nezadostno.
koliko pa je AI napredoval? na podrocju strojnega ucenja je racunska moc in kolicina podatkov omogocila stvari, ki prej niso bile mozne, na podrocju splosnosti pa je napredka zelo malo. zdej nocem bit cinicen, napredka je se vedno bilo vec kot prej, ker je pac tudi dela na tem dosti vec kot prej (hype + ogromne investicije + dosti vec ljudi).
in ja, nobena trenutna metoda se ne more poskejlat na splosno AI, tudi ce ji das milijonkrat vec procesorske moci in podatkov. problem neinterpretabilnosti black-boxa pa bi se bolj izrazal ob naprednejsi uporabi AIja, sploh pri analiticnih, visjenivojskih odlocitvah.
pravim samo, da je paperclip situacija analogija nasih trenutnih machine learning sistemov za situacijo resevanja dosti kompleksnejse naloge, ki zahteva bistveno drugacnejse delovanje, visjenivojsko predstavitev znanja itd itd. ce pa bi tega bila sposobna nevronska mreza, je pa to povsem realna analogija, ja.
Because, reasons? Analogija je super in namerno bizarna. Ce imas mocno orodje za optimizacijo in ne definiras omejitev oz. na drugacen nacin zagotovis, da dela v 'okvirih normale', potem te lahko preseneti, da optimalna resitev za dosego cilja ni ravno taka, kot bi si jo zelel.
PrihajaNodi ::
Ampak saj dva bota sta ze razvila svoj jezik, ki nam ni znan ter lastno komunikacijo. Integriras to v premikajoce "stvari" in dobis robotke z lastno komunikacijo in vizijo. Jebe se njim za ljudi.
Zgodovina sprememb…
- spremenilo: PrihajaNodi ()
BigWhale ::
Zanimivo bi bilo videti, ali bi AlphaGo znal sam ugotoviti pravila, če bi mu dal analizirati milijon partij in nalogo, naj napiše pravila. Še bolj zanimivo bi bilo videti, če bi "odkril" kakšno pravilo, ki ga med uradnimi pravili ni, ga pa igralci podzavestno upoštevajo.
Tukajle je nekaj kar je ze bolj podobno pravemu ucenju igre.
DamijanD ::
PrihajaNodi je izjavil:
Ampak saj dva bota sta ze razvila svoj jezik, ki nam ni znan ter lastno komunikacijo. Integriras to v premikajoce "stvari" in dobis robotke z lastno komunikacijo in vizijo. Jebe se njim za ljudi.
Ja, ker se jih sploh ne bi zavedali, kakor se ne bi zavedali ničesar drugega... Pri ljudeh posamezna beseda nekaj pomeni, je zadaj nek koncept, pri botih pa...
AndrejO ::
Zanimivo. Kaj točno je pa AlphaGo in kje najdem primerke algoritmov, ki jih je menda lažje razviti, ker se ne gredo "surove neumne optimizacije"?
optimizacija je na koncu dneva brute force take ali drugacne oblike, in bolj kot je cilj splosen, tezje ga je bruteforcat.
Saj. Ravno zato imamo generičen pristop (recimu mu generičen algoritem), ki ga lahko apliciramo na konkreten posamičen problem. Moč AlphaGo-ja ni v tem, da je lahko premagal prvake v Go-ju. Moč je v tem, da lahko vzameš isto izhodišče in mu naložiš naj pravilno prepozna kolesarja ob cesti. Seveda se strinjam, da ga ni možno enostavno aplicirati na problem, ki ima naraščajoče število neodvisnih spremenljivk, ampak saj ga ni potrebno. To pa zaradi dveh razlogov.
Prvi razlog je pričakovan preskok v sposobnostih. Deep Thought je bil specifičen sistem za specifično nalogo in nič drugega. AlphaGo je (skoraj) generičen ML sistem, ki ima specifično nalogo, lahko pa se istem podležnem sistemu da tudi kakšno drugo nalogo. Ali si je težko zamisliti sistem, ki bo sposoben tudi sam zaznati kakšna je njegova naloga - torej sistem, ki se ne bo naučilo zgolj igrati Go, temveč sistem, ki bo lahko "opazoval" poljubno igro in, kot del iskanja vzorcev, ugotovil tudi kakšna so pravila poljubne igre. Koraki so iterativni, sistemi napredujejo.
Drug razlog pa je, da je sistem, ki je pod AlphaGo, že danes sposoben slepo izvesti svojo nalogo ter se sprotno prilagajati povratnim signalom iz okolice (pri AlphaGo je to poteza nasprotnika, ni pa to edina stvar, ki jo lahko spremeniš v povratni signal).
Ali misliš, da takšen sistem ne more podivjati in povzročiti toliko škode, da bo njegovo uničenje morda edini praktičen odgovor v danem trenutku? In ja. Uničenje bo uspešno, ker to ne bo nek Skynet, temveč zgolj in samo omejen algoritem, ki je zaradi preozko zastavljenega problema začel izvajati dejanja, ki imajo za posledico poškodbe ali celo smrt ljudi.
nek hipoteticni optimizacijski algoritem, ki zna optimizirat tako kompleksen problem kot je proizvodnja paperclipov, ni prevec verjeten v obliki, kjer njegovi operaterji nimajo vpogleda v notranje stanje in njegovo interpretacijo stavka "naredi mi cimvec paperclipov".
Preveč ozko gledaš. Avtorji so izrecno rekli, da so izbrali paperclipe kot nevtralno formo, kjer se lahko vsi čustveno neobremenjeno nasmejemo. Pri npr. odločanju o primerni terapiji za zdravljenje, bomo vsi prekleto hitro postali čustveno obremenjeni. Pa ne bi smeli. Zavarovalnice v ZDA se že spogledujejo z ML/AI, da bi iz kritja lažje in bolj učinkovito izločale bolj kritične ljudi.
Sploh pa ... kdo misliš, da je v tej igri v vlogi AI-ja? Tistim, ki so odigrali eno partijo te igre, predlagam, da razmislijo kako so ravnali in kaj je postal njihov obsesiven cilj? Potem pa stopite korak nazaj in razmislite zakaj vas ni zanimala usoda ljudi, usoda planeta, usoda česarkoli, pravzaprav. Aja. Seveda. Saj je samo igra in cilj vsake igre je, da se pride do konca, kakršenkoli že bo. To je naloga igralca. To je edina naloga igralca.
Bi nas to zanimalo v resničnem živjenju? Seveda nas bi. Ali bo to zanimalo nek AI, ki je "obseden" zgolj s tem, da igro odigra do konca? Niti ne. GAI bi to morda znal, vendar pa bo tudi "neumen AI" potencialno lahko postavljen v položaj, kjer bo manjko "indoktrinacije" privedel do neželjenih posledic na zdravje in telo. Dajmo si predstavljati npr. AI, katerega edina naloga je, da skrbi za stabilnost električnega omrežja ter odloča o delitvi razpoložljive energije. Ali smo resnično prepričani, da smo zajeli čisto vse spremenljivke in jih ustrezno ovrednotili?
In to sploh ni enostavno vprašanje. Kot slaba šala: algoritem za prepoznavanje ovir za avto je ekipa naučila (med drugim) prepoznavati tudi kolesarje. Vendar pa ... ali bo algoritem spoznal vse kolesarje ali zgolj tiste, ki imajo na glavi varnostno čelado, kajti med treningom so imeli opravka zgolj s takšnimi. Kako bomo to vedeli brez testiranja in brez vpogleda v dinamično notranjo strukturo? Ko bomo dali v uporabo nek AI sistem, ki bo imel možnosti vpliva na zdravje in življenje ljudi ... kako bomo lahko dokazali, da tak AI ne bo ogrozil zdravja ali življenja ljudi na katere bo lahko neposredno vplival?
razlog je cisto prakticen, saj je tako stvar tezko razvit, ker je ne bos razvijal na slepo in zalaufal sele takrat, ko bo ze sposoben vsega tega.
Ja, ampak mnenje teh "teoretikov" je, da bo tudi omejen AI, kot ga imamo že danes, potencialno tempirana bomba, če se ne bomo posvetili vprašanju vrednotenja ne-ciljnih vplivov, kadar je govora o ljudeh.
Nekako se z njimi strinjam.
res je, in point je da teli nasi machine learning sistemi res ponujajo to analogijo apokalipticne optimizacije, ampak je malo verjetno, da se lahko poskejlajo na raven splosnega AI. jim dosti, dosti prevec fali v vseh pogledih.
Kot prvo, ne potrebujemo apokaliptičnega scenarija. Zadoščal bo že katastrofičen. Kot drugo, za katastrofo ni potreben splošen AI. Še več, splošen AI bo morda potreben, da se katastrofo prepreči.
Jaz sem sicer imel v mislih formalna pravila igre, ne strategij.
To bo verjeten naslednji korak proti lažje uporabljivim sistemom, zato ker je izvedljiv in, ker je logičen. Namesto formalizacije pravil ravnanja bo sledilo iskanje pravil ravnanja. Sicer ni preveč uporabno za igre, kjer so pravila toga in vnaprej znana, bo pa to čudovito za vsa ostala področja človeškega udejstvovanja, ker so pravila neformalna, skozi čas pa se spreminjajo.
Zgodovina sprememb…
- spremenil: AndrejO ()
AndrejO ::
pravim samo, da je paperclip situacija analogija nasih trenutnih machine learning sistemov za situacijo resevanja dosti kompleksnejse naloge, ki zahteva bistveno drugacnejse delovanje, visjenivojsko predstavitev znanja itd itd. ce pa bi tega bila sposobna nevronska mreza, je pa to povsem realna analogija, ja.
Še vedno nisi stopil preko te uboge sponke za papir. To je izrecno čustveno neobremenjena možnost. AI-je, ki jih lahko danes proizvedemo in, ki nimajo čisto nikakršne splošnosti, zlahka vprežemo v sisteme, ki lahko zlahka privedejo do ogrožanja ljudi, čeprav na prvi pogled izgledajo čisto benigno.
7982884e ::
saj nisem nikjer napisal nic nasprotnega temu, kar ti pises. seveda da je to relevantna analogija za trenutne sisteme strojnega ucenja, ki kljub raznim 99% natancnostim se vedno producirajo napake, kot jih ne bi smelo bit, na razne tesline avtopilote, ki ne zaznajo prikolice tovornjaka, pa tudi na razne kratkorocne potencialne nevarnosti medicinskih diagnoz rakavih tkiv itd.
jaz pravim samo, da v praksi to analogijo tezko preneses na mnogo, mnogo sposobnejsi sistem na nivoju splosne AI, ker se danasnje tehnologije strojnega ucenja nikakor ne morejo poskejlat na nivo, ki bi bila kjerkoli blizu.
in da tak eventuelen sistem verjetno ze po sami zasnovi imel nekaj varnostnih lastnosti, ki bi preprecevale situacijo nepravilnega resevanja naloge zaradi napacne interpretacije in nezmoznosti upravljalcev, da to pravocasno ugotovijo.
razlog ni samo to, da je to zazeleno, temvec je tudi prakticne narave, saj ce bomo hoteli v AI nalagat ogromno visokonivojskega znanja, bo to tezko, brez da bi sploh vedeli, kaj se notri dogaja. s takim AIjem je tezko delat in ga je tezko razvijat.
jaz pravim samo, da v praksi to analogijo tezko preneses na mnogo, mnogo sposobnejsi sistem na nivoju splosne AI, ker se danasnje tehnologije strojnega ucenja nikakor ne morejo poskejlat na nivo, ki bi bila kjerkoli blizu.
in da tak eventuelen sistem verjetno ze po sami zasnovi imel nekaj varnostnih lastnosti, ki bi preprecevale situacijo nepravilnega resevanja naloge zaradi napacne interpretacije in nezmoznosti upravljalcev, da to pravocasno ugotovijo.
razlog ni samo to, da je to zazeleno, temvec je tudi prakticne narave, saj ce bomo hoteli v AI nalagat ogromno visokonivojskega znanja, bo to tezko, brez da bi sploh vedeli, kaj se notri dogaja. s takim AIjem je tezko delat in ga je tezko razvijat.
noraguta ::
nima in ne bo imel varnostnih mehanizmov.
kot drugo pa lahko vpreže večjo računsko moč v specifičen problem.
kot drugo pa lahko vpreže večjo računsko moč v specifičen problem.
Pust' ot pobyedy k pobyedye vyedyot!
korenje3 ::
pravila goja so tako preprosta in za tak omejen sklop pravil rabijo računalnik ki pokuri 1kWh štroma, da premaga človeka. do AI, ki bo operiral s sliko je še dolga pot, mogoče nikoli dosegljiva, ali pa če že, bodo morali biti zlo komplicirani algoritmi za poenostavljanje okolja.
primer kjer trenutno pride v poštev tak program:
- cestni promet - signalizacija (recimo če bi bili rešilci opremljeni s sledenjem, bi lahko AI omogočil hitrejšo pot do cilja, pri tem bi morali biti pa vsi semaforji pametni - torej evidenca trenutnega prometa)
- šola - izpitna vprašanja, razporejanje ipd.
- roboti v proizvodnji - da AI sam poišče najhitrejšo pot za izdelavo določenega izdelka. To pomeni vse bi moralo biti digitalizirano za simulacijo AIja, potem bi pa to spustili v realnost. Kar bi lahko potem naredili je to da podaš končni izdelek AIju (recimo avto), proizvodnja linija se pa sama optimizira kako bo to naredila. S tem da bi morala biti linija z vsemi roboti narejena tako, da lahko naredi isti izdelek človek na daljavo. AI bi tudi skrbel za nabavo materialov od zunaj ipd.
primer kjer trenutno pride v poštev tak program:
- cestni promet - signalizacija (recimo če bi bili rešilci opremljeni s sledenjem, bi lahko AI omogočil hitrejšo pot do cilja, pri tem bi morali biti pa vsi semaforji pametni - torej evidenca trenutnega prometa)
- šola - izpitna vprašanja, razporejanje ipd.
- roboti v proizvodnji - da AI sam poišče najhitrejšo pot za izdelavo določenega izdelka. To pomeni vse bi moralo biti digitalizirano za simulacijo AIja, potem bi pa to spustili v realnost. Kar bi lahko potem naredili je to da podaš končni izdelek AIju (recimo avto), proizvodnja linija se pa sama optimizira kako bo to naredila. S tem da bi morala biti linija z vsemi roboti narejena tako, da lahko naredi isti izdelek človek na daljavo. AI bi tudi skrbel za nabavo materialov od zunaj ipd.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Zgodovina sprememb…
- spremenil: korenje3 ()
noraguta ::
ne boš vrjel ai prepoznava danes vse specifične vzorce bolj zanesljivo od človeka. vključno z morfologijo obraza.
Pust' ot pobyedy k pobyedye vyedyot!
GupeM ::
saj nisem nikjer napisal nic nasprotnega temu, kar ti pises. seveda da je to relevantna analogija za trenutne sisteme strojnega ucenja, ki kljub raznim 99% natancnostim se vedno producirajo napake, kot jih ne bi smelo bit, na razne tesline avtopilote, ki ne zaznajo prikolice tovornjaka, pa tudi na razne kratkorocne potencialne nevarnosti medicinskih diagnoz rakavih tkiv itd.
Seveda, ker ljudje delajo manj napak in zato nimamo prometnih nesreč in vsem pravočasno ter v celoti odkrijejo rakavo/a tkivo/a.
Okapi ::
Tu je vmes še vprašanje (materialne in kazenske) odgovornosti. Nekdo bo moral prevzeti odgovornost za napake stroja - brez tega stroji samostojno ne morejo (ne smejo) delati.
poweroff ::
Zanimivo, da že poznamo koncept delovne nesreče in spleta nepredvidenih okoliščin.
sudo poweroff
Okapi ::
A res? Za stroje, ki delajo sami, brez nadzora? Saj ti ne bo težko kakšnega primera navesti, ne?
AndrejO ::
A res? Za stroje, ki delajo sami, brez nadzora? Saj ti ne bo težko kakšnega primera navesti, ne?
Ah, to pa res ni težko: https://en.m.wikipedia.org/wiki/Robert_...
Okapi ::
In kriv je bil proizvajalec robota. Bo Tesla prevzela odgovornost za svoje samovozeče avte?
Bo programer medicinskega robota odgovoren za vse napačne diagnoze?
Bo programer medicinskega robota odgovoren za vse napačne diagnoze?
Zgodovina sprememb…
- spremenil: Okapi ()
AndrejO ::
In kriv je bil proizvajalec robota. Bo Tesla prevzela odgovornost za svoje samovozeče avte?
Bo programer medicinskega robota odgovoren za vse napačne diagnoze?
Tesla pri tem sploh nima izbire. Edino, kar lahko stori, je to, da zlobira sprejetje zakona, ki bi jo razrešil te odgovornosti.
In zakaj misliš, da ga ni heroja, ki ti bi prodal avtonomen diagnostičen sistem, čeprav dobiš celo vrsto sistemov za podporo zdravnikom?
hendriks ::
Okapi ::
Hvalijo se že, vprašanje, kako bo zares. Bo šel direktor v zapor, če bo avto povzročil hudo nesrečo?
AndrejO ::
Hvalijo se že, vprašanje, kako bo zares. Bo šel direktor v zapor, če bo avto povzročil hudo nesrečo?
Samo, če bo osebno kriv za kaznivo dejanje. Kar tako na pamet se ljudi ne meče v zapor. Obstajajo neke neumnost, ki se jim reče "vzročna povezava", "kaznivo dejanje" in "sodni postopek", preden se nekoga vrže v zapor. Zaradi objektivne odgovornosti, nenamernih napak in podobnih stvari se ljudi ne meče v zapore, temveč se izplača ustrezno odškodnino za povzročeno škodo.
Ali če hočeš povedano drugače ... ali bo šel direktor SZ v zapor, če nekdo umre, ker ga je povozil vlak? Da, vendar samo, če se u streznem sodnem postopku dokaže, da je osebno povzročil nevarne okoliščine (npr. zahteval in dosegel je, da strojevodje niso imeli možnosti z zakonom predpisanega počitka) kar je bil neposreden vzrok za to, da je bil strojevodja v trenutku speljevanja nezbran s čemer je bila povzročena splošna nevarnost in tudi smrt (kar so kazniva dejanja).
Morda bo pa šel v zapor strojevodja, ker je upravljal vozilo v vinjenem stanju.
Morda bo pa šel v zapor modelov prijatelj, ki ga je porinil iz perona pod kolesa.
Morda pa ne bo šel nihče v zapor, ker je postaja narejena na ovinku (konstrukcijska napaka), kompozicija pa je bila daljša od običajne, zaradi česar strojevodja ni imel možnosti, da se bi prepreičal, da je speljevanje varno.
Morda pa ...
Ali vidiš kako gre to v resničnem svetu in ne v svetu poenostavljenih enovrstičnic?
Zgodovina sprememb…
- spremenil: AndrejO ()
Okapi ::
V resničnem svetu se ljudje vedno in povsod izgovarjajo na "računalnike" ali "programe". Furs napačno izračuna dohodnino, kriv je "program". Na šolskem ministrstvu naredijo zmedo z rezultati mature - kriv je "program". Računalniki in programi so postali v zadnjih 30 letih priročen izgovor za izogibanje osebne odgovornosti. Če bi tistega robota ročno upravljal človek, bi bil verjetno kriv povzročitve smrti iz malomarnosti, pri nas zagrožena kazen pol do pet let zapora. Če ne vidiš razlike med osebno odgovornostjo človeka, ki gre lahko tudi v zapor, in denarno kaznijo, ki doleti korporacijo, in zakaj je osebna odgovornost veliko boljša varovalka pred nesrečami, ti ne morem pomagati.
Jst ::
In kaj je namen tvojega odgovora?
Vsem nam je jasno, da če namerno s sekiro razsekaš spečega človeka,... je kriv program, ki teče v tvoji glavi?
Vsem nam je jasno, da če namerno s sekiro razsekaš spečega človeka,... je kriv program, ki teče v tvoji glavi?
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|
AndrejO ::
V resničnem svetu se ljudje vedno in povsod izgovarjajo na "računalnike" ali "programe". Furs napačno izračuna dohodnino, kriv je "program". Na šolskem ministrstvu naredijo zmedo z rezultati mature - kriv je "program". Računalniki in programi so postali v zadnjih 30 letih priročen izgovor za izogibanje osebne odgovornosti.
Sodišč ne zanimajo izgovori, ki jih podajajo obtoženci za potrebe medijev, temveč dokazi, ki se izvedejo na glavni obravnavi. True story.
Če bi tistega robota ročno upravljal človek, bi bil verjetno kriv povzročitve smrti iz malomarnosti, pri nas zagrožena kazen pol do pet let zapora.
Morda pa ne. Šele preiskava bi pokazala na krivca. Morda pa upravljalec ni videl in ni mogel videti drugega človeka, ki se je nahajal v delovnem območju stroja. Pri nas zagrožena kazen je potem možnost terapije zaradi občutka krivde ob smrtni nesreči sodelavca.
Če ne vidiš razlike med osebno odgovornostjo človeka, ki gre lahko tudi v zapor, in denarno kaznijo, ki doleti korporacijo, in zakaj je osebna odgovornost veliko boljša varovalka pred nesrečami, ti ne morem pomagati.
Mislim, da je ti ne vidiš. Kar vse bi rad vrgel v isto košaro. Pozabljaš pa, da ni vsaka napaka kar kazniva malomarnost in tako, kot je že Matthai napisal ... nesreče se dogajajo in ni nujno, da je kdorkoli osebno kriv. Če ni nihče osebno kriv, pa pač ne moreš nikogar poslati v zapor. Vzrok in posledica morata biti neposredno povezana. Če pa nekdo je kriv, potem se bo znašel v kazenskem postopku in, če mu bo krivda dokazana, mu bo dosojena tudi kazen in ta kazen je lahko tudi zapor.
Okapi ::
Ljudje hočejo vedeti, kdo je kriv (in odgovoren), tudi če ni nihče. V Italiji so pred par leti sodili seizmologom, ker niso napovedali potresa. Za zdaj je nesreč, ki jih povzročijo samostojni roboti, še zanemarljivo malo, zato vprašanje o tem, kdo je odgovoren za dejanja robota, še ni zelo izpostavljeno. Ko bodo ceste polne robotskih vozil, bo to vsekakor treba sistemsko rešiti - ne od primera do primera. Tako, kot se zdaj ve, da je odgovoren voznik.
Oziroma drugače povedano, dokler to sistemsko ne bo rešeno, ceste ne bodo polne robotskih vozil.
Oziroma drugače povedano, dokler to sistemsko ne bo rešeno, ceste ne bodo polne robotskih vozil.
Zgodovina sprememb…
- spremenil: Okapi ()
poweroff ::
Ljudje hočejo vedeti, kdo je kriv (in odgovoren), tudi če ni nihče.
Ja, saj to je bistvo problema.
Hočemo 100% predvidljivost, in če gre kaj narobe, mora biti nekdo kriv.
Pozablja se pa na naključnost!
sudo poweroff
AndrejO ::
Ljudje hočejo vedeti, kdo je kriv (in odgovoren), tudi če ni nihče.
Poznamo. Strokovni izraz je "lynch mob mentality". Praviloma države gradijo svoj ugled tudi s poudarjanjem, da tega pri njih ni.
V Italiji so pred par leti sodili seizmologom, ker niso napovedali potresa.
Podobno žalostna epizoda, kot tista, ko je sodnik v isti državi oprostil posiljevalca, ker je "strokovno ugotovil", da če ženska nosi kavbojke, ni možno govoriti o posilstvu.
Obe žalostni epozidi sta se zaključili na višjih stopnjah, kjer so te idiotizme posamičnih "newsworthy" izjem raztrgali na prafaktorje.
Za zdaj je nesreč, ki jih povzročijo samostojni roboti, še zanemarljivo malo, zato vprašanje o tem, kdo je odgovoren za dejanja robota, še ni zelo izpostavljeno.
Krivda se ugotavlja v vsakem posamičnem primeru in gre lahko v celotnem razponu od "nihče" pa vse do "inženir, ki se je želel maščevati". Kar se tiče kazenske odgovornosti se to preiskuje v okviru kazenskega postopka, kar se tiče civilne (predvsem odškodninske) odgovornosti, je to stvar civilnega sodnega postopka, kar se tiče morebitnih sprotno ugotovljenih prekrškov, pa v prekrškovnih postopkih.
Ko bodo ceste polne robotskih vozil, bo to vsekakor treba sistemsko rešiti - ne od primera do primera. Tako, kot se zdaj ve, da je odgovoren voznik.
Ne, tudi sedaj se ne ve, da je odgovoren voznik, temveč se kar lepo ugotavlja od primera do primera. Konec koncev je lahko kriv njegov sosed, ki mu je sabotiral zavore, njegov serviser, ki mu je potegnil ven varovalko za ABS ali pa krivca sploh ni, ker je bilo govora o novoodkriti konstrukcijski napaki v programski opremi za stopalko za zavoro (gl. Toyota). Vse to pa se ugotavlja v preiskavi - od primera, do primera in nikakor drugače.
Oziroma drugače povedano, dokler to sistemsko ne bo rešeno, ceste ne bodo polne robotskih vozil.
Ne vidim kakšne dodatne rešitve so po tvoje sploh potrebne. Ceste ne bodo polne robotskih vozil vse dokler ne bodo proizvajalci zmanjšali tveganja na sprejemljivo raven za njihov bottom line profit.
Okapi ::
Tako pač je. Od človeškega voznika se zato pričakuje, da je 100% zanesljiv, čeprav v resnici ni. Izgovor, da pešca preprosto nisi videl oziroma zaznal (čeprav ni bilo nobene fizične ovire, mrtega kota, megle ...), ker človeški sistem za vid ni 100%, ampak samo 99,99%, ne sodišču ne zdrži. Kot voznik si osebno kriv in odgovoren.Ljudje hočejo vedeti, kdo je kriv (in odgovoren), tudi če ni nihče.
Ja, saj to je bistvo problema.
Hočemo 100% predvidljivost, in če gre kaj narobe, mora biti nekdo kriv.
Pozablja se pa na naključnost!
Zgodovina sprememb…
- spremenil: Okapi ()
thramos ::
Naključnosti ni. No, vsaj ne pri pojavih, o katerih razpravljate.
Kot voznik si v tem primeru odgovoren, ker si se zavestno odločil upravljati orodje, za katerega veš, da bo nekem primeru (kljub temu, da nisi "kriv"), povzročilo škodo.
Kot voznik si v tem primeru odgovoren, ker si se zavestno odločil upravljati orodje, za katerega veš, da bo nekem primeru (kljub temu, da nisi "kriv"), povzročilo škodo.
Okapi ::
Rešitev bo načelna odločitev, kdo je odgovoren za dejanja robota. Lahko bo to proizvajalec, lahko lastnik, lahko uporabnik ... Ampak v vsakem primeru bo nek človek, ki ga bo mogoče, če bo to potrebno, kaznovati tudi kako drugače, ne samo denarno.Oziroma drugače povedano, dokler to sistemsko ne bo rešeno, ceste ne bodo polne robotskih vozil.
Ne vidim kakšne dodatne rešitve so po tvoje sploh potrebne. Ceste ne bodo polne robotskih vozil vse dokler ne bodo proizvajalci zmanjšali tveganja na sprejemljivo raven za njihov bottom line profit.
Okapi ::
Naključnosti ni. No, vsaj ne pri pojavih, o katerih razpravljate.Sem precej prepričan, da se večina voznikov te nevarnosti ne zaveda.
Kot voznik si v tem primeru odgovoren, ker si se zavestno odločil upravljati orodje, za katerega veš, da bo nekem primeru (kljub temu, da nisi "kriv"), povzročilo škodo.
In naključnosti seveda so. Povsem od naključja je odvisno, da mogoče tvoj center za vid v nekem trenutku ne bo pravilno registriral signala, ki ga mrežnica pošilja možganom. Ali pa te morda v ključnem trenutku za delček sekunde zaslepi odsev sonca z obcestnega ogledala, ne da bi se tega sploh zavedal.
Za zdaj je za vse takšne naključnosti izključno odgovoren voznik (denarno, s kazenskimi točkami in če je treba tudi zaporom). Ljudje bomo hoteli imeti tudi v primeru robotskih avtov nekoga z imenom in priimkom, ki bo odgovoren za posledice takšnih naključnosti.
AndrejO ::
Rešitev bo načelna odločitev, kdo je odgovoren za dejanja robota. Lahko bo to proizvajalec, lahko lastnik, lahko uporabnik ... Ampak v vsakem primeru bo nek človek, ki ga bo mogoče, če bo to potrebno, kaznovati tudi kako drugače, ne samo denarno.Oziroma drugače povedano, dokler to sistemsko ne bo rešeno, ceste ne bodo polne robotskih vozil.
Ne vidim kakšne dodatne rešitve so po tvoje sploh potrebne. Ceste ne bodo polne robotskih vozil vse dokler ne bodo proizvajalci zmanjšali tveganja na sprejemljivo raven za njihov bottom line profit.
Kaj je narobe s trenutno delitvijo kazenske in odškodninske odgovornosti?
Kje točno se ti zdi nedoločena do te mere, da vpliva na tempo prihoda pol- in polno- avtonomnih sistemov?
Zakaj si želiš, da se bi zakonodajo popravljalo tako, da bi zadostila tisti želji množic po krvi?
Zgodovina sprememb…
- spremenil: AndrejO ()
Okapi ::
Zakaj je treba podtikati? Jaz si nič ne želim, jaz samo povem, kako je (oziroma kako bo). Dokler ne bo na načelni ravni jasno, kdo je osebno odgovoren za škodo, ki jo povzroči robotski avto, robotskih avtov v velikem številu na cesti ne bo. Odgovornosti se bodo pa seveda vsi otepali, nihče (proizvajalci, prodajalci, lastniki, uporabniki) ne bo kar sam od sebe hotel prevzeti odgovornosti (ne glede na to, kaj sedaj pravijo pri Volvu). Zakonodajalec bo odločil, kdo je na načelni ravni odgovoren. Odgovorni se bo pa v vsakem posameznem primeru lahko na sodišču branil in krivico valil na koga drugega.
Ko pade sneg s strehe in nekoga spodaj poškoduje ali celo ubije, ni kriv ne sneg, ne vreme, ne streha, ampak lastnik oziroma vzdrževalec strehe. Ta pa potem lahko reče, da je sneg s strehe padel, ker je nekdo dan pred sneženjem ukradel snegobrane in tega ni bilo mogoče pravočasno ugotoviti.
Ko pade sneg s strehe in nekoga spodaj poškoduje ali celo ubije, ni kriv ne sneg, ne vreme, ne streha, ampak lastnik oziroma vzdrževalec strehe. Ta pa potem lahko reče, da je sneg s strehe padel, ker je nekdo dan pred sneženjem ukradel snegobrane in tega ni bilo mogoče pravočasno ugotoviti.
gus5 ::
Karkoli bi se ohranilo, bi se porazgubilo v genskem skladu volkov. Psi in volkovi se lahko parijo med seboj in po nekja generacijah bi imel že spet samo volkove.Razlika med volkovi in psi se izraža predvsem v zmožnosti navezovanja 'oksitocinskih povezav'. Oksitocin, 'hormon ljubezni', omogoča utrjevanje vezi med osebki iste vrste: omogoča občutenje naklonjenosti in posledično oblikuje razne družbene interakcije (občutek pripadnosti, zaupanja, ljubezni,…). Dokazana naj bi bila tudi 'oksitocinska vez' med ljudmi in psi, takšna vez je med ljudmi in volkovi nemogoča.
Tekst na 'priloženi' povezavi eksplicira antropomorfistične želje: algoritemsko 'privzgajane' človeških vrednot, ki naj bi UI podelilo samo-omejevalni smoter/cilj, brez katerega je UI le aparat brezmejnega maksimiranja. Z vrednotami, ki so vedno ideološki konstrukt, nad slepo maksimiranje inteligentnih strojev? In vrednote se da 'prevesti' v algoritme za učenje?V razmislek: https://wiki.lesswrong.com/wiki/Papercl...Če prav razumem, UI brez ideološke indoktrinacije je človeštvu nevarna?
Pretiravaš z antropomorfizmom.
poweroff ::
ker človeški sistem za vid ni 100%, ampak samo 99,99%, ne sodišču ne zdrži. Kot voznik si osebno kriv in odgovoren.
Seveda, ampak to je v bistvu fikcija, ki smo si jo vsilili sami.
Počasi bo treba te fikcije spregledati kot zgolj in samo - fikcije.
sudo poweroff
Okapi ::
Bolj slabo kaže. Demokracija, kot se dogaja v času facebooka in twitterja, takšne fikcije samo še poglablja in širi.
Če gospodarske krize 2008 ne bi bilo, bi bili Zidar, Černigoj, Kordež, Bavčar in kompanija managerji desetletja, ker je kriza bila, je pa treba najti krivce in jih po možnosti zapreti.
Če gospodarske krize 2008 ne bi bilo, bi bili Zidar, Černigoj, Kordež, Bavčar in kompanija managerji desetletja, ker je kriza bila, je pa treba najti krivce in jih po možnosti zapreti.
poweroff ::
Ja, samo možne rezultate tega pa vidim samo tri.
Prvi je, da se bo napredek ustavil.
Drugi je, da se bo napredek preselil v države z manjšo zaščito. Tako kot se kloniranje in genske tehnologije selijo na Kitajsko. Kdo bo na koncu prosperiral je jasno.
Tretji je, da bomo potrošniki ob nakupu takega izdelka morali podpisati 3 strani drobnega tiska, kjer pa na koncu ne bo izključenna samo ta odgovornost, pač pa še katera druga. EULA je tipičen primer. Kdo ti povrne škodo, ker se ti je tik pred shranjevanjem diplome usul Word?
Prvi je, da se bo napredek ustavil.
Drugi je, da se bo napredek preselil v države z manjšo zaščito. Tako kot se kloniranje in genske tehnologije selijo na Kitajsko. Kdo bo na koncu prosperiral je jasno.
Tretji je, da bomo potrošniki ob nakupu takega izdelka morali podpisati 3 strani drobnega tiska, kjer pa na koncu ne bo izključenna samo ta odgovornost, pač pa še katera druga. EULA je tipičen primer. Kdo ti povrne škodo, ker se ti je tik pred shranjevanjem diplome usul Word?
sudo poweroff
AndrejO ::
Zakaj je treba podtikati? Jaz si nič ne želim, jaz samo povem, kako je (oziroma kako bo).
Mislim, da izjava "Ampak v vsakem primeru bo nek človek, ki ga bo mogoče, če bo to potrebno, kaznovati tudi kako drugače, ne samo denarno." ne dopušča druge interpretacije, kot to, da je potrebno zadovoljiti željam drhali, ki hoče kri. V praksi "v vsakem primeru bo nek človek" pač ne obstaja.
Dokler ne bo na načelni ravni jasno, kdo je osebno odgovoren za škodo, ki jo povzroči robotski avto, robotskih avtov v velikem številu na cesti ne bo.
Na načelni in tudi operativni ravni je to v pravu že jasno. Nedefiniranega območja ni.
Odgovornosti se bodo pa seveda vsi otepali, nihče (proizvajalci, prodajalci, lastniki, uporabniki) ne bo kar sam od sebe hotel prevzeti odgovornosti (ne glede na to, kaj sedaj pravijo pri Volvu).
Kar je izjavil Volvo je tavtologija. Teža njegove izjave je enaka teži jankovičeve izjave, da bo odgovarjal za vsa kazniva dejanja za katera bo spoznan za krivega. Duh. Kot da bo imel pri tem kakšno izbiro.
Zakonodajalec bo odločil, kdo je na načelni ravni odgovoren.
Je že določeno. Kaj še manjka?
Odgovorni se bo pa v vsakem posameznem primeru lahko na sodišču branil in krivico valil na koga drugega.
Če se brani na sodišču, potem ni odgovoren, temveč je obtožen nečesa. Morda sodišče ugotovi, da je odgovoren nekdo tretji ali pa sploh nihče.
Ko pade sneg s strehe in nekoga spodaj poškoduje ali celo ubije, ni kriv ne sneg, ne vreme, ne streha, ampak lastnik oziroma vzdrževalec strehe. Ta pa potem lahko reče, da je sneg s strehe padel, ker je nekdo dan pred sneženjem ukradel snegobrane in tega ni bilo mogoče pravočasno ugotoviti.
Recimo, da je temu tako. Zakaj si posebej poudaril ta primer? Za robote imamo tudi pravila kdo je odgovoren česa. Za vozila tudi. Itd ... Razen krvoželjnosti s katero se ne morem strinjati, je še kaj, kar bi rad spremenil v trenutni ureditvi?
Okapi ::
Za robotska vozila prihodnosti nimamo še nobenih takih nedvoumnih pravil. Nihče ne ve, kdo bo odgovoren za samodejne avte, ko bodo ti lahko nekoč samostojno vozili otroke v šolo.
noraguta ::
najlažje je obstoječa prometna. bo pa mogoče nekoč dubajski kongres za ai.
Pust' ot pobyedy k pobyedye vyedyot!
AndrejO ::
poweroff ::
Kdo je odgovoren za škodo, ki jo povzroči žival?
Seveda, lastnik.
Kaj pa pri divjih živalih?
Ja, tam pa lokalno lovsko društvo. "Krivec" namreč mora biti.
Problem so potem še razni potresi in vulkani, ampak tudi tukaj smo našli rešitev. No, so jo v Italiji.
Razen seveda ko gre v zrak nuklearka (če sem malo ciničen). Takrat je višina odškodnine omejena.
Seveda, lastnik.
Kaj pa pri divjih živalih?
Ja, tam pa lokalno lovsko društvo. "Krivec" namreč mora biti.
Problem so potem še razni potresi in vulkani, ampak tudi tukaj smo našli rešitev. No, so jo v Italiji.
Razen seveda ko gre v zrak nuklearka (če sem malo ciničen). Takrat je višina odškodnine omejena.
sudo poweroff
noraguta ::
boš imel pač pri kasku še ai. ne samo okna in srnjad. premija se pač določa glede na škodo.
ni ravno primerljivo trajna kontaminacija z radioaktivnostjo in prometna nesreča.
Kdo je odgovoren za škodo, ki jo povzroči žival?
Seveda, lastnik.
Kaj pa pri divjih živalih?
Ja, tam pa lokalno lovsko društvo. "Krivec" namreč mora biti.
Problem so potem še razni potresi in vulkani, ampak tudi tukaj smo našli rešitev. No, so jo v Italiji.
Razen seveda ko gre v zrak nuklearka (če sem malo ciničen). Takrat je višina odškodnine omejena.
ni ravno primerljivo trajna kontaminacija z radioaktivnostjo in prometna nesreča.
Pust' ot pobyedy k pobyedye vyedyot!
Zgodovina sprememb…
- spremenilo: noraguta ()
Vredno ogleda ...
Tema | Ogledi | Zadnje sporočilo | |
---|---|---|---|
Tema | Ogledi | Zadnje sporočilo | |
» | AlphaZero igra šah, go in šogi (strani: 1 2 )Oddelek: Novice / Znanost in tehnologija | 20991 (17166) | nevone |
» | Skrivnostni velemojster goja kar Googlov AlphaGoOddelek: Novice / Znanost in tehnologija | 9546 (5930) | Isotropic |
» | Zadnja priložnost za človeštvo v goju (strani: 1 2 )Oddelek: Novice / Znanost in tehnologija | 19684 (17796) | jype |
» | AlphaGo po treh zmagah že skupni zmagovalec dvoboja v goju proti človekuOddelek: Novice / Znanost in tehnologija | 16397 (12138) | bMozart |