Prva smrtna žrtev v nesreči samovozečega avtomobila

thramos je 25. maj 2018 ob 10:00 izjavil:

AndrejO je 25. maj 2018 ob 02:33 izjavil:

Takšen, ki v svoji trenutni razvojni fazi spoštuje tudi arizonski ekvivalent 3. odst. 45. čl. ZPrCP: "(3) Prepovedano je sunkovito speljevanje, zaviranje ali ustavljanje, razen v nevarnosti. ..."

Če sistem pogosto pride do "false pozitive" zaključka, potem ga moraš v času zbiranja podatkov pač nadzirati z neodvisnim sistemom, ki se mu reče človek.

A v tem, da je trenutno na cestah na milijone "neodvisnih sistemov, ki se jim reče človek", ki (zavestno) izklopijo lasten sistem zaviranja v sili (ali pa ga sploh nimajo) in posledično pobijejo množice, pa nihče ne vidi problema?

Sistem, ki ima veliko false pozitives in je zaradi tega "manj uporaben" a bistveno bolj varen, bi moral biti bolja rešitev kot trenutno stanje.

Sistem, ki ima preveč "false postitives" ni varen, ker ga bo večina uporabnikov enostavno ugasnila in ga ne bo uporabljala, torej je argument, da je ta tak sistem bolj varen ničen!

Rekel bi, da mora v primeru take malomarnosti nekdo odgovarjati.

Če se ne strinjaš pridi prosim do mene. Delam en preizkus elektrike, banje z vodo in toasterja. Če se ti slučajno kaj zgodi najbrž tvoja družina ne bo ogorčena? Saj veš, kaj boš zdaj, ko te itak ni več. Lahko jim dam nekaj drobiža, da bo pravici zadoščeno, kot Uber. Deal?

Ja. Ali pa pasivno kajenje. Pa Fukušima.

nekikr je 25. maj 2018 ob 10:14 izjavil:

Rekel bi, da mora v primeru take malomarnosti nekdo odgovarjati.

Drži. Vozniki motornih vozil, kolektivno? Mislim, da bi bilo pošteno, da vsak voznik motornega vozila v Sloveniji plača 845,24 evra za vsakega ubitega pešca, da bo pravici zadoščeno.

Kako k čemu? Nekoga je treba prepričat, da bodisi sprejme svojo odgovornost, ali pa se sprijazni, da je življenje vedno nepošteno in da so kompenzacije način, s katerim se prepreči, da bi družina umorjene pravico iskala v umoru šefov Uberja z osebnim avtomobilom.

jype je 25. maj 2018 ob 11:12 izjavil:

Kako k čemu? Nekoga je treba prepričat, da bodisi sprejme svojo odgovornost, ali pa se sprijazni, da je življenje vedno nepošteno in da so kompenzacije način, s katerim se prepreči, da bi družina umorjene pravico iskala v umoru šefov Uberja z osebnim avtomobilom.

Svojo odgovornost?

Če bom sam odgovarjal v primeru, da naredi "moj" avtonomni avtomobil nesrečo, potem takega avtonomnega vozila ne rabim!

Preveč študij je že, med drugim tudi CEO Waymo-ta razlaga, da človek ni sposeben dovolj hitro prevzeti nadzor nad avtonomnim vozilom, ker nima kontekstualnih informacij o tem kaj se dogaja na cesti, ko/če je vozilo v avtonomnem načinu in se zgodi nepredvidljiva situacija!

VaeVictis je 25. maj 2018 ob 11:48 izjavil:

Če bom sam odgovarjal v primeru, da naredi "moj" avtonomni avtomobil nesrečo, potem takega avtonomnega vozila ne rabim!

To v Sloveniji že danes odgovarjaš, če si svoje vozilo posodil drugem vozniku. Škodo bo izplačala tvoja zavarovalnica iz tvoje police in ti boš trpel malus pri naslednjem zavarovanju. Pa tudi, če si bil v času nesreče na drugem kontintentu.

To pomeni, da takšen precedens že obstaja in, če si lastnik vozila, si ga že sprejel.

VaeVictis je 25. maj 2018 ob 11:48 izjavil:

Preveč študij je že, med drugim tudi CEO Waymo-ta razlaga, da človek ni sposeben dovolj hitro prevzeti nadzor nad avtonomnim vozilom, ker nima kontekstualnih informacij o tem kaj se dogaja na cesti, ko/če je vozilo v avtonomnem načinu in se zgodi nepredvidljiva situacija!

Hkrati pa ne smeš pozabiti omeniti, da ima človek v vozilu zaenkrat še dokazljivo večjo sposobnost predvidevanja prihodnjih dogodkov in tudi večjo natančnost pri zaznavi predmetov in ljudi pred vozilom, kar mu omogoča, da lahko prepreči, da bi vozilo sploh prišlo v nevaren položaj. Njegova funkcija zato ni samo reševanje iz nevarnih položajev, temveč predvsem preprečevanje, da bi vozilo prišlo v nevaren položaj.

Morda bi bila dobra analogija ta, da si predstavljaš delo inštruktorja vožnje, ne pa toliko delo voznika.

AndrejO je 25. maj 2018 ob 12:00 izjavil:

VaeVictis je 25. maj 2018 ob 11:48 izjavil:

Če bom sam odgovarjal v primeru, da naredi "moj" avtonomni avtomobil nesrečo, potem takega avtonomnega vozila ne rabim!

To v Sloveniji že danes odgovarjaš, če si svoje vozilo posodil drugem vozniku. Škodo bo izplačala tvoja zavarovalnica iz tvoje police in ti boš trpel malus pri naslednjem zavarovanju. Pa tudi, če si bil v času nesreče na drugem kontintentu.

To pomeni, da takšen precedens že obstaja in, če si lastnik vozila, si ga že sprejel.

BTW, nekaj je dvig zavarovalnine, drugo je kazenska oz. prekrškovna odgovornost za povzročitev nesreče pri kateri sam nisem ves čas aktivno upravljal vozila!

AndrejO je 25. maj 2018 ob 12:00 izjavil:

VaeVictis je 25. maj 2018 ob 11:48 izjavil:

Preveč študij je že, med drugim tudi CEO Waymo-ta razlaga, da človek ni sposeben dovolj hitro prevzeti nadzor nad avtonomnim vozilom, ker nima kontekstualnih informacij o tem kaj se dogaja na cesti, ko/če je vozilo v avtonomnem načinu in se zgodi nepredvidljiva situacija!

Hkrati pa ne smeš pozabiti omeniti, da ima človek v vozilu zaenkrat še dokazljivo večjo sposobnost predvidevanja prihodnjih dogodkov in tudi večjo natančnost pri zaznavi predmetov in ljudi pred vozilom, kar mu omogoča, da lahko prepreči, da bi vozilo sploh prišlo v nevaren položaj. Njegova funkcija zato ni samo reševanje iz nevarnih položajev, temveč predvsem preprečevanje, da bi vozilo prišlo v nevaren položaj.

Morda bi bila dobra analogija ta, da si predstavljaš delo inštruktorja vožnje, ne pa toliko delo voznika.

Bolje, a vseeno moram tudi kot "inštrukto vožnje" aktivno sodelovati in spremljati promet in predvidevati vse možne situacije, kar je pa praktično enako kot, da bi sam vozil, torej ni praktično nobene prednosti!

Ljudje smo po naravi leni in prehitro zaupamo tehnologiji, ki še ni zrela v praktično vseh situacijah!

Vidimo, da avtonomno vozilo dela na poznanih cestah v odličnih okoliščinah brez problemov v jasnem dnevu in se potem avtomatično zanašamo na to avtonomno vozilo tudi v slabih pogojih in nepredvidljivh okoliščinah, posebaj v primeru, da nam proizvajalec aktivno rekalmira prednosti takega vozila!

Kot asistenca, ki me spremlja (podobno kot ESP, ABS, ...) sem takoj ZA, nekaj v smislu aktivnega opazovalca prometa, ki mi opozarja na elemente, ki me lahko presentijo oz. jih lahko spregledam (me opozarja na druga vozila v mrtvem kotu, aktivno spremlja situacijo in aktivno bremza predenj sam reagiram, ...).

Kot funkcija avtopilota oz. popolnoma avtonomne vožnje, katero moram aktivno nadzirati NE!

VaeVictis je 25. maj 2018 ob 12:36 izjavil:

BTW, nekaj je dvig zavarovalnine, drugo je kazenska oz. prekrškovna odgovornost za povzročitev nesreče pri kateri sam nisem ves čas aktivno upravljal vozila!

Ta druga kategorija odgovornosti je odvisna od razlogov zaradi katerih vozila nisi imel pod nadzorom. Če vzameš primer Uber-ja, se vsaj za sedaj še ni odločilo, če je odgovornost na strani voznika, ki vozila ni nadzoroval, na strani Uber-ja, ki ni poskrbel za sistem, kjer bi ljudje v danih okoliščinah sploh lahko opravljali svojo nalogo nadzora ali pa deljeno, ker so oboji naredili napako.

VaeVictis je 25. maj 2018 ob 12:36 izjavil:

Bolje, a vseeno moram tudi kot "inštrukto vožnje" aktivno sodelovati in spremljati promet in predvidevati vse možne situacije, kar je pa praktično enako kot, da bi sam vozil, torej ni praktično nobene prednosti!

Govora je o razvoju avtonomnih sistemov, ne o končnih produktih. Za graditi mostove moraš biti inženir (v pravem smislu besede), to pa ne pomeni, da ti, kot popoln analfabet, zato mosta ne moreš varno uprabljati.

VaeVictis je 25. maj 2018 ob 12:36 izjavil:

Kot asistenca, ki me spremlja (podobno kot ESP, ABS, ...) sem takoj ZA, nekaj v smislu aktivnega opazovalca prometa, ki mi opozarja na elemente, ki me lahko presentijo oz. jih lahko spregledam (me opozarja na druga vozila v mrtvem kotu, aktivno spremlja situacijo in aktivno bremza predenj sam reagiram, ...).

Vendar pa se kljub temu nikoli in nikakor ne smeš zanašati na te sisteme, ker ti nič ne jamči, da bodo vedno pravilno delovali.

Kot mi je lepo pojasnil inštruktor vožnje, ko sem enkrat peljal preko zavarovanega železniškega prehoda, ne da bi preveril, če se približuje vlak: "ali zapornice nikoli ne odpovedo?"

VaeVictis je 25. maj 2018 ob 12:36 izjavil:

Kot funkcija avtopilota oz. popolnoma avtonomne vožnje, katero moram aktivno nadzirati NE!

Ne mešati končnega cilja s trenutno fazo, kjer se zadeve šele razvija.

Glej, v redu, naj bo po tvoje. Izključen sistem zaviranja, izključeno opozarjanje voznika na nevarnost in nadzorni voznik, ki ne opravlja svojega dela je pač nekaj, kar se zgodi, jebiga, ni treba da je zdaj kdo kriv, ane?

AndrejO je 25. maj 2018 ob 02:33 izjavil:

Takšen, ki v svoji trenutni razvojni fazi spoštuje tudi arizonski ekvivalent 3. odst. 45. čl. ZPrCP: "(3) Prepovedano je sunkovito speljevanje, zaviranje ali ustavljanje, razen v nevarnosti. ..."

Če sistem pogosto pride do "false pozitive" zaključka, potem ga moraš v času zbiranja podatkov pač nadzirati z neodvisnim sistemom, ki se mu reče človek.

AndrejO je 25. maj 2018 ob 02:33 izjavil:

Hkrati pa se pripetijo tudi situacije, kjer AI zavira, ko niti pod razno ne bi rabil ali smel. Kaj je za voznika bolj naravno oziroma naravno do te mere, da je refleksno? Da ob zaznani nevarnosti pred seboj "nagazi na bremzo" ali, da ob zaznani odsotnosti nevarnosti pred seboj in nevarnosti za seboj (ker ima oči tudi na tilniku) "nagazi na plin"?

Bi se verjetno strinjal s teboj, če ne bi bilo ene neprijetne realnosti, da delujoči AEB sistemi že obstajajo, ne povzročajo nevarnosti v prometu in so povsem v skladu s citiranim zakonom (in podobnimi zakoni drugod po svetu).

A je Uberjeva samovozeča AI kar se tiče zaviranja v sili že ekvivalentna ali celo boljša od obstoječih AEB sistemov? Super, potem ne bo ovirala in ogrožala prometa, tako da ji lahko dovolijo izvajati zaviranje v sili. Je opazno slabša od obstoječih sistemov? Potem se obstoječega sistema nima kaj izklapljat med treniranjem AI na javnih cestah.

Tudi argument, da se drugače ne da natrenirati samovozeže AI ne zdrži vode. Po istem argumentu tudi človeški voznik ne bi smel intervenirati, češ da to moti učenje AI. Če intervenira samostojen AEB sistem ali človeški voznik, je prav isto, s stališča motenja učenja AI. V bistvu je človeški voznik še bolj moteč, ker bo tipično pričel zavirati hitreje od računalnika.

So pač škrti pri Uberju, gledajo v prihodnost in nočejo bit odvisni od nekega drugega sistema. Verjetno so še abs izklopili in trenirali AI, da ga ta simulira. Uber je itak znan po sekanju bližnic.

frudi je 26. maj 2018 ob 08:01 izjavil:

AndrejO je 25. maj 2018 ob 02:33 izjavil:

Takšen, ki v svoji trenutni razvojni fazi spoštuje tudi arizonski ekvivalent 3. odst. 45. čl. ZPrCP: "(3) Prepovedano je sunkovito speljevanje, zaviranje ali ustavljanje, razen v nevarnosti. ..."

Če sistem pogosto pride do "false pozitive" zaključka, potem ga moraš v času zbiranja podatkov pač nadzirati z neodvisnim sistemom, ki se mu reče človek.

AndrejO je 25. maj 2018 ob 02:33 izjavil:

Hkrati pa se pripetijo tudi situacije, kjer AI zavira, ko niti pod razno ne bi rabil ali smel. Kaj je za voznika bolj naravno oziroma naravno do te mere, da je refleksno? Da ob zaznani nevarnosti pred seboj "nagazi na bremzo" ali, da ob zaznani odsotnosti nevarnosti pred seboj in nevarnosti za seboj (ker ima oči tudi na tilniku) "nagazi na plin"?

Bi se verjetno strinjal s teboj, če ne bi bilo ene neprijetne realnosti, da delujoči AEB sistemi že obstajajo, ne povzročajo nevarnosti v prometu in so povsem v skladu s citiranim zakonom (in podobnimi zakoni drugod po svetu).

Realnost je neprijetna zgolj zato, ker so vsi produkcijski sistemi, brez izjeme naučeni tako, da minimizirajo "false positives" oz. sunkovito zaviranje brez pravega vzroka. Cena, ki jo zato plačamo, je ta, da zaradi tega povečamo število "false negatives" oziroma primerov, ko bi morali zavirati, pa tega ne storijo. Po možnosti zatajijo kar med predstavitvijo medijem, kar je vsaj meni precem pomenljivo.

Kar me znova vrne na staro zgodbo: ali sme voznik voziti tako, da se zanaša na brezhibnost pomožnih sistemov? IMO ne. Če ti bo AEB zatajil in boš povozil froca, boš dobil enako kazen, kot če sploh ne bi imel AEB sistema in bi storil enako. Ergo ... ne glede na to kateri sistemi so bili odklopljeni ali ne, je človeški sistem nadzora vozila v celoti zatajil. Kakšna je tukaj čigava odgovornost, pa boš še zanimivo brati v prihodnjih mesecih ali letih.

frudi je 26. maj 2018 ob 08:01 izjavil:

A je Uberjeva samovozeča AI kar se tiče zaviranja v sili že ekvivalentna ali celo boljša od obstoječih AEB sistemov? Super, potem ne bo ovirala in ogrožala prometa, tako da ji lahko dovolijo izvajati zaviranje v sili. Je opazno slabša od obstoječih sistemov? Potem se obstoječega sistema nima kaj izklapljat med treniranjem AI na javnih cestah.

Ne vem kaj točno Uber počne ali pa je počel, vendar pa je smiselno, da je AEB del "master" sistema in ne samostojna enota že zato, ker ima posledično na voljo več relevantnih podatkov in tudi že sprocesirane podatke.

frudi je 26. maj 2018 ob 08:01 izjavil:

Tudi argument, da se drugače ne da natrenirati samovozeže AI ne zdrži vode. Po istem argumentu tudi človeški voznik ne bi smel intervenirati, češ da to moti učenje AI. Če intervenira samostojen AEB sistem ali človeški voznik, je prav isto, s stališča motenja učenja AI. V bistvu je človeški voznik še bolj moteč, ker bo tipično pričel zavirati hitreje od računalnika.

Logika se sliši OK, ampak zakaj pa potem vsi razvijalci avtonomnih sistemov počno enako? Occamovo rezilo mi pravi, da je bolj verjetno, da oni vedo nekaj, česar midva ne veva, kot pa obratno.

AEB mora biti izkljucen, ker bi drugace samo motil Uberjev sistem. Uberjev AI bi v koncni fazi moral nadomestiti vecino teh pomagal. Tokrat Uberjev AI ni ukrepal, zakaj je prislo do tega vedno najbrz samo Uberjevi inzenirji. Morda se algoritem se vedno uci in ob nejasni detekciji raje ne ukrepa in caka na operaterja. V tem primeru si je pac zabelezil: 'ce neki kar zgleda kot pesec, oz kot unknown, oz kot kolesar in precka cesto, mors bremzat'. :>

frudi je 28. maj 2018 ob 20:41 izjavil:

@AndrejO: ni problem v tem, da je bil Volvov AEB sistem izključen. Problem je v tem, da je sam Uberjev AI imel prepoved zaviranja v sili. AEB omenjam toliko zato, ker je njegova komercialna raba jasen dokaz, da že tako 'primitiven' sistem lahko deluje v prometu brez povzročanja kaosa in nevarnosti, v skladu s prometnimi predpisi.

Sam ne bi enačil "tehnično primitivnost" s primitivnostjo v smislu "rešitev še razvijamo". Uber nekaj šele razvija in sam se sprašujem zakaj to dela na način, ki ogroža življenja, ne pa o tehnični upravičenosti tega, da so deli nerazvitega sistema še vedno izključeni.

frudi je 28. maj 2018 ob 20:41 izjavil:

In kot tudi sam praviš, samovozeča AI ima načeloma na voljo precej več podatkov in boljše senzorje, kot katerikoli samostojen AEB sistem, torej bi morala v praksi delovati bolj zanesljivo.

Nekega dne zagotovo.

frudi je 28. maj 2018 ob 20:41 izjavil:

Če torej ni zakonskih ovir za uporabo AEB, ne morejo biti prometni predpisi kredibilen izgovor, da se med avtonomno vožnjo AI namerno onemogoči izvajanje močnega zaviranja.

Ne gre se za izgovor, gre se za to, da je sistem očitno (še zlasti v luči siceršnjih težav s samim seboj) še nedodelan prototip, del (tudi tukaj prisotne javnosti) pa sliši PR v smislu "lejte najnovejše usepehe" in tega ne zna povezati z dejstvom na terenu, ki je, da se to še vedno razvojni projekti, ki se jih izvaja v okolju javnega prometa. To niso niti prototipi. To so še vedno dobesedno eksperimenti.

frudi je 28. maj 2018 ob 20:41 izjavil:

Če false positives niso zakonska ovira za komercialne AEB, potem so še toliko manj ovira za samovozečo AI.

Ovira niso v toliko, da se jih je odstranilo za ceno tega, da imaš množico false negatives. In mimogrede, AEB sistemi so tudi AI v podobnem smislu kot "centralni AI" avtonomnega vozila. Samo, da so bolj fokusirani.

In kar se tiče težav teh sistemov (Toyota je zaradi tega že imela vpoklice):
"There’s a chance your car may suddenly stop on the highway if its sensors mistake the road barrier for another car, but there’s nothing wrong with the vehicle. That’s the message that the owner of a Prius essentially got from Toyota, revealing a potential flaw with the automatic emergency braking (AEB) system that Toyota plans to make standard in all of its cars by 2018."
https://www.consumeraffairs.com/news/au...

Ravno tako Ford:
"The problem will only occur when an F-150 is in what's called "adaptive cruise control" mode, which will apply the brakes if it detects an obstacle. Ford said the problem can occur when the pickup passes a large, highly reflective truck. The radar can be fooled into thinking that large truck is in the F-150's lane and then hit the brakes. The collision-warning system would also activate, flashing red lights and sounding an alarm in the F-150's cab."
http://money.cnn.com/2015/09/30/autos/f...

Kar se tiče zanesljivosti (38% manj nesreč je odličen rezultat, tvoje izjave mi dajo misliti, da pa ti pričakuješ še boljšega):
"Sounds like a fantastic bit of safety kit, right? And indeed it is. Research carried out by Thatcham, the motor insurers’ automotive research centre, has shown that having AEB fitted results in a 38 per cent reduction in real-world rear-end crashes."
https://www.telegraph.co.uk/cars/advice...

In to so stvari, ki so "v produkciji", ne pa testni sistemi. Začuda, dokler se v zgodbi ne pojavi Uber, se ni nikjer nič pisalo o tem, da Volvo morda naokoli vozi svoje lastne XC90 modele brez te funkcije, ker nekaj testira ali pa razvija. Morda zato, ker je za volanom še vedno voznik in je vsem jasno, da je voznik tam zato, da skrbi za varnost?

Zakaj je to popolnoma banalno dejstvo o vlogi voznika v razvojnem vozilu nekje izpuhtelo v zrak in se sedaj večina ljudi zatika ob to, da je bil nek aktiven varnostni sistem zaradi tega ali onega onemogočen?

frudi je 28. maj 2018 ob 20:41 izjavil:

Za false negatives pa sedi v avtu človeški voznik.

In kot smo videlu na primeru Uber, je ta faktor zatajil.