» »

"Žal mi je Dave"* - kako regulirati algoritme?

"Žal mi je Dave"* - kako regulirati algoritme?

HAL 9000 (Cryteria, Wikipedija)

vir: Wikipedia

Googlovo vozilo brez voznika (Flckr user jurvetson, Wikipedija)

vir: Wikipedia
Slo-Tech - Ljudje so danes z odprtimi rokami sprejeli udobje tehnologije ne da bi zares razumeli, kako ta deluje ter kakšen abnormalen potencial kopičenja podatkov imajo naše naprave, katere praktično vedo, kdo smo, kje smo in kaj počnemo (ter še na tisoče drugih zadev). To dosežejo s pomočjo "pametnih" ter vedno bolj kompleksnih algoritmov, ki lahko v delčku sekunde najdejo, sortirajo, določijo, kontrolirajo in ukrepajo na podlagi množice podatkov, da nam tako pomagajo pri vsakdanjih življenjskih opravilih; v nasprotnem primeru bi se ljudje najbrž izgubili v preobilici informacij.

Za večino ljudi so algoritmi kot nekakšen "moderen mit"; sprašujejo se, kaj točno počnejo? Kaj sploh so? Ali lahko počnejo karkoli? Kdo jih nadzira? Kdo nadzira nadzornika? Ali mi nadziramo algoritme, ali oni nas? Kakšne so posledice? Kaj se zgodi, če jim prepustimo našo najdragocenejšo posest - naše življenje? In še cel kup moralnih in etičnih vprašanj. Znanstveniki se tako hipotetično sprašujejo npr. kako naj se algoritem v avtomobilih brez voznika odloči v primeru nesreče med dvema človeškima življenjema (ko se mora v istem trenutku odločiti med enim ali drugim, koga bo "pustil" živeti)?

Algoritmi (v svetu računalništva oz. informatike) so računalniški programi, ki (po domače povedano) "pomagajo računalnikom, da se odločajo o stvareh" (sicer uradne definicije za algoritem še nimamo, splošna neuradna pa je "seznam korakov, ki nas pripeljejo do rešitve problema"). Kar se sliši dokaj enostavno in nedolžno dokler jih ni skupaj več tisoč, ali milijonov istočasno v akciji in se nato sprašujemo, kaj se je pravzaprav zgodilo. Algoritmi lahko dandanes delujejo tudi avtonomno ter upravljajo in kontrolirajo stroje. Takšni avtonomni roboti pa že lahko funkcionirajo in se vedejo neodvisno od človeka (ali vsaj z visoko stopnjo neodvisnosti); ko pa bodo nekega dne opremljeni še z (visoko razvito) umetno inteligenco pa se že počasi bližamo znanstvenofantastičnim scenarijem. Ampak že sedaj imamo v uporabi "manj pametne" stroje v industriji, vojski, medicini, raziskovanju vesolja ipd. (nekateri zadnji projekti so googlov avtomobil, Paro, Cheetah, BigDog, Petman). Kot so seveda prisotne tudi politične težnje, da se uporablja algoritme za nadzor ljudi (zloglasni projekt Evropske unije INDECT) ali celo, da bi na podlagi algoritmov predvideli kriminalna vedenja ljudi, v stilu ZF filma Posebno poročilo (Minority Report).


Ker torej algoritmi vedno bolj drastično posegajo v naša življenja, se je seveda - predvsem v zadnjih letih - pojavila težnja po pravni varnosti, kako jih regulirati? Vedno več pravnih in ostalih strokovnjakov, znanstvenikov se ukvarja s tem vprašanjem. Regulacija algoritmov je sicer le del širšega interdisciplinarnega področja regulacije nastajajočih tehnologij (nanotehnologija, biotehnologija, avtonomni stroji, robotika, umetna inteligenca itd.). Izkazalo se je, da je svet algoritmov postal tako kompleksen (poleg tega se nenehno razvija), da ga je pravzaprav težko ujeti v neko pravno terminologijo ter regulirati v praksi. Znanstveniki vidijo delovanje algoritmov kot neko "mrežo vzrokov", na milijone povezanih programskih, informacijskih niti, kjer "nevidni pajek" izvrši nalogo in čeprav lahko vsi vidimo rezultat, je bil proces v ozadju tako kompleksen, da tudi znanstvenik, ki ga je razvil, ne ve pravzaprav, kaj se je zgodilo, kaj ga je povzročilo - "kje je pajek?". Ostali delovanje opisujejo kot "črno škatlo"; (black box), "lahko sicer vidimo (kaj je šlo vanjo in kaj gre iz nje), a ne razumemo notranjega delovanja".

Ljudje naredimo nekaj preprosto ker to hočemo; gremo skozi seznam argumentov za in proti in kljub temu lahko (namerno) sprejmemo "slabo" odločitev. Algoritmi niso dobri ali slabi, pošteni ali nepošteni, pravični ali nepravični - čeprav lahko človek te vrednote vnese v dizajn algoritma - predvsem je v ospredju odgovornost človeka upravljavca v ozadju, ali naj on prevzame jamstvo, če algoritem deluje slabo, nepošteno in nepravično? Težava kompleksnih algoritmov je predvsem v tem, da se ne vedejo vedno predvidljivo. Tudi sama koda je lahko hroščata (predvsem ker so razvijalci dandanes pod velikim časovnim pritiskom in vse prevečkrat zmanjka časa za kontrolo kakovosti). Vsekakor že imamo primere, ko gre kaj zares narobe (Flash Crash leta 2010, leta 2012 je Knight Capital Group izgubil 440 milijonov dolarjev idr.). Naj kaznujemo za slabe rezultate brez regulacije algoritmov?

V resnici morda vse skupaj le ni tako težavno kot je videti na prvi pogled. Namreč vsaj običajno imamo vedno neko osebo v ozadju, "nadzornika" oz. nekoga ki je naročil, razvil in "spustil" algoritem v svet. Poleg tega imamo lahko na voljo "klasično" dokumentacijo ("memos", "hot documents"), ki vsebuje kritične informacije o primeru ter nam morda pove, kakšni so bili resnični cilji v ozadju (npr. "strimo konkurenco"); morda ljudje ne razumemo (delovanja) algoritma, ampak to pa razumemo. Kot imamo konec koncev tudi rezultate; ne glede na to kateri algoritem je bil uporabljen. Imamo pa že tudi nekaj sodb, kjer so se lotili odgovornih za algoritme (kot npr. Nemško sodišče od Googla zahteva umik žaljivih autocompletov, Google mora žaljiva autocomplet gesla izbrisati) ter tudi praktično že vsaj posredne zakonske regulacije algoritmov (primer avtonomna vozila).

Nekako torej pridemo do zaključka, da za samo regulacijo na koncu detajli algoritma niti niso tako pomembni. Fokus regulacije ne bi smel biti na samem delovanju algoritma (kaj ta počne), temveč bi moralo biti pomembno, kaj algoritem "postane" (da lahko naredi kaj). Iz zapisanega je tudi očitno, da neka klasična točna zakonska pravila, navodila niso pravi pristop k reševanju te problematike. Za začetek morda potrebujemo neka "zlata pravila" (splošna načelna pravila) glede razvoja oz. uporabe algoritmov. Predvsem na področju robotike je bilo razvitih že kar nekaj predlogov (od Asimovih Treh zakonov robotike, Etičnega kodeksa robotike do EPRSC/AHRC načel robotike itd.), ki so morda uporabni tudi za to področje. Splošna načela bi se tako lahko glasila: 1. algoritme se ne sme razvijati samo ali prvenstveno za ubijanje ali škodovanje ljudem; 2. ljudje, ne algoritmi, so odgovorni povzročitelji. Algoritmi so orodja, ki so jih razvili in programirali za dosego človeških ciljev; 3. algoritmi morajo biti zasnovani na način, da zagotavljajo zanesljivo delovanje in varnost; 4. Vedno mora biti razvidno, kdo je pravno odgovoren za algoritem.

Ko imamo enkrat načela, pa se lahko malo bolj konkretno lotimo same regulacije, najprej najdemo neke fleksibilne definicije (kot npr. v primeru regulacije nanotehnologije), opravimo oceno tveganosti oz. nevarnosti (ki pravzaprav trenutno ni jasna niti znanstvenikom), se osredotočimo na odgovornost za rezultat (na podlagi dolžne skrbnosti pri samem razvoju ter uporabi algoritma); in tako sprejmemo neke mednarodne smernice ali v primeru EU vsaj regijske direktive, da lahko države regulacijo lažje prenesejo v nacionalno pravo (ker preprosto ne more vsaka država tega urejati po svoje). Morda bi bilo potrebno uvesti, kakšno splošno obvezno zavarovanje za finančno zaščito pred fizičnimi ter ostalimi poškodbami, ki so nastale na podlagi motnje v delovanju algoritma. Ostane vprašanje transparentnosti, kajti četudi bi imeli (kljub obrtnim skrivnostim) popoln vpogled v samo kodo programa algoritma, je velika verjetnost, da prav tako še vedno ne bi vedeli, kje leži težava.

Regulacija algoritmov sama je v bistvu eksperiment, kjer ne bomo imeli "ene in dokončne rešitve". Gre za kompleksen netočen proces, ki je ves čas v teku in šele ko se bomo soočili s konkretnimi problemi, jih bomo lahko tudi (bolj natančno) regulirali.

*Citat superračunalnika HAL 9000 (ang. Heuristically programmed ALgorithmic computer) iz kultnega znanstvenofantastičnega filma režiserja Stanleyja Kubricka iz leta 1968

20 komentarjev

Mipe ::

Z nadzornikom se je bolj težko tolažiti, ko bo umetna inteligenca samostojno začela razvijati svoje algoritme...

sandmat ::

Knuth ni good enough za definicijo algoritma?

Algorithm characterizations @ Wikipedia

Markoff ::

Mipe je izjavil:

Z nadzornikom se je bolj težko tolažiti, ko bo umetna inteligenca samostojno začela razvijati svoje algoritme...

Hja, kot v filmu I, Robot, zna AI "izgubiti nekaj s prevodom", ko bo 3 temeljne zakone robotike prevajala v druge mašine / algoritme...na koncu se zna razviti zakon, ki interpretira osnovne 3 zakone in je še vedno v skladu z njimi.

"Zaščititi človeka pred njim samim."

"Just a moment. Just a moment. I've picked up a fault in the AI35 unit." Takrat se mu je sfuzlalo. 2x Just a moment.
Ad astra per aspera

RejZoR ::

Folku je odveč osnovno razumevanje mehanike stvari (recmo kako deluje kvarčna/mehanska ura, kako deluje pralni stroj, kako deluje motor avtomobila, govorim čiste osnove, ne fine detajle!), pol pa bojo študiral algoritme in podobne stvari. Yea right.

Me pa vedno fascinira kako folku uspe bit tko ignorantski, da jih totalno boli K kako nekaj deluje. Pač deluje. In to je za njih povsem dovolj. Po drugi strani pa ti bo isti folk naredil cele znanosti iz res povsem banalnih stvari.
RejZoR's Flock of Sheep @ www.rejzor.tk

jype ::

This mission is too important for me to allow you to jeopardize it.

7982884e ::

del teh dilem se bo rešil sam od sebe, ko tehnologija dozori
recimo v primeru krivde v nesreči s avtonomnim vozilom, proizvajalec A bo manj zaupajoč v lastno tehnologijo in bo zahteval, da je voznik vedno na preži (česar voznik seveda v praksi ne bo prakticiral), tako da je v primeru napake v algoritmu krivda na njegovi strani
potem bo pa proizvajalec B lansiral novo serijo, v katere tehnologijo bo zelo zaupajoč, in bo avte oglaševal kot popolnoma avtonomne, kjer je v vsakem primeru krivda na strani proizvajalca (če seveda ni krivo drugo vozilo). pač plača tiste milijone odškodnin, bo pa zato ta serija prodajni hit

cegu ::

Bom bolj zaupal avtomobilu vozniku kot pa človeku vozniku.

Mufasa ::

Čisto predolga novica
"Es ist nicht genug, zu wissen, man muss auch anwenden;
es ist nicht genug, zu wollen, man muss auch tun."
- Johann Wolfgang von Goethe

mp218 ::

@rejzor
"Me pa vedno fascinira kako folku uspe bit tko ignorantski, da jih totalno boli K kako nekaj deluje. Pač deluje. In to je za njih povsem dovolj. Po drugi strani pa ti bo isti folk naredil cele znanosti iz res povsem banalnih stvari."

Saj ne moreš vsega vedet, zato smo se specializirali v poklice! Plus, človek je narejen zato, da ne ve kako deluje, ker lahko uporabljajo le omejeno količino funkcij, zato se le te združujejo in avtomatizirajo. Pomisli na svoje navade. Enkrat jih osvojiš, potem pa v večini ne veš več zakaj in kako delujejo (kolikokrat pomisliš na mehaniko vožnje kolesa?). Ekstrem je "slepa pega" kot je imenujejo v psihologiji.

______

Algoritem je tudi model vrednotenja nepremičnin. Zakon glede tega je Ustavno sodišče zavrnilo, ker se ni moč pritožiti na model izračuna vrednosti nepremičnine, torej algoritma. Torej neko zaščito pred algoritmi že imamo.

PrihajaNodi ::

Fantastičen članek. Pohvale avtorju!

Kaboom ::

dober članek.

btw:
HAL 9000 (ang. Heuristically programmed ALgorithmic computer)
črka + 1
H - I
A - B
L - M
Če se zatakne - pritisni močneje. Če se zlomi - bil je skrajni čas za nakup novega.

smash ::

Kaboom je izjavil:

dober članek.

btw:
HAL 9000 (ang. Heuristically programmed ALgorithmic computer)
črka + 1
H - I
A - B
L - M


črka - 5
D
U
H

FrizzleFry ::

Malo (po)znan člen naše zakonodaje (ZVOP-1); ni bogvekakšna varovalka pred diktatom algoritmov, but it's a start;)

Avtomatizirano odločanje

15. člen

Avtomatizirana obdelava osebnih podatkov, pri kateri se o posamezniku lahko sprejme odločitev, ki ima za posledico pravne učinke v zvezi z njim ali na njega znatno vpliva in ki temelji zgolj na avtomatizirani obdelavi podatkov, ki je namenjena ovrednotenju nekaterih osebnih vidikov v zvezi z njim, kakršni so zlasti njegova uspešnost pri delu, kreditna sposobnost, zanesljivost, ravnanje ali izpolnjevanje zahtevanih pogojev, je dovoljena le, če je odločitev:

1. sprejeta med sklepanjem ali izvajanjem pogodbe, pod pogojem, da je pobuda za sklenitev ali izvajanje pogodbe, ki jo je vložil posameznik, na katerega se osebni podatki nanašajo, izpolnjena ali da obstajajo primerni ukrepi za varstvo njegovih zakonitih interesov, kakršni so zlasti dogovori, ki mu omogočajo ugovarjati takšni odločitvi ali izraziti njegovo stališče;

2. določena z zakonom, ki določa tudi ukrepe za varstvo zakonitih interesov posameznika, na katerega se nanašajo osebni podatki, zlasti možnost pravnega sredstva zoper takšno odločitev.

Kaboom ::

smash je izjavil:

Kaboom je izjavil:

dober članek.

btw:
HAL 9000 (ang. Heuristically programmed ALgorithmic computer)
črka + 1
H - I
A - B
L - M


črka - 5
D
U
H


v kateri abecedi?
Če se zatakne - pritisni močneje. Če se zlomi - bil je skrajni čas za nakup novega.

Randomness ::

Valjda v slovenski. A ne črka-5, temveč črka-4.

A-------H---L------------
ABCČDEFGHIJKLMNOPRSŠTUVZŽ
UVZŽABCČDEFGHIJKLMNOPRSŠT
U-------D---H------------

Zgodovina sprememb…

ales85 ::

1. algoritme se ne sme razvijati samo ali prvenstveno za ubijanje ali škodovanje ljudem


Še dobro, da so razvijalci čipov in algoritmov za sledenje tarčam upoštevali to pravilo in da ti algoritmi ne služijo za ubijanje ali škodovanje ljudem.

Glugy ::

po tem kar berem dobim občutek da so algoritmi izredno nepojasnjeni glede tega kaj dejansko delajo, namreč mi nekako vidmo samo rezultat algoritma ne razumemo pa do potankosti vsega in lahko algoritem marsikaj še dela v ozadju kar je težko zaznat? viden končen rezultat je dokaj zanesljiv, skriti nameni so pa lahko izredno skriti in jih je težko odkrit. a jz to prov razumem?

Mipe ::

Če ne vidimo izvorne kode, bomo zgolj po vnosu in rezultatih res težko pogruntali namene algoritma. Nikoli ne veš, če je not kakšen prikrit if stavek, ki se aktivira v točno določenih pogojih in zruši svetovno ureditev...

Živela enkapsulacija.

matobeli ::

Ker ljudje smo privzeto pa pravo nasprotje tega.
"Čudež" življenja :P

Nekaj časa nazaj je nekdo mislil da imajo židje preveč nepredvidljivo "spisane algoritme". In ko bo čas, bomo stvar ponovili, tokrat vsi skupaj. (ali pač...)

Zgodovina sprememb…

  • spremenil: matobeli ()

RejZoR ::

Algoritem je tud krptirni (AES, DES), hashing (CRC32, SHA-512) lahko je grafični (ne vem, Gaussian blur, Lancosz, Spline), lahko je logični (pathfinding v 3D streljačinah za bot-e), lahko je kompresijski (LZMA2, ZPAQ, Bzip2) itd, to je zelo širok pojem v katerega lahko zmečeš pol svetovne tehnologije.
RejZoR's Flock of Sheep @ www.rejzor.tk


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

"Žal mi je Dave"* - kako regulirati algoritme?

Oddelek: Novice / Znanost in tehnologija
208903 (6215) RejZoR
»

RSA zanika očitke

Oddelek: Novice / Varnost
206692 (4244) Matthai
»

FRI, FR ali FMF?

Oddelek: Šola
131972 (1643) Mavrik
»

Razpisan natečaj za algoritem, ki predvideva obiske pri zdravniku

Oddelek: Novice / Zasebnost
367578 (5708) BlueRunner

Več podobnih tem