Slo-Tech - V začetku meseca se je razširila vest, da bo Apple na pametnih telefonih vzpostavil sistem za analizo fotografij, poimenovan NeuralHash, ki bo avtomatično preveril, ali kakšna vsebuje otroško pornografijo (CSAM, Child Sexual Abuse Material). Deloval naj bi z lokalnim (torej na telefonu) izračunavanjem zgoščenih vrednosti, ki bi se potem primerjale z bazo znanih fotografij pri NCMEC (US National Center for Missing and Exploited Children). Če bi bilo zadetkov več, omenjalo se je število 30, bi sistem uporabnika prijavil oblastem. Žal pa je izvedba sistema šarlatanska, so pokazali raziskovalci, ki so z vzvratnim inženiringom ugotovili, kako sistem dejansko deluje. Prav tako so že uspeli ustvariti prve kolizije.
Iz kode, ki jo je Asuhariet Ygvar objavil na Githubu in je najverjetneje pristna, je moč razbrati delovanje algoritma NeuralHasha. Kot prikrita koda je bila vstavljena že v iOS 14.3, saj pa bo očitno začela delovati. Problematično je, da je izvedba slaba, zaradi česar algoritem zmore preseči spreminjanje velikosti in kompresijo (torej še vedno prepozna tako spremenjene fotografije), zmedejo pa ga že vrtenje ali izrezovanj delov slike. Dodatne težave povzroča Applova nevronska mreža, ki ima 200 slojev, in ni najprimernejša za to nalogo, saj na različnih arhitekturah za iste fotografije vrne precej različne zgoščene vrednosti (tudi do 9 bitov), kar je preveč in predvsem že dokazano, da se da bolje. Raziskovalcem ni jasno, zakaj je Apple uporabil nevronske mreže na tak način, ker obstajajo boljše rešitve.
Kmalu so raziskovalci pokazali tudi, da je možno ustvariti fotografiji, ki imata enako zgoščeno vrednost, torej kolizijo. To je seveda neizbežno pri vsakem algoritmu za zgoščene vrednosti, ker gre pač takšno preslikavo, toda v praksi ne bi smelo biti možno namenoma proizvesti kolizije. To pa sedaj pomeni, da bi lahko kdorkoli proizvedel nedolžno fotografijo, ki bi imela problematično zgoščeno vrednost, jo poslal tarči, njen telefon pa bi se (po 30 primerkih) pritožil Applu in oblastem. Apple načeloma nima dostopa do vsebine pametnih telefonov, v tem primeru pa bi seveda iOS Applu fotografije poslal, kar bi omogočilo izvedbo sodnih odredb po pridobitvi podatkov (in Apple ne bi mogel trditi, da tega tehnično ne more narediti). Druga, manj eksotična možnost, so seveda politični pritiskih v različnih državah. Apple je s sistemom priznal in demonstriral, da ima možnost (za zdaj lokalnega) pregledovanje vsebine sporočil. Povsem možno je, da kakšen avtoritaren režim pritisne na Apple in želi sistem malce prilagoditi še za lastne potrebe.
Apple trdi, da razloga za preplah. Verzija, ki je sedaj objavljena, naj bi bila splošna verzija, medtem ko bo končna verzija bolj dodelana. Prav tako dodaja, da obstajajo varovalke pred kolizijami, kot je ročni pregled fotografij pri Applu, preden se prijava posreduje organom pregona. Bo Apple imel zaposlene, ki bodo gledali otroško pornografijo?!
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021
Korporacije se zlo rade špilajo policaje zadnje čase.
A je to Apple z slikami na telefonu kot v tem primeru. A je to poljuben cloud ponudnik ki dela isto, sicer ne lokalno. A je to Facebook ali podobno online platforma ki špila policaja na objave ...
Meni je najbolj hecno pri celi stvari, kaj se je podilo Applovemu managementu po praznih glavah? Verjetno so si predstavljali, da bojo pedofili kupovali njihove telefone, zdaj ko je pregledovanje slik vsesplosno znano?? Se pravi pedofil se bo dejansko samoprijavil. Pac applovih telefonov ne bojo uporabljali in problem resen.
Meni je najbolj hecno pri celi stvari, kaj se je podilo Applovemu managementu po praznih glavah? Verjetno so si predstavljali, da bojo pedofili kupovali njihove telefone, zdaj ko je pregledovanje slik vsesplosno znano?? Se pravi pedofil se bo dejansko samoprijavil. Pac applovih telefonov ne bojo uporabljali in problem resen.
Ne gre se za to, kdo bo uporabljal jabolčnika. Enaka/podobna zgodba je tudi pri "konkurenci".
Problem postaja oz. do neke mere je že, da na trgu ni več prave konkurence ampak nastajajo/so močni tehnološki oligopoli, ki implementirajo rešitve v smislu, Korporacija ve kaj je dobro za uporabnika na več nivojih. Med drugim kot je nekdo omenil, špilanje policaja, ko njim ustreza.
Meni je najbolj hecno pri celi stvari, kaj se je podilo Applovemu managementu po praznih glavah?
To kar običajno. Nič.
Kar je še večji problem in ga novica ne izpostavlja dovolj je, d gre pri uporabi nevronske mreže za očiten buzzwording... pač, zraven so vtaknili nekaj, kar se sliši zelo kunštno, da se lahko hvalijo kako njihove telefone poganja umetna inteligenca. Ki je v konkretnem primeru popolnoma odveč in nepotrebna.
Bo Apple imel zaposlene, ki bodo gledali otroško pornografijo?!
Pa saj imajo ta podjetja že zdaj zaposlene, ki filtrirajo neprimerne vsebine, to ni nič novega. Tukaj že dolgo špilajo policaja. Tudi algoritmi že obstajajo in kot je v članku lepo napisano tukaj Apple - kot ponavadi - ne prinaša nič novega. Kjer se Apple v tem primeru razlikuje od konkurence je v tem, da je njihova implementacija očitno slaba. + seveda v tem, da te nadzorujejo nonstop, ne šele takrat, ko zadevo objaviš.
Število "ogledanih" fotografij bo gromozansko, tako da ja, če je je orodje slabo... bo že zaradi te številčnosti veliko lažnih pozitivnih primerov, ki bodo potem seveda ročno pregledani. Torej se zadevo lahko smatra kot nesorazmeren poseg v zasebnost.
Vendar če oni rečejo, da ni razloga za preplah, potem smo lahko mirni. šalamala
v tem primeru pa bi seveda iOS Applu fotografije poslal, kar bi omogočilo izvedbo sodnih odredb po pridobitvi podatkov
Pozabil si korak "Apple bo pogledal, ali so fotke res sporne, videl da niso, in se ne bo zgodilo nič senazacionalnega".
Oba sta pa pozabila še en korak, ki ga bo treba pretentati. Verjetno težje kot tistega, ki je JAVNO objavljen.
Apple also said that after a user passes the 30-match threshold, a second non-public algorithm that runs on Apple’s servers will check the results.
“This independent hash is chosen to reject the unlikely possibility that the match threshold was exceeded due to non-CSAM images that were adversarially perturbed to cause false NeuralHash matches against the on-device encrypted CSAM database.”
Mogoče pa te stvari Applu in podobnim nalagajo države in Apple želi v tem primeru narediti zadevo čim bolj javno, da potem pozneje ne bodo imeli s tem dela. Sicer pa, naj nekdo naredi 31 nedolžnih fotografij s spornim hashem, da si jih bomo nato množično pošiljali naokoli.
A zdaj pa lahko privatno podjetje dela to, za kar rabijo organi pregona nalog sodisca da delajo ?
Da ne govorimo o tem kako lahko je ko je en tak api narejen to potem izkoristiti za druge stvari tudi. "For the children" ja, kdo verjame da bo samo pri temu ostalo ...
kaksna neumnost od kretenizma. slikas svojega otroka ki ima čudne fleke na telesu za zdravnika, slikas svoje otroke na plazi ali ko se kopajo v banji in evo ze swat na tvojih vratih..po drugi strani pa kup pedofilov veselo drka na fotografije tvojega otroka, ki se pošiljajo appku v "review".
Mogoče pa te stvari Applu in podobnim nalagajo države in Apple želi v tem primeru narediti zadevo čim bolj javno, da potem pozneje ne bodo imeli s tem dela. Sicer pa, naj nekdo naredi 31 nedolžnih fotografij s spornim hashem, da si jih bomo nato množično pošiljali naokoli.
Kot že razloženo, Applov sistem ne bo niti trznil.
A zdaj pa lahko privatno podjetje dela to, za kar rabijo organi pregona nalog sodisca da delajo ?
Ja. Cloud ponudnikom ti dovoliš, da lahko "obdelujejo" tvoje podatke kolikor želijo. Niso zavezani k iskanju CSAM materijala, imajo pa obvezo ga prijavit, če ga najdejo. Apple je lani prijavil nekaj deset takih primerov. Google pol milijona zadev, Facebook pa dvajset. Milijonov.
kaksna neumnost od kretenizma. slikas svojega otroka ki ima čudne fleke na telesu za zdravnika, slikas svoje otroke na plazi ali ko se kopajo v banji in evo ze swat na tvojih vratih..po drugi strani pa kup pedofilov veselo drka na fotografije tvojega otroka, ki se pošiljajo appku v "review".
kaksna neumnost od kretenizma. slikas svojega otroka ki ima čudne fleke na telesu za zdravnika, slikas svoje otroke na plazi ali ko se kopajo v banji in evo ze swat na tvojih vratih..po drugi strani pa kup pedofilov veselo drka na fotografije tvojega otroka, ki se pošiljajo appku v "review".
To se seveda ne bo zgodilo, ker Apple primerja fotografije samo z BAZO (otroških slik) podatkov, ki jo imajo, če slikađ svojega otroka, verjetno ni v tej bazi in bo vse OK. Sicer se ne strinjam s tem kar dela Apple, ampak po pravici povedano, sem tudi jaz mislil, da je tako in pa da bo zaradi tega umrlo dosti ljudi (predvsem temnopoltih, sem mislil, da jih bodo policaji kr streljali, ko jim bodo prišli na dom, ko bodo slikali svojega otroka), ampak zadeva ni tako "črna", čeprav upam, da si Apple premisli, ker je to kaj delajo ZELO nevarno nasplošno.
V "originalni specifikaciji" Apple tudi ni poimensko naštel vse človeške pregledovalce.
Nihce pri zdravi pameti nima sistema, ki bi ves materijal vsul na pregledovalce brez da bi ga prej strojno čim bolje sfiltriral. A vidva s Schneierjem mislita, da ima FB milijon reviewerjev? Ampak tudi če predpostavimo, da niso dovolj pametni, da predvidijo še sistem za dodatno verifikacijo in raje zaposlijo milijon ljudi... sej je njihov denar. No, da so še v isti sekundi uspeli odgovoriti na popolni "zlom" sistema, govori bolj v prid temu, da vedo kako se to dela.
Kdo tocno pa je applova konkurenca? Kater proizvajalec ima svoj SOC, svoj OS, svoje aplikacije, popolnoma svoj in zaprt ekosistem ipd. in se ga mnozicno uporablja?
The reason why most of society hates conservatives and
loves liberals is because conservatives hurt you with
the truth and liberals comfort you with lies.
Kdo tocno pa je applova konkurenca? Kater proizvajalec ima svoj SOC, svoj OS, svoje aplikacije, popolnoma svoj in zaprt ekosistem ipd. in se ga mnozicno uporablja?
Kdo tocno pa je applova konkurenca? Kater proizvajalec ima svoj SOC, svoj OS, svoje aplikacije, popolnoma svoj in zaprt ekosistem ipd. in se ga mnozicno uporablja?
zakaj bi hotel da je vse to od enega proizvajalca?
Če sem prav razumel nek programček pregleduje slike. Sedaj še iščejo slike otrok. Ali je potem mogoče izdelati drug program, ki bo pregledoval, če so na slikah načrti, oziroma tehnični izdelki? Ko bo nekdo poslikal nek produkt, da bi ga predstavil morebitnemu kupcu, bo jabkec to preveril in če zadeva še ni patentirana bodo to prodali najboljšemu kupcu :) Je potem industrijska špijonaža že legalizirana?
Pa ne pisati o tem, da se to nebo delalo, oni že ne... Zanima me samo, ali je to danes že možno?
stjan: programček išče slike, ki ustrezajo slikam v neki bazi. V bazi so stare slike, ki so že obstajale in so jih organi pregona zasegli in evidentirali. Za nove slike (ali stare, ki jih še niso polovili in poskenirali v bazo) to ne bo delovalo in take slike ne bodo prepoznane. Tako tudi ne bodo prepoznane fotografije golih otrok.
Če sem prav razumel nek programček pregleduje slike. Sedaj še iščejo slike otrok. Ali je potem mogoče izdelati drug program, ki bo pregledoval, če so na slikah načrti, oziroma tehnični izdelki? Ko bo nekdo poslikal nek produkt, da bi ga predstavil morebitnemu kupcu, bo jabkec to preveril in če zadeva še ni patentirana bodo to prodali najboljšemu kupcu :) Je potem industrijska špijonaža že legalizirana?
Pa ne pisati o tem, da se to nebo delalo, oni že ne... Zanima me samo, ali je to danes že možno?
Nisi prav razumel, omenjeni sistem ne deluje tako kot opisuješ-
In ja, to kar opisuješ je povsem možno (tehnično) izdelat in uporabljat že danes. Teoretično ima lahko apple v kleti milijardo ljudi, ki pogledajo vsako sliko, ki je bila kadarkoli narejena z njihovimi aparati.
Torej, razni starši ki svoje dojenčke oz. res majhne otroke peljejo na plažo kjer jih (kot skoraj vsi v zgodovini) še ne oblečejo v kopalke... bodo naenkrat samoprijavljeni kot pedofili - smao zato ker so pač hoteli imet nek spomin? Samo zato, ker se je en algoritem tako odločil? In ljudje bodo na 2 leti za tako napravo plačali 1000+eur?
Ne vem, dvomim, da se znam preseliti v um nekega pedofila. Ti povej.
Si pa, kot normalen človek, res ne predstavljam, da greš prostovoljno v tako službo.
Nimam takih nagnjenj. Ugibam. Lahko pa sočustvujem z njimi, niso prostovoljno taki, trpijo, ker vejo da je to narobe, vsaj nekateri. In upam, da nikoli ne uresničijo svojih fantazij. V tem primeru sem za najstrožje kazni.
Torej, razni starši ki svoje dojenčke oz. res majhne otroke peljejo na plažo kjer jih (kot skoraj vsi v zgodovini) še ne oblečejo v kopalke... bodo naenkrat samoprijavljeni kot pedofili - smao zato ker so pač hoteli imet nek spomin? Samo zato, ker se je en algoritem tako odločil? In ljudje bodo na 2 leti za tako napravo plačali 1000+eur?
Nuts.
ja, nuts je dober opis za tole kar si izjavil. Že vsaj 10x je bilo pojasnjeno, da se algoritem ne bo ukvarjal z dejansko vsebino slike ampak bo hash primerjal z obstoječo bazo. Če pa so slike tvojih otrok v tej bazi, potem pa imaš bistveno večji problem kot je Apple.
Torej, razni starši ki svoje dojenčke oz. res majhne otroke peljejo na plažo kjer jih (kot skoraj vsi v zgodovini) še ne oblečejo v kopalke... bodo naenkrat samoprijavljeni kot pedofili - smao zato ker so pač hoteli imet nek spomin? Samo zato, ker se je en algoritem tako odločil? In ljudje bodo na 2 leti za tako napravo plačali 1000+eur?
Nuts.
ja, nuts je dober opis za tole kar si izjavil. Že vsaj 10x je bilo pojasnjeno, da se algoritem ne bo ukvarjal z dejansko vsebino slike ampak bo hash primerjal z obstoječo bazo. Če pa so slike tvojih otrok v tej bazi, potem pa imaš bistveno večji problem kot je Apple.
Zato, ker v sosednji temi ruski FSB pregleduje, sabotira in blokira aplikacije kar na napravah. Obenem oblasti trdijo, da se to nikoli ni, se ne in se nikoli ne bo dogajalo. Tako Apple kot Rusijo lahko uvrstimo v trdo vodene strukture.
Mesas hruske in jabolka. Ce privzamemo, da apple tako ali tako dela kar mu pase in sari po nasih telefonih, potem je ta sistem tako ali tako sam sebi namen.
Tako da lahko pac govorimo o konkretnem sistemu in njegovem delovanu, ki nima nic s tem kar njygs razlaga qli pa gremo full tin foil mode, kjer je vse mogoce.
Moj povdarek je na " da se to nikoli ni, se ne in se nikoli ne bo dogajalo", kar vse trdo vodene strukture trdijo in hitro požrejo. Zdi se mi, da je banaliziranje zadeve pihanje v jadra avtoritarnim sistemom. Četudi njygs mogoče nima prav.
Še vedno smo na slo-tech in ne med over net, zato bi človek pričakoval, da bo debata potekala vezano na dejanski topic in vprašanja, ki jih odpira novica, ne pa da vsak tretji začne sanjat o slikah otrok na plaži.
Tem o grdi grdi oblasti, ki nas želi po orwelovsko nadziart/pobit s cepivi/porabit za Soylent Green je več kot dovolj.
Če sem prav razumel nek programček pregleduje slike. Sedaj še iščejo slike otrok. Ali je potem mogoče izdelati drug program, ki bo pregledoval, če so na slikah načrti, oziroma tehnični izdelki? Ko bo nekdo poslikal nek produkt, da bi ga predstavil morebitnemu kupcu, bo jabkec to preveril in če zadeva še ni patentirana bodo to prodali najboljšemu kupcu :) Je potem industrijska špijonaža že legalizirana? Pa ne pisati o tem, da se to nebo delalo, oni že ne... Zanima me samo, ali je to danes že možno?
Po mojem že. Odvisno kje delaš in kaj delaš ...
"Multitasking - ability to f##k up several things at once."
"It works better if you plug it in."
"The one who is digging the hole for the other to fall in is allready in it."
