» »

Težave Applovega sistema za pregledovanje fotografij na telefonih

Težave Applovega sistema za pregledovanje fotografij na telefonih

Slo-Tech - V začetku meseca se je razširila vest, da bo Apple na pametnih telefonih vzpostavil sistem za analizo fotografij, poimenovan NeuralHash, ki bo avtomatično preveril, ali kakšna vsebuje otroško pornografijo (CSAM, Child Sexual Abuse Material). Deloval naj bi z lokalnim (torej na telefonu) izračunavanjem zgoščenih vrednosti, ki bi se potem primerjale z bazo znanih fotografij pri NCMEC (US National Center for Missing and Exploited Children). Če bi bilo zadetkov več, omenjalo se je število 30, bi sistem uporabnika prijavil oblastem. Žal pa je izvedba sistema šarlatanska, so pokazali raziskovalci, ki so z vzvratnim inženiringom ugotovili, kako sistem dejansko deluje. Prav tako so že uspeli ustvariti prve kolizije.

Iz kode, ki jo je Asuhariet Ygvar objavil na Githubu in je najverjetneje pristna, je moč razbrati delovanje algoritma NeuralHasha. Kot prikrita koda je bila vstavljena že v iOS 14.3, saj pa bo očitno začela delovati. Problematično je, da je izvedba slaba, zaradi česar algoritem zmore preseči spreminjanje velikosti in kompresijo (torej še vedno prepozna tako spremenjene fotografije), zmedejo pa ga že vrtenje ali izrezovanj delov slike. Dodatne težave povzroča Applova nevronska mreža, ki ima 200 slojev, in ni najprimernejša za to nalogo, saj na različnih arhitekturah za iste fotografije vrne precej različne zgoščene vrednosti (tudi do 9 bitov), kar je preveč in predvsem že dokazano, da se da bolje. Raziskovalcem ni jasno, zakaj je Apple uporabil nevronske mreže na tak način, ker obstajajo boljše rešitve.

Kmalu so raziskovalci pokazali tudi, da je možno ustvariti fotografiji, ki imata enako zgoščeno vrednost, torej kolizijo. To je seveda neizbežno pri vsakem algoritmu za zgoščene vrednosti, ker gre pač takšno preslikavo, toda v praksi ne bi smelo biti možno namenoma proizvesti kolizije. To pa sedaj pomeni, da bi lahko kdorkoli proizvedel nedolžno fotografijo, ki bi imela problematično zgoščeno vrednost, jo poslal tarči, njen telefon pa bi se (po 30 primerkih) pritožil Applu in oblastem. Apple načeloma nima dostopa do vsebine pametnih telefonov, v tem primeru pa bi seveda iOS Applu fotografije poslal, kar bi omogočilo izvedbo sodnih odredb po pridobitvi podatkov (in Apple ne bi mogel trditi, da tega tehnično ne more narediti). Druga, manj eksotična možnost, so seveda politični pritiskih v različnih državah. Apple je s sistemom priznal in demonstriral, da ima možnost (za zdaj lokalnega) pregledovanje vsebine sporočil. Povsem možno je, da kakšen avtoritaren režim pritisne na Apple in želi sistem malce prilagoditi še za lastne potrebe.

Apple trdi, da razloga za preplah. Verzija, ki je sedaj objavljena, naj bi bila splošna verzija, medtem ko bo končna verzija bolj dodelana. Prav tako dodaja, da obstajajo varovalke pred kolizijami, kot je ročni pregled fotografij pri Applu, preden se prijava posreduje organom pregona. Bo Apple imel zaposlene, ki bodo gledali otroško pornografijo?!

43 komentarjev

Markoff ::

What could possibly go wrong here?
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

Lonsarg ::

Korporacije se zlo rade špilajo policaje zadnje čase.

A je to Apple z slikami na telefonu kot v tem primeru.
A je to poljuben cloud ponudnik ki dela isto, sicer ne lokalno.
A je to Facebook ali podobno online platforma ki špila policaja na objave
...

Lepi časi ni kaj.

joze67 ::

Korporacije so kar zavezane v taka dejanja. In jim je to tudi všeč.

Pri seksu je to sadomazohizem, v tem primeru pa za neke vrste fašizem.

poweroff ::

Verzija, ki je sedaj objavljena, naj bi bila splošna verzija, medtem ko bo končna verzija bolj dodelana

Ali prav berem in je Apple dejansko priznal, da je dal ven polizdelek? :))
sudo poweroff

zmist ::

Meni je najbolj hecno pri celi stvari, kaj se je podilo Applovemu managementu po praznih glavah? Verjetno so si predstavljali, da bojo pedofili kupovali njihove telefone, zdaj ko je pregledovanje slik vsesplosno znano?? :)) Se pravi pedofil se bo dejansko samoprijavil. Pac applovih telefonov ne bojo uporabljali in problem resen.

Zgodovina sprememb…

  • spremenilo: zmist ()

kow ::

To itak prihaja od drzave. Zakaj mislis, da Google ne bo naredil enako. Kaj bos pa potem kupil?

Maximus ::

zmist je izjavil:

Meni je najbolj hecno pri celi stvari, kaj se je podilo Applovemu managementu po praznih glavah? Verjetno so si predstavljali, da bojo pedofili kupovali njihove telefone, zdaj ko je pregledovanje slik vsesplosno znano?? :)) Se pravi pedofil se bo dejansko samoprijavil. Pac applovih telefonov ne bojo uporabljali in problem resen.


Ne gre se za to, kdo bo uporabljal jabolčnika. Enaka/podobna zgodba je tudi pri "konkurenci".

Problem postaja oz. do neke mere je že, da na trgu ni več prave konkurence ampak nastajajo/so močni tehnološki oligopoli, ki implementirajo rešitve v smislu, Korporacija ve kaj je dobro za uporabnika na več nivojih. Med drugim kot je nekdo omenil, špilanje policaja, ko njim ustreza.

poweroff ::

zmist je izjavil:

Meni je najbolj hecno pri celi stvari, kaj se je podilo Applovemu managementu po praznih glavah?

To kar običajno. Nič.

Kar je še večji problem in ga novica ne izpostavlja dovolj je, d gre pri uporabi nevronske mreže za očiten buzzwording... pač, zraven so vtaknili nekaj, kar se sliši zelo kunštno, da se lahko hvalijo kako njihove telefone poganja umetna inteligenca. Ki je v konkretnem primeru popolnoma odveč in nepotrebna.
sudo poweroff

tws_ifp ::

Bo Apple imel zaposlene, ki bodo gledali otroško pornografijo?!

Pa saj imajo ta podjetja že zdaj zaposlene, ki filtrirajo neprimerne vsebine, to ni nič novega. Tukaj že dolgo špilajo policaja.
Tudi algoritmi že obstajajo in kot je v članku lepo napisano tukaj Apple - kot ponavadi - ne prinaša nič novega. Kjer se Apple v tem primeru razlikuje od konkurence je v tem, da je njihova implementacija očitno slaba. + seveda v tem, da te nadzorujejo nonstop, ne šele takrat, ko zadevo objaviš.

Število "ogledanih" fotografij bo gromozansko, tako da ja, če je je orodje slabo... bo že zaradi te številčnosti veliko lažnih pozitivnih primerov, ki bodo potem seveda ročno pregledani. Torej se zadevo lahko smatra kot nesorazmeren poseg v zasebnost.

Vendar če oni rečejo, da ni razloga za preplah, potem smo lahko mirni. šalamala

MrStein ::

v tem primeru pa bi seveda iOS Applu fotografije poslal, kar bi omogočilo izvedbo sodnih odredb po pridobitvi podatkov

Pozabil si korak "Apple bo pogledal, ali so fotke res sporne, videl da niso, in se ne bo zgodilo nič senazacionalnega".

Kar sicer potem celo piše na koncu članka. Ampak... seanzacionalizem.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

no comment ::

MrStein je izjavil:

v tem primeru pa bi seveda iOS Applu fotografije poslal, kar bi omogočilo izvedbo sodnih odredb po pridobitvi podatkov

Pozabil si korak "Apple bo pogledal, ali so fotke res sporne, videl da niso, in se ne bo zgodilo nič senazacionalnega".

Oba sta pa pozabila še en korak, ki ga bo treba pretentati. Verjetno težje kot tistega, ki je JAVNO objavljen.

Apple also said that after a user passes the 30-match threshold, a second non-public algorithm that runs on Apple’s servers will check the results.

“This independent hash is chosen to reject the unlikely possibility that the match threshold was exceeded due to non-CSAM images that were adversarially perturbed to cause false NeuralHash matches against the on-device encrypted CSAM database.”

driver_x ::

Mogoče pa te stvari Applu in podobnim nalagajo države in Apple želi v tem primeru narediti zadevo čim bolj javno, da potem pozneje ne bodo imeli s tem dela.
Sicer pa, naj nekdo naredi 31 nedolžnih fotografij s spornim hashem, da si jih bomo nato množično pošiljali naokoli.

Master_Yoda ::

A zdaj pa lahko privatno podjetje dela to, za kar rabijo organi pregona nalog sodisca da delajo ?

Da ne govorimo o tem kako lahko je ko je en tak api narejen to potem izkoristiti za druge stvari tudi. "For the children" ja, kdo verjame da bo samo pri temu ostalo ...
Dovie'andi se tovya sagain.

svecka ::

kaksna neumnost od kretenizma. slikas svojega otroka ki ima čudne fleke na telesu za zdravnika, slikas svoje otroke na plazi ali ko se kopajo v banji in evo ze swat na tvojih vratih..po drugi strani pa kup pedofilov veselo drka na fotografije tvojega otroka, ki se pošiljajo appku v "review".

Zgodovina sprememb…

  • spremenil: svecka ()

no comment ::

driver_x je izjavil:

Mogoče pa te stvari Applu in podobnim nalagajo države in Apple želi v tem primeru narediti zadevo čim bolj javno, da potem pozneje ne bodo imeli s tem dela.
Sicer pa, naj nekdo naredi 31 nedolžnih fotografij s spornim hashem, da si jih bomo nato množično pošiljali naokoli.

Kot že razloženo, Applov sistem ne bo niti trznil.

Master_Yoda je izjavil:

A zdaj pa lahko privatno podjetje dela to, za kar rabijo organi pregona nalog sodisca da delajo ?

Ja. Cloud ponudnikom ti dovoliš, da lahko "obdelujejo" tvoje podatke kolikor želijo. Niso zavezani k iskanju CSAM materijala, imajo pa obvezo ga prijavit, če ga najdejo. Apple je lani prijavil nekaj deset takih primerov. Google pol milijona zadev, Facebook pa dvajset. Milijonov.

svecka je izjavil:

kaksna neumnost od kretenizma. slikas svojega otroka ki ima čudne fleke na telesu za zdravnika, slikas svoje otroke na plazi ali ko se kopajo v banji in evo ze swat na tvojih vratih..po drugi strani pa kup pedofilov veselo drka na fotografije tvojega otroka, ki se pošiljajo appku v "review".

Zdaj bi pa že lahko vedel, da temu ni tako.

NubCake ::

svecka je izjavil:

kaksna neumnost od kretenizma. slikas svojega otroka ki ima čudne fleke na telesu za zdravnika, slikas svoje otroke na plazi ali ko se kopajo v banji in evo ze swat na tvojih vratih..po drugi strani pa kup pedofilov veselo drka na fotografije tvojega otroka, ki se pošiljajo appku v "review".

To se seveda ne bo zgodilo, ker Apple primerja fotografije samo z BAZO (otroških slik) podatkov, ki jo imajo, če slikađ svojega otroka, verjetno ni v tej bazi in bo vse OK. Sicer se ne strinjam s tem kar dela Apple, ampak po pravici povedano, sem tudi jaz mislil, da je tako in pa da bo zaradi tega umrlo dosti ljudi (predvsem temnopoltih, sem mislil, da jih bodo policaji kr streljali, ko jim bodo prišli na dom, ko bodo slikali svojega otroka), ampak zadeva ni tako "črna", čeprav upam, da si Apple premisli, ker je to kaj delajo ZELO nevarno nasplošno.

AndrejS ::

Kje pa bo apple dobil hashe spornih fotoghrafij za primerjanje ? Torej bo apple imel ogromno zbirko tega - nekdo je tam pedofil !

no comment ::

AndrejS je izjavil:

Kje pa bo apple dobil hashe spornih fotoghrafij za primerjanje ? Torej bo apple imel ogromno zbirko tega - nekdo je tam pedofil !

Od organizacij, ki lahko legalno zbirajo tak materijal bodo dobili bazo hashev. Apple NIMA in NE SME imeti baze samega materijala.

poweroff ::

I'm not convinced that this secondary system was originally part of the design, since it wasn't discussed in the original specification.

-- Bruce Schenier

Apple pač obvlada samo marketing...
sudo poweroff

no comment ::

V "originalni specifikaciji" Apple tudi ni poimensko naštel vse človeške pregledovalce.

Nihce pri zdravi pameti nima sistema, ki bi ves materijal vsul na pregledovalce brez da bi ga prej strojno čim bolje sfiltriral. A vidva s Schneierjem mislita, da ima FB milijon reviewerjev? Ampak tudi če predpostavimo, da niso dovolj pametni, da predvidijo še sistem za dodatno verifikacijo in raje zaposlijo milijon ljudi... sej je njihov denar. No, da so še v isti sekundi uspeli odgovoriti na popolni "zlom" sistema, govori bolj v prid temu, da vedo kako se to dela.

Dr_M ::

Enaka/podobna zgodba je tudi pri "konkurenci".


Kdo tocno pa je applova konkurenca?
Kater proizvajalec ima svoj SOC, svoj OS, svoje aplikacije, popolnoma svoj in zaprt ekosistem ipd. in se ga mnozicno uporablja?
The reason why most of society hates conservatives and
loves liberals is because conservatives hurt you with
the truth and liberals comfort you with lies.

poweroff ::

Crapple pač drugega kot zavajat ne zna.
sudo poweroff

Maximus ::

Dr_M je izjavil:

Enaka/podobna zgodba je tudi pri "konkurenci".


Kdo tocno pa je applova konkurenca?
Kater proizvajalec ima svoj SOC, svoj OS, svoje aplikacije, popolnoma svoj in zaprt ekosistem ipd. in se ga mnozicno uporablja?



Android?

jebitese ::

Preiskava prez naloga za preiskavo?!

ajdov2 ::

Dr_M je izjavil:

Enaka/podobna zgodba je tudi pri "konkurenci".


Kdo tocno pa je applova konkurenca?
Kater proizvajalec ima svoj SOC, svoj OS, svoje aplikacije, popolnoma svoj in zaprt ekosistem ipd. in se ga mnozicno uporablja?

zakaj bi hotel da je vse to od enega proizvajalca?

Utk ::

Zdaj bi pa že lahko vedel, da temu ni tako.

ZDAJ ni tako. Čez leto, dve, tri...

stjan ::

Če sem prav razumel nek programček pregleduje slike. Sedaj še iščejo slike otrok. Ali je potem mogoče izdelati drug program, ki bo pregledoval, če so na slikah načrti, oziroma tehnični izdelki?
Ko bo nekdo poslikal nek produkt, da bi ga predstavil morebitnemu kupcu, bo jabkec to preveril in če zadeva še ni patentirana bodo to prodali najboljšemu kupcu :)
Je potem industrijska špijonaža že legalizirana?

Pa ne pisati o tem, da se to nebo delalo, oni že ne... Zanima me samo, ali je to danes že možno?

c3p0 ::

no comment je izjavil:


Od organizacij, ki lahko legalno zbirajo tak materijal bodo dobili bazo hashev. Apple NIMA in NE SME imeti baze samega materijala.


Pedofilov dream job je torej v eni takih organizacij?

no comment ::

c3p0 je izjavil:

Pedofilov dream job je torej v eni takih organizacij?

Ne vem, dvomim, da se znam preseliti v um nekega pedofila. Ti povej.

Si pa, kot normalen človek, res ne predstavljam, da greš prostovoljno v tako službo.

GizmoX ::

stjan: programček išče slike, ki ustrezajo slikam v neki bazi. V bazi so stare slike, ki so že obstajale in so jih organi pregona zasegli in evidentirali.
Za nove slike (ali stare, ki jih še niso polovili in poskenirali v bazo) to ne bo delovalo in take slike ne bodo prepoznane.
Tako tudi ne bodo prepoznane fotografije golih otrok.
udirač => uni. dipl. inž. rač.

Kumbaja ::

stjan je izjavil:

Če sem prav razumel nek programček pregleduje slike. Sedaj še iščejo slike otrok. Ali je potem mogoče izdelati drug program, ki bo pregledoval, če so na slikah načrti, oziroma tehnični izdelki?
Ko bo nekdo poslikal nek produkt, da bi ga predstavil morebitnemu kupcu, bo jabkec to preveril in če zadeva še ni patentirana bodo to prodali najboljšemu kupcu :)
Je potem industrijska špijonaža že legalizirana?

Pa ne pisati o tem, da se to nebo delalo, oni že ne... Zanima me samo, ali je to danes že možno?


Nisi prav razumel, omenjeni sistem ne deluje tako kot opisuješ-

In ja, to kar opisuješ je povsem možno (tehnično) izdelat in uporabljat že danes. Teoretično ima lahko apple v kleti milijardo ljudi, ki pogledajo vsako sliko, ki je bila kadarkoli narejena z njihovimi aparati.

njyngs ::

Torej, razni starši ki svoje dojenčke oz. res majhne otroke peljejo na plažo kjer jih (kot skoraj vsi v zgodovini) še ne oblečejo v kopalke... bodo naenkrat samoprijavljeni kot pedofili - smao zato ker so pač hoteli imet nek spomin? Samo zato, ker se je en algoritem tako odločil? In ljudje bodo na 2 leti za tako napravo plačali 1000+eur?

Nuts.

Zgodovina sprememb…

  • predlagalo izbris: no comment ()

c3p0 ::

no comment je izjavil:


Ne vem, dvomim, da se znam preseliti v um nekega pedofila. Ti povej.

Si pa, kot normalen človek, res ne predstavljam, da greš prostovoljno v tako službo.


Nimam takih nagnjenj. Ugibam. Lahko pa sočustvujem z njimi, niso prostovoljno taki, trpijo, ker vejo da je to narobe, vsaj nekateri. In upam, da nikoli ne uresničijo svojih fantazij. V tem primeru sem za najstrožje kazni.

Kumbaja ::

njyngs je izjavil:

Torej, razni starši ki svoje dojenčke oz. res majhne otroke peljejo na plažo kjer jih (kot skoraj vsi v zgodovini) še ne oblečejo v kopalke... bodo naenkrat samoprijavljeni kot pedofili - smao zato ker so pač hoteli imet nek spomin? Samo zato, ker se je en algoritem tako odločil? In ljudje bodo na 2 leti za tako napravo plačali 1000+eur?

Nuts.


ja, nuts je dober opis za tole kar si izjavil. Že vsaj 10x je bilo pojasnjeno, da se algoritem ne bo ukvarjal z dejansko vsebino slike ampak bo hash primerjal z obstoječo bazo. Če pa so slike tvojih otrok v tej bazi, potem pa imaš bistveno večji problem kot je Apple.

poweroff ::

Najprej bo baza CP, potem sledi baza "totalitarnih simbolov", na koncu pa baza memetov o "medvedku puju".
sudo poweroff

njyngs ::

Kumbaja je izjavil:

njyngs je izjavil:

Torej, razni starši ki svoje dojenčke oz. res majhne otroke peljejo na plažo kjer jih (kot skoraj vsi v zgodovini) še ne oblečejo v kopalke... bodo naenkrat samoprijavljeni kot pedofili - smao zato ker so pač hoteli imet nek spomin? Samo zato, ker se je en algoritem tako odločil? In ljudje bodo na 2 leti za tako napravo plačali 1000+eur?

Nuts.


ja, nuts je dober opis za tole kar si izjavil. Že vsaj 10x je bilo pojasnjeno, da se algoritem ne bo ukvarjal z dejansko vsebino slike ampak bo hash primerjal z obstoječo bazo. Če pa so slike tvojih otrok v tej bazi, potem pa imaš bistveno večji problem kot je Apple.

Ok, bomo verjeli na besedo temu :))

Kumbaja ::

zakaj bi verjeli temu na besedo, če je pa lažje izmišljat neke fiktivne scenarije, ki nimajo nič z realnostjo?

DostMam ::

Zato, ker v sosednji temi ruski FSB pregleduje, sabotira in blokira aplikacije kar na napravah. Obenem oblasti trdijo, da se to nikoli ni, se ne in se nikoli ne bo dogajalo. Tako Apple kot Rusijo lahko uvrstimo v trdo vodene strukture.

Kumbaja ::

Mesas hruske in jabolka. Ce privzamemo, da apple tako ali tako dela kar mu pase in sari po nasih telefonih, potem je ta sistem tako ali tako sam sebi namen.

Tako da lahko pac govorimo o konkretnem sistemu in njegovem delovanu, ki nima nic s tem kar njygs razlaga qli pa gremo full tin foil mode, kjer je vse mogoce.

DostMam ::

Moj povdarek je na " da se to nikoli ni, se ne in se nikoli ne bo dogajalo", kar vse trdo vodene strukture trdijo in hitro požrejo. Zdi se mi, da je banaliziranje zadeve pihanje v jadra avtoritarnim sistemom. Četudi njygs mogoče nima prav.

Kumbaja ::

Še vedno smo na slo-tech in ne med over net, zato bi človek pričakoval, da bo debata potekala vezano na dejanski topic in vprašanja, ki jih odpira novica, ne pa da vsak tretji začne sanjat o slikah otrok na plaži.

Tem o grdi grdi oblasti, ki nas želi po orwelovsko nadziart/pobit s cepivi/porabit za Soylent Green je več kot dovolj.

poweroff ::

Rusi počnejo marsikaj, kar uradno ne počnejo. Recimo uradno VPNji niso blokirani. Neuradno pa na moskovskem letališču tudi VPNji ne delajo.
sudo poweroff

StratOS ::

stjan je izjavil:

Če sem prav razumel nek programček pregleduje slike. Sedaj še iščejo slike otrok. Ali je potem mogoče izdelati drug program, ki bo pregledoval, če so na slikah načrti, oziroma tehnični izdelki?
Ko bo nekdo poslikal nek produkt, da bi ga predstavil morebitnemu kupcu, bo jabkec to preveril in če zadeva še ni patentirana bodo to prodali najboljšemu kupcu :)
Je potem industrijska špijonaža že legalizirana?
Pa ne pisati o tem, da se to nebo delalo, oni že ne... Zanima me samo, ali je to danes že možno?

Po mojem že. Odvisno kje delaš in kaj delaš ...
"Multitasking - ability to f##k up several things at once."
"It works better if you plug it in."
"The one who is digging the hole for the other to fall in is allready in it."


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Težave Applovega sistema za pregledovanje fotografij na telefonih

Oddelek: Novice / NWO
4311365 (7635) StratOS
»

Bo Apple res skeniral iPhone za otroško pornografijo? (strani: 1 2 3 4 5 )

Oddelek: Novice / Zasebnost
23332709 (20858) sija
»

Facebook proti izsiljevanju z golimi fotografijami: naložite jih sami (strani: 1 2 )

Oddelek: Novice / Zasebnost
6524620 (20288) Markoff
»

Microsoft bo upokojil SHA-1 in RC4

Oddelek: Novice / Varnost
76188 (4969) alexa-lol
»

Facebook začel uporabljati PhotoDNA

Oddelek: Novice / Omrežja / internet
144356 (2964) Mipe

Več podobnih tem