Težave Applovega sistema za pregledovanje fotografij na telefonih

V začetku meseca se je razširila vest, da bo Apple na pametnih telefonih vzpostavil sistem za analizo fotografij, poimenovan NeuralHash, ki bo avtomatično preveril, ali kakšna vsebuje otroško pornografijo (CSAM, Child Sexual Abuse Material). Deloval naj bi z lokalnim (torej na telefonu) izračunavanjem zgoščenih vrednosti, ki bi se potem primerjale z bazo znanih fotografij pri NCMEC (US National Center for Missing and Exploited Children). Če bi bilo zadetkov več, omenjalo se je število 30, bi sistem uporabnika prijavil oblastem. Žal pa je izvedba sistema šarlatanska, so pokazali raziskovalci, ki so z vzvratnim inženiringom ugotovili, kako sistem dejansko deluje. Prav tako so že uspeli ustvariti prve kolizije.

Iz kode, ki jo je Asuhariet Ygvar objavil na Githubu in je najverjetneje pristna, je moč razbrati delovanje algoritma NeuralHasha. Kot prikrita koda je bila vstavljena že v iOS 14.3, saj pa bo očitno začela delovati. Problematično je, da je izvedba slaba, zaradi česar algoritem zmore preseči spreminjanje velikosti in kompresijo (torej še vedno prepozna tako spremenjene fotografije), zmedejo pa ga že vrtenje ali izrezovanj delov slike. Dodatne težave povzroča Applova nevronska mreža, ki ima 200 slojev, in ni najprimernejša za to nalogo, saj na različnih arhitekturah za iste fotografije vrne precej različne zgoščene vrednosti (tudi do 9 bitov), kar je preveč in predvsem že dokazano, da se da bolje. Raziskovalcem ni jasno, zakaj je Apple uporabil nevronske mreže na tak način, ker obstajajo boljše rešitve.

Kmalu so raziskovalci pokazali tudi, da je možno ustvariti fotografiji, ki imata enako zgoščeno vrednost, torej kolizijo. To je seveda neizbežno pri vsakem algoritmu za zgoščene vrednosti, ker gre pač takšno preslikavo, toda v praksi ne bi smelo biti možno namenoma proizvesti kolizije. To pa sedaj pomeni, da bi lahko kdorkoli proizvedel nedolžno fotografijo, ki bi imela problematično zgoščeno vrednost, jo poslal tarči, njen telefon pa bi se (po 30 primerkih) pritožil Applu in oblastem. Apple načeloma nima dostopa do vsebine pametnih telefonov, v tem primeru pa bi seveda iOS Applu fotografije poslal, kar bi omogočilo izvedbo sodnih odredb po pridobitvi podatkov (in Apple ne bi mogel trditi, da tega tehnično ne more narediti). Druga, manj eksotična možnost, so seveda politični pritiskih v različnih državah. Apple je s sistemom priznal in demonstriral, da ima možnost (za zdaj lokalnega) pregledovanje vsebine sporočil. Povsem možno je, da kakšen avtoritaren režim pritisne na Apple in želi sistem malce prilagoditi še za lastne potrebe.

Apple trdi, da razloga za preplah. Verzija, ki je sedaj objavljena, naj bi bila splošna verzija, medtem ko bo končna verzija bolj dodelana. Prav tako dodaja, da obstajajo varovalke pred kolizijami, kot je ročni pregled fotografij pri Applu, preden se prijava posreduje organom pregona. Bo Apple imel zaposlene, ki bodo gledali otroško pornografijo?!