Slo-Tech - Facebook je objavil rezultate tekmovanja, na katerem je 2114 udeležencev sodelovalo s več kot 35.000 algoritmi za prepoznavanje t. i. deep fake posnetkov. Pomerili so se v prepoznavanju več kot 100.000 kratkih videov, za katere so pri Faceboooku najeli okoli 3500 igralcev, nekatere od teh posnetkov pa so s pomočjo umetne inteligence in tehnologije deep fakes na različne načine spremenili.
Pa rezultati? Tekmovalci so del videov prejeli vnaprej, da bi lahko svoje algoritme preizkusili, v tem primeru je bila natančnost najboljšega modela 82,56 odstotna. Ko pa so se pomerili zares, torej pri prepoznavanju popolnoma neznanih posnetkov, pa je uspešnost zmagovalnega algoritma, prispeval ga je Selim Seferbekov, znašala precej povprečnih 65,18 odstotka. Kar pomeni, da je samodejno prepoznavanje tovrstnih ponaredkov v veliki meri še nerešen problem.
Zmagovalni algoritem bo Facebook javno objavil kot odprto kodo, v pomoč preostalim razvijalcem, ob tem pa v podjetju razvijajo tudi svoj algoritem za prepoznavanje, ki pa za zdaj ostaja skrivnost, saj se bojijo, da bi ga kdo razvozlal s pomočjo povratnega inženiringa.
ob tem pa v podjetju razvijajo tudi svoj algoritem za prepoznavanje, ki pa za zdaj ostaja skrivnost, saj se bojijo, da bi ga kdo razvozlal s pomočjo povratnega inženiringa
Security through obscurity. What could possibly go wrong...
Kako lahko 34.82 procentna neuspešnost predstavlja "v veliki meri". Če jim rata uspešnost dvignit za 1 procent, imajo 2/3 uspešnost.
Ne.
Kratka vaja za srednjesolce (in za brihtne osnovnosolce; vsem na faksu bi tole moralo biti jasno): Recimo da zmore algoritem 80% obcutljivost: to pomeni da bo v 80% dal prave "pozitivne" rezultate (se pravi "ja, gre za deep-fake" pri dejanskih deep-fakeih). Recimo da zmore algoritem 70% specificnost: to pomeni da bo v 70% dal prave "negativne" rezultate (se pravi "ne, posnetek je legit" pri dejanskih legit posnetkih). (stevilki sta izmisljeni in namenoma visji od stevilk v novici, da odrazata bolj uspesen algoritem)
Iz tega sledi: da bo algoritem zgeneriral tudi 20% false-positivov (algoritem bo rekel "ja, gre za deep-fake" ko bo v resnici slo za legit posnetek) in da bo algoritem zgeneriral tudi 30% false-negativov (algoritem bo rekel "ne, posnetek je legit" za dejanski deep-fake).
Privzemimo da je 1% videotov na FB deep-fakeov (pa jih je verjetno veliko manj): Ce algoritem _nakljucen_ posnetek oznaci za deep-fake, kaksna je verjetnost da gre za _dejanski_deep-fake_? Hint
Kako se spremeni uspesnost algoritma na nakljucnem posnetku, ce se % deep-fakeov na FB dvigne na 10%? 50%? 100% (samo se deep-fake posnetki)? Kaj ce se delez zniza na 0.1%? Kaj pa ko FB "uspesno" pocisti vecino deep-fakeov in pade njihov delez na 0.0001% (1-na-milijon)? Kaj lahko v takem primeru sklepamo iz pozitivnega rezultata za posnetek, v katerem oranzni moz svetuje ljudstvu, da si vbrizgajo varekino in razkuzilo v kri? Gre za deep-fake ali ne?
Kaj pa ce FB spimpa algoritem da bo imel neverjetno 99% obcutljivost in 95% specificnost? To pa sigurno pomeni da gre za top-shit zadevo ki se ji lahko vedno zaupa! Lahko zdaj zaupamo zgornjemu posnetku oranznega moza pri skoraj cistem FBju (0.0001% deep-fakeov), ce algoritem rece da je posnetek deep-fake?
Upam da bo po tej vaji bolj jasno zakaj ~80% obcutljivost algoritma ni vredna pol p!$@e ko gre za populacijo z (zelo) nizko pojavnostjo pozitivnih primerov. Pa sploh se nismo upostevali da se bo z go-live takega algoritma zacela "tekma" za generiranje specificnih deep-fakeov, ki imajo za enega glavnih ciljev pretentati deep-fake filtre, s cimer bosta tako obcutljivost kot specificnost algoritma najverjetneje upadli.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.
Odvisno, koliko te skrbijo lažni negativni rezultati. Je bolje pustiti sto lažnih novic, kot izbrisati eno pravo, ali pa je bolje izbrisati sto pravih novic, kot pustiti eno lažno?
Odvisno, koliko te skrbijo lažni negativni rezultati. Je bolje pustiti sto lažnih novic, kot izbrisati eno pravo, ali pa je bolje izbrisati sto pravih novic, kot pustiti eno lažno?
To bo problem generacije, ki bo "gor zrasla" ob takih posnetkih. Ločnica med realnostjo in virtualnostjo (ali lažjo, odvisno kakšen je cilj deep fake-a) bo precej zabrisana.
Popoln deep fake bo pomenil popolno anonimnost vseh, ker ne bo nihče več mogel ločiti resnice od laži. Ali niso aktivisti tisti, ki si prizadevajo za anonimnost. Matthai?
Popoln deep fake bo pomenil popolno anonimnost vseh, ker ne bo nihče več mogel ločiti resnice od laži. Ali niso aktivisti tisti, ki si prizadevajo za anonimnost. Matthai?
Ne, ker ga je še zmeraj treba izdelati, kar trenutno predstavlja ogromno dela. Potrebuješ primerno označen dataset itd.
To bi bilo možno šele, ko se vse to avtomatizira do stopnje, kjer je vse to možno narediti s klikom gumba, je poceni, hitro in dostopno komurkoli.
Če do tega ne pridemo, to pomeni, da še vedno lahko zaupamo večini videov.
Zaenkrat zadeva preveč stane, da bi jo lahko na komurkoli uporabil kar tako. Če boš rekel, da te niso posneli na vrhu kranclja, ko bi moral biti na bolniški - in je to deepfake, je vprašanje ali ti bo kdo verjel, saj ni (dovoljšnega) finančnega (ali drugačnega) interesa pri tem goljufati.
Kaj lahko v takem primeru sklepamo iz pozitivnega rezultata za posnetek, v katerem oranzni moz svetuje ljudstvu, da si vbrizgajo varekino in razkuzilo v kri? Gre za deep-fake ali ne?
Zelo dober komentar. Ampak oranžni mož dejansko tega ni nikoli rekel (vprašal je svetovalko s področja zdravstva, če so strokovnjaki razmišljali v tej smeri) in video je kvečjemu dokaz temu. Naslovi člankov pa z vsebino videa niso imeli zvezo, torej je šlo za fake news s strani "ljubiteljev" Donald Ducka.
Ja, tip ni čisto gladek in sprašuje kozlarije, ampak...hej, Bob!
Popoln deep fake bo pomenil popolno anonimnost vseh, ker ne bo nihče več mogel ločiti resnice od laži. Ali niso aktivisti tisti, ki si prizadevajo za anonimnost. Matthai?
Imaš aktiviste in imaš Antifo. Tako kot imaš partizane in komuniste. Patriote in nacionaliste.
Največji trik, ki ga je hudič kadarkoli izvedel, je bil, da je prepričal svet, da so ti pojmi medsebojno nerazdružljivi.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021
Kaj lahko v takem primeru sklepamo iz pozitivnega rezultata za posnetek, v katerem oranzni moz svetuje ljudstvu, da si vbrizgajo varekino in razkuzilo v kri? Gre za deep-fake ali ne?
Zelo dober komentar. Ampak oranžni mož dejansko tega ni nikoli rekel (vprašal je svetovalko s področja zdravstva, če so strokovnjaki razmišljali v tej smeri) in video je kvečjemu dokaz temu. Naslovi člankov pa z vsebino videa niso imeli zvezo, torej je šlo za fake news s strani "ljubiteljev" Donald Ducka.
Ja, tip ni čisto gladek in sprašuje kozlarije, ampak...hej, Bob!
BOB!
Se strinjam da je bil moj primer namenoma senzacionalisticen in nerealen, ampak govora je o fakeih. Ce/ko vidis video v katerem oranzni moz, medveked pu, nas domaci veliki voditelj oz. njegova kuzla, ... kdorkoli razlaga ocitne neumnosti, pa bo algoritem tak video prepoznal kot fake: bos verjel algoritmu ki ima manj kot 70% obcutljivost, trenutno neznano specificnost, pojavnost fake videov je pa (vsaj za zdaj) zelo nizka, da je video fake?
Ce koga zanima stevilcni odgovor: za 99% obcutljiv in 90% specificen algoritem pri 0.0001% pojavnosti (1-na-milijon) je verjetnost da gre pri odgovoru "video je fake" za dejanski fake video priblizno ~0.09%. Za 70% obcutljivost, 70% specificnost in 1% fake videov pa rezultat znasa ~2.3%
Statistically 3 out of 4 involved usually enjoy gang-bang experience.
ob tem mi pride na misel "City of Illusions" Ursule K. Le Guin: kako se odločiti o življenju in smrti v svetu, kjer ves samo to, da vse kar ves je nekdo zmanipuliral v tvoj um. tu bi se kar strinjal z Okapi-jem, da osnovni premis je da vse smatras za fejk, vse kar moras najti je samo do kolikšne mere je fejk.
Kratka vaja za srednjesolce (in za brihtne osnovnosolce; vsem na faksu bi tole moralo biti jasno): Recimo da zmore algoritem 80% obcutljivost: to pomeni da bo v 80% dal prave "pozitivne" rezultate (se pravi "ja, gre za deep-fake" pri dejanskih deep-fakeih). Recimo da zmore algoritem 70% specificnost: to pomeni da bo v 70% dal prave "negativne" rezultate (se pravi "ne, posnetek je legit" pri dejanskih legit posnetkih). (stevilki sta izmisljeni in namenoma visji od stevilk v novici, da odrazata bolj uspesen algoritem)
Na kratko, glede na trenutno uspešnost (manj kot 70%) je čisto vseeno če vržem kovanec (50% uspešnost) - zaključek... algoritmi so trenutno še neuporabni...
Kratka vaja za srednjesolce (in za brihtne osnovnosolce; vsem na faksu bi tole moralo biti jasno): Recimo da zmore algoritem 80% obcutljivost: to pomeni da bo v 80% dal prave "pozitivne" rezultate (se pravi "ja, gre za deep-fake" pri dejanskih deep-fakeih). Recimo da zmore algoritem 70% specificnost: to pomeni da bo v 70% dal prave "negativne" rezultate (se pravi "ne, posnetek je legit" pri dejanskih legit posnetkih). (stevilki sta izmisljeni in namenoma visji od stevilk v novici, da odrazata bolj uspesen algoritem)
Na kratko, glede na trenutno uspešnost (manj kot 70%) je čisto vseeno če vržem kovanec (50% uspešnost) - zaključek... algoritmi so trenutno še neuporabni...
