» »

Povprečni rezultati Facebookovega deep fake tekmovanja

Povprečni rezultati Facebookovega deep fake tekmovanja

Slo-Tech - Facebook je objavil rezultate tekmovanja, na katerem je 2114 udeležencev sodelovalo s več kot 35.000 algoritmi za prepoznavanje t. i. deep fake posnetkov. Pomerili so se v prepoznavanju več kot 100.000 kratkih videov, za katere so pri Faceboooku najeli okoli 3500 igralcev, nekatere od teh posnetkov pa so s pomočjo umetne inteligence in tehnologije deep fakes na različne načine spremenili.

Pa rezultati? Tekmovalci so del videov prejeli vnaprej, da bi lahko svoje algoritme preizkusili, v tem primeru je bila natančnost najboljšega modela 82,56 odstotna. Ko pa so se pomerili zares, torej pri prepoznavanju popolnoma neznanih posnetkov, pa je uspešnost zmagovalnega algoritma, prispeval ga je Selim Seferbekov, znašala precej povprečnih 65,18 odstotka. Kar pomeni, da je samodejno prepoznavanje tovrstnih ponaredkov v veliki meri še nerešen problem.

Zmagovalni algoritem bo Facebook javno objavil kot odprto kodo, v pomoč preostalim razvijalcem, ob tem pa v podjetju razvijajo tudi svoj algoritem za prepoznavanje, ki pa za zdaj ostaja skrivnost, saj se bojijo, da bi ga kdo razvozlal s pomočjo povratnega inženiringa.

18 komentarjev

vostok_1 ::

Mislil sem, da je tehnologija zrela že za tokratne volitve (ZDA), ampak kot kaže bo vrjetno 2024 prva resna premiera.
There will be chutes!
Fun times ahead.
It came from the lab.

HotBurek ::

Kako lahko 34.82 procentna neuspešnost predstavlja "v veliki meri".

Če jim rata uspešnost dvignit za 1 procent, imajo 2/3 uspešnost.
root@debian:/# iptraf-ng
fatal: This program requires a screen size of at least 80 columns by 24 lines
Please resize your window

WhiteAngel ::

Pozabil si, da če naključno odgovarjajo, imajo pričakovano verjetnost že 50%. Torej nekaj je, ampak še daleč od zanesljivega.

antonija ::

ob tem pa v podjetju razvijajo tudi svoj algoritem za prepoznavanje, ki pa za zdaj ostaja skrivnost, saj se bojijo, da bi ga kdo razvozlal s pomočjo povratnega inženiringa
Security through obscurity. What could possibly go wrong...

HotBurek je izjavil:

Kako lahko 34.82 procentna neuspešnost predstavlja "v veliki meri".
Če jim rata uspešnost dvignit za 1 procent, imajo 2/3 uspešnost.
Ne.

Kratka vaja za srednjesolce (in za brihtne osnovnosolce; vsem na faksu bi tole moralo biti jasno):
Recimo da zmore algoritem 80% obcutljivost: to pomeni da bo v 80% dal prave "pozitivne" rezultate (se pravi "ja, gre za deep-fake" pri dejanskih deep-fakeih).
Recimo da zmore algoritem 70% specificnost: to pomeni da bo v 70% dal prave "negativne" rezultate (se pravi "ne, posnetek je legit" pri dejanskih legit posnetkih).
(stevilki sta izmisljeni in namenoma visji od stevilk v novici, da odrazata bolj uspesen algoritem)

Iz tega sledi:
da bo algoritem zgeneriral tudi 20% false-positivov (algoritem bo rekel "ja, gre za deep-fake" ko bo v resnici slo za legit posnetek) in
da bo algoritem zgeneriral tudi 30% false-negativov (algoritem bo rekel "ne, posnetek je legit" za dejanski deep-fake).

Privzemimo da je 1% videotov na FB deep-fakeov (pa jih je verjetno veliko manj): Ce algoritem _nakljucen_ posnetek oznaci za deep-fake, kaksna je verjetnost da gre za _dejanski_deep-fake_?
Hint

Kako se spremeni uspesnost algoritma na nakljucnem posnetku, ce se % deep-fakeov na FB dvigne na 10%?
50%?
100% (samo se deep-fake posnetki)?
Kaj ce se delez zniza na 0.1%?
Kaj pa ko FB "uspesno" pocisti vecino deep-fakeov in pade njihov delez na 0.0001% (1-na-milijon)? Kaj lahko v takem primeru sklepamo iz pozitivnega rezultata za posnetek, v katerem oranzni moz svetuje ljudstvu, da si vbrizgajo varekino in razkuzilo v kri? Gre za deep-fake ali ne?

Kaj pa ce FB spimpa algoritem da bo imel neverjetno 99% obcutljivost in 95% specificnost? To pa sigurno pomeni da gre za top-shit zadevo ki se ji lahko vedno zaupa! Lahko zdaj zaupamo zgornjemu posnetku oranznega moza pri skoraj cistem FBju (0.0001% deep-fakeov), ce algoritem rece da je posnetek deep-fake?

Upam da bo po tej vaji bolj jasno zakaj ~80% obcutljivost algoritma ni vredna pol p!$@e ko gre za populacijo z (zelo) nizko pojavnostjo pozitivnih primerov.
Pa sploh se nismo upostevali da se bo z go-live takega algoritma zacela "tekma" za generiranje specificnih deep-fakeov, ki imajo za enega glavnih ciljev pretentati deep-fake filtre, s cimer bosta tako obcutljivost kot specificnost algoritma najverjetneje upadli.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Okapi ::

Odvisno, koliko te skrbijo lažni negativni rezultati. Je bolje pustiti sto lažnih novic, kot izbrisati eno pravo, ali pa je bolje izbrisati sto pravih novic, kot pustiti eno lažno?

marvin42 ::

Okapi je izjavil:

Odvisno, koliko te skrbijo lažni negativni rezultati. Je bolje pustiti sto lažnih novic, kot izbrisati eno pravo, ali pa je bolje izbrisati sto pravih novic, kot pustiti eno lažno?


To bo problem generacije, ki bo "gor zrasla" ob takih posnetkih. Ločnica med realnostjo in virtualnostjo (ali lažjo, odvisno kakšen je cilj deep fake-a) bo precej zabrisana.
Mostly Harmless

Okapi ::

Popoln deep fake bo pomenil popolno anonimnost vseh, ker ne bo nihče več mogel ločiti resnice od laži. Ali niso aktivisti tisti, ki si prizadevajo za anonimnost. Matthai?

degraximus ::

Okapi je izjavil:

Popoln deep fake bo pomenil popolno anonimnost vseh, ker ne bo nihče več mogel ločiti resnice od laži. Ali niso aktivisti tisti, ki si prizadevajo za anonimnost. Matthai?

Ne, ker ga je še zmeraj treba izdelati, kar trenutno predstavlja ogromno dela. Potrebuješ primerno označen dataset itd.

To bi bilo možno šele, ko se vse to avtomatizira do stopnje, kjer je vse to možno narediti s klikom gumba, je poceni, hitro in dostopno komurkoli.

Če do tega ne pridemo, to pomeni, da še vedno lahko zaupamo večini videov.

Okapi ::

Samo če ne moreš ločit, je dovolj že samo teoretična možnost, malo večja od nič. Rečeš, da je fejk, in če ni mogoče dokazati, da ni, si varen.

degraximus ::

Zaenkrat zadeva preveč stane, da bi jo lahko na komurkoli uporabil kar tako. Če boš rekel, da te niso posneli na vrhu kranclja, ko bi moral biti na bolniški - in je to deepfake, je vprašanje ali ti bo kdo verjel, saj ni (dovoljšnega) finančnega (ali drugačnega) interesa pri tem goljufati.

Okapi ::

Ne govorim za stanje sedaj, ampak za hipotetično stanje enkrat v prihodnosti.

Markoff ::

antonija je izjavil:

Kaj lahko v takem primeru sklepamo iz pozitivnega rezultata za posnetek, v katerem oranzni moz svetuje ljudstvu, da si vbrizgajo varekino in razkuzilo v kri? Gre za deep-fake ali ne?

Zelo dober komentar. Ampak oranžni mož dejansko tega ni nikoli rekel (vprašal je svetovalko s področja zdravstva, če so strokovnjaki razmišljali v tej smeri) in video je kvečjemu dokaz temu. Naslovi člankov pa z vsebino videa niso imeli zvezo, torej je šlo za fake news s strani "ljubiteljev" Donald Ducka.

Ja, tip ni čisto gladek in sprašuje kozlarije, ampak...hej, Bob!

BOB!

Okapi je izjavil:

Popoln deep fake bo pomenil popolno anonimnost vseh, ker ne bo nihče več mogel ločiti resnice od laži. Ali niso aktivisti tisti, ki si prizadevajo za anonimnost. Matthai?

Imaš aktiviste in imaš Antifo. Tako kot imaš partizane in komuniste. Patriote in nacionaliste.

Največji trik, ki ga je hudič kadarkoli izvedel, je bil, da je prepričal svet, da so ti pojmi medsebojno nerazdružljivi.
Novorek idiokracije:
posebaj, skropucalo, inžinir, intiligenca/intelegenca, apsolutno, anEks.

Zgodovina sprememb…

  • spremenilo: Markoff ()

LeQuack ::

Kaj pa je razlika med deep fake in shallow fake? Zakaj o shallow fake ni nič novic?
Quack !

antonija ::

Markoff je izjavil:

antonija je izjavil:

Kaj lahko v takem primeru sklepamo iz pozitivnega rezultata za posnetek, v katerem oranzni moz svetuje ljudstvu, da si vbrizgajo varekino in razkuzilo v kri? Gre za deep-fake ali ne?

Zelo dober komentar. Ampak oranžni mož dejansko tega ni nikoli rekel (vprašal je svetovalko s področja zdravstva, če so strokovnjaki razmišljali v tej smeri) in video je kvečjemu dokaz temu. Naslovi člankov pa z vsebino videa niso imeli zvezo, torej je šlo za fake news s strani "ljubiteljev" Donald Ducka.

Ja, tip ni čisto gladek in sprašuje kozlarije, ampak...hej, Bob!

BOB!
Se strinjam da je bil moj primer namenoma senzacionalisticen in nerealen, ampak govora je o fakeih. Ce/ko vidis video v katerem oranzni moz, medveked pu, nas domaci veliki voditelj oz. njegova kuzla, ... kdorkoli razlaga ocitne neumnosti, pa bo algoritem tak video prepoznal kot fake: bos verjel algoritmu ki ima manj kot 70% obcutljivost, trenutno neznano specificnost, pojavnost fake videov je pa (vsaj za zdaj) zelo nizka, da je video fake?

Ce koga zanima stevilcni odgovor:
za 99% obcutljiv in 90% specificen algoritem pri 0.0001% pojavnosti (1-na-milijon) je verjetnost da gre pri odgovoru "video je fake" za dejanski fake video priblizno ~0.09%.
Za 70% obcutljivost, 70% specificnost in 1% fake videov pa rezultat znasa ~2.3%
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

MrStein ::

Okapi je izjavil:

Samo če ne moreš ločit, je dovolj že samo teoretična možnost, malo večja od nič. Rečeš, da je fejk, in če ni mogoče dokazati, da ni, si varen.

Ta stavek bo aktivistu ful v tolažbo, sekundo preden strelja nanj vod.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

nejcek74 ::

ob tem mi pride na misel "City of Illusions" Ursule K. Le Guin: kako se odločiti o življenju in smrti v svetu, kjer ves samo to, da vse kar ves je nekdo zmanipuliral v tvoj um.
tu bi se kar strinjal z Okapi-jem, da osnovni premis je da vse smatras za fejk, vse kar moras najti je samo do kolikšne mere je fejk.

twom ::

antonija je izjavil:

Kratka vaja za srednjesolce (in za brihtne osnovnosolce; vsem na faksu bi tole moralo biti jasno):
Recimo da zmore algoritem 80% obcutljivost: to pomeni da bo v 80% dal prave "pozitivne" rezultate (se pravi "ja, gre za deep-fake" pri dejanskih deep-fakeih).
Recimo da zmore algoritem 70% specificnost: to pomeni da bo v 70% dal prave "negativne" rezultate (se pravi "ne, posnetek je legit" pri dejanskih legit posnetkih).
(stevilki sta izmisljeni in namenoma visji od stevilk v novici, da odrazata bolj uspesen algoritem)

Na kratko, glede na trenutno uspešnost (manj kot 70%) je čisto vseeno če vržem kovanec (50% uspešnost) - zaključek... algoritmi so trenutno še neuporabni...

antonija ::

twom je izjavil:

antonija je izjavil:

Kratka vaja za srednjesolce (in za brihtne osnovnosolce; vsem na faksu bi tole moralo biti jasno):
Recimo da zmore algoritem 80% obcutljivost: to pomeni da bo v 80% dal prave "pozitivne" rezultate (se pravi "ja, gre za deep-fake" pri dejanskih deep-fakeih).
Recimo da zmore algoritem 70% specificnost: to pomeni da bo v 70% dal prave "negativne" rezultate (se pravi "ne, posnetek je legit" pri dejanskih legit posnetkih).
(stevilki sta izmisljeni in namenoma visji od stevilk v novici, da odrazata bolj uspesen algoritem)

Na kratko, glede na trenutno uspešnost (manj kot 70%) je čisto vseeno če vržem kovanec (50% uspešnost) - zaključek... algoritmi so trenutno še neuporabni...

antonija je izjavil:

Za 70% obcutljivost, 70% specificnost in 1% fake videov pa rezultat znasa ~2.3%
Ce algortem rece "video je deep-fake", je verjetnost, da je video dejansko deep-fake, priblizno 2.3%.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Povprečni rezultati Facebookovega deep fake tekmovanja

Oddelek: Novice / Ostale najave
182563 (271) antonija
»

Tudi Google in Waymo začela uporabljati avtonomne tovornjake (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
9811783 (7655) xmetallic
»

Kitajska pred javnostjo skriva dominacijo AI nad človekom zaradi Googla

Oddelek: Novice / Znanost in tehnologija
336171 (3811) 7982884e
»

Izostritev besedila na sliki... NUJNO! :D (strani: 1 2 )

Oddelek: Zvok in slika
786908 (4175) lonz

Več podobnih tem