» »

Google RAISR: povečevanje ločljivosti fotografij nove generacije

Google RAISR: povečevanje ločljivosti fotografij nove generacije

Google - Eno izmed najbolj znanih in očitnih pretiravanj v televizijskih serijah je povečevanje ločljivosti posnetkov varnostnih kamer, ko naposled detektivi v odblesku od avtomobilske karoserije zagledajo podobo osumljenca. Resničnost je precej bolj klavrna, saj je ločljivost številnih fotografij in videoposnetkov slaba, metode za njeno izboljšavo pa vse prej kot navdušujoče. Ločljivost že povečajo, a rezultat je običajno dobesedno meglen. Sliši se kot idealen poligon za strojno učenje, kjer je Google med najboljšimi na svetu. Sloves so vnovič upravičili.

Google je že minuli teden predstavil metodo za povečevanje ločljivosti fotografij, ki so jo poimenovali RAISR (Rapid and Accurate Image Super-Resolution). Svoje sisteme za strojno učenje so trenirali na dveh kompletih podatkov - enkrat s fotografijami visoke ločljivosti in istimi fotografijami nizke ločljivosti (metodi se pravi neposredna), drugič pa s fotografijami visoke ločljivosti in istimi fotografijami nizke ločljivosti, ki so jih izboljšali s klasičnimi metodami (posredna metoda). Druga metoda se je izkazala kot učinkovitejša. Uporabili so 10.000 fotografij in dosegli osupljive rezultate.

RAISR deluje tako, da fotografijo nizke ločljivosti najprej podvrže enostavnim metodam za dvig ločljivosti, potem se na podlagi dobljenega odloči, kateri naučeni filter iz strojnega učenja bi uporabil, ter izvede izboljšanje ostrine z njim. Končni rezultati so boljši od doslej dosegljivih metod, predvsem pa so računsko cenejši. To je pomembno, ker si želimo fotografije nizke ločljivosti ogledovati na visokoločljivostnih zaslonih v realnem času. Poleg tega je RAISR sposoben odstraniti tudi nekatere artefakte, kot je Moiréjev vzorec , ki ga klasične metode ne morejo.

28 komentarjev

globoko grlo ::

in kje lahko to dobim?
Gigabyte B460M DS3H | I5 - 10400F | 16GB | 6700XT | P2 m.2 500GB

Evolve ::

unsharp filter :D

7982884e ::

globoko grlo je izjavil:

in kje lahko to dobim?

verjetno se nekaj takega uporablja v pixel telefonu, za katerega je znano, da precej obdeluje zajete slike

nejcek74 ::

Ampak še vedno ne pozabimo:
- če podatka ni, ga tudi računalnik ne more ustvariti iz nič, a ne?
Jaz bi dal drugačen naslov:
Google RAISR: povprečnost na vsako fotografijo

Izi ::

Samo še en več izmed načinov ostrenja slike.
Nearest Neighbor, Bilinear, Bicubic, Bicubic Smoother, Bicubic Sharper, A+, SRCNN in sedaj še RAISR.
Photoshopov Bicubic ni kaj dosti slabši od profesionalnih rešitev. Po novem so dodali še Bicubic Smoother in Bicubic Sharper, če z običajnim Bicubic nisi zadovoljen.
Od profi rešitev pa je meni osebno trenutno najboljši SRCNN. Opazno boljši od RAISR.

Ampak če smo čisto pošteni, noben ne dela čudežev. Prepoznavanje obrazov iz nizko resolucijske meglene slike ne bo nikoli mogoče. To je ena redkih stvari v računalništvu, kjer lahko zatrdno rečeno, NIKOLI. Iz nič se ne da nekaj ustvariti.

korenje3 ::

to povečevanje ločljivostji je že 15 let v hd televizijah, ko še ni bilo hd contenta, tvji so bili pa že hd, full-hd.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W

Izi ::

korenje3 je izjavil:

to povečevanje ločljivostji je že 15 let v hd televizijah, ko še ni bilo hd contenta, tvji so bili pa že hd, full-hd.

Ja, ampak uporablja se najbolj običajna "Nearest Neighbor" metoda, ki na manjkajoče mesto enostavno prekopira sosednji piksel.
Tudi iz HD na 4K je v uporabi še vedno Nearest Neighbor metoda.

Nearest Neighbor metoda deluje nekje do 2-kratnega povečanja resolucije, Bicubic nekje do 4-kratnega povečanja, naprej pa bolj ali manj odpove vse po vrsti ne glede kakšno super metodo uporabiš. Tudi morebitna umetna inteligenca v prihodnjih stoletjih ne bo pri tem prav nič pomagala.

MrStein ::

No, no, med TV-ji so kar razlike.
Od "o moj bog kako zanič" do "ne mi rečt da to ni HD".
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

korenje3 ::

Izi je izjavil:

korenje3 je izjavil:

to povečevanje ločljivostji je že 15 let v hd televizijah, ko še ni bilo hd contenta, tvji so bili pa že hd, full-hd.

Ja, ampak uporablja se najbolj običajna "Nearest Neighbor" metoda, ki na manjkajoče mesto enostavno prekopira sosednji piksel.
Tudi iz HD na 4K je v uporabi še vedno Nearest Neighbor metoda.

Nearest Neighbor metoda deluje nekje do 2-kratnega povečanja resolucije, Bicubic nekje do 4-kratnega povečanja, naprej pa bolj ali manj odpove vse po vrsti ne glede kakšno super metodo uporabiš. Tudi morebitna umetna inteligenca v prihodnjih stoletjih ne bo pri tem prav nič pomagala.


načeloma to ni res. res pa je daje najbolj enostavna metoda povprečenje in potem sharpening. podjetja že 10+ let promovirajo njihove hd-upscaling tehnologije in to verjetno ni samo to kar ti praviš.

zato že lep čas pravim tistim, ki se izogibajo nakupa 4k tvjev, da bodo z 4k tvji dobili dejansko boljšo sliko kot na full-hd tvjih (kar se tiče detajla).
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W

Zgodovina sprememb…

  • spremenil: korenje3 ()

joze67 ::

nejcek74 je izjavil:

Ampak še vedno ne pozabimo:
- če podatka ni, ga tudi računalnik ne more ustvariti iz nič, a ne?

Strojno učenje. Če ni podatka, ga vstavi na podlagi tisočerih drugih fotografij.

nejcek74 ::

joze67 je izjavil:

Strojno učenje. Če ni podatka, ga vstavi na podlagi tisočerih drugih fotografij.

Ne, ne vstavi manjkajočega podatka. Vstavi generičen približek iz drugih fotografij. Kar pa ni isto kot manjkajoči podatek. Strojno učenje =/ čarovnija.

Okapi ::

Lahko pametno ugiba, na podlagi predhodnih primerov. Verjetnost, da je vstavljeni podatek pravilen, postane večja od naključnega ugibanja.

Pri televiziji, oziroma videu na splošno, je pa drugače. To lahko pameten program analizira nekaj zaporednih sličic, ki prikazujejo praktično enako sliko. Tu pa je mogoče ločljivost dejansko zelo dobro povečati. To lahko počno tudi sodobni fotoaparati - namesto enega posnetka naredijo nekaj posnetkov (ne da bi uporabnik to sploh opazil), program pa iz tega izračuna sliko, ki je opazno boljša od vsake posamezne iz tega niza.

Zgodovina sprememb…

  • spremenil: Okapi ()

Okapi ::

Aja, pa ne reče se Moirejev vzorec. Ni bilo nobenega gospoda Moireja, ampak beseda izvira iz moireja, vrste tkanine.

joze67 ::

nejcek74 je izjavil:

joze67 je izjavil:

Strojno učenje. Če ni podatka, ga vstavi na podlagi tisočerih drugih fotografij.

Ne, ne vstavi manjkajočega podatka. Vstavi generičen približek iz drugih fotografij.

Kar je točno to, kar sem rekel.

Lahko pa še dodam, da bo v prvi inačici algoritem pristranski (biased) z izbranimi algoritmi in izbranimi fotografijami. Kasneje bodo (nedvomno) prišle verzije, ki bodo mimogrede vlekle še k željenemu končnemu cilju. Z mnogimi področji uporabe.

Aston_11 ::

Manjkajoči podatki - praktično niso manjkajoči, ker so vsebovani v sosednjih pikslih (kamera se bo vedno stresla in slika bo vedno stresena), pa jih dajmo z algoritmi izločiti....

Okapi ::

Tule je pa nekaj za tiste, ki bi se radi igrali detektive;-)
http://mentat.za.net/supreme/

Izi ::

Aston_11 je izjavil:

Manjkajoči podatki - praktično niso manjkajoči, ker so vsebovani v sosednjih pikslih

Aja, če jaz nekoga slikam s super majhno resolucijo 2 x 2 piksla, bo po vaše nekoč v prihodnosti nek program iz teh 4 pikslov zmožen narediti obraz, ki sem ga jaz slikal.
Ker točno to vidimo v filmih. Iz slike resolucije 100 x 100 v filmu forenziki naredijo sliko resolucije 10000 x 10000 in obraz, ki ga prej praktično ni bilo videti je kar naenkrat lepo razločen.
Kje v tistih 4 pikslih na moji sliki se skrivajo podatki o obrazu?

Pri filmih je malenkost boljše, ker se slika premika in je na razpolago nekaj malega več podatkov o sosednjih pikslih, ampak tudi tam ne gre kaj dosti več kot pri slikah. Mogoče za še enkrat več potem pa je tudi tam konec.

Zgodovina sprememb…

  • spremenil: Izi ()

no comment ::

Izi je izjavil:

Aston_11 je izjavil:

Manjkajoči podatki - praktično niso manjkajoči, ker so vsebovani v sosednjih pikslih

Aja, če jaz nekoga slikam s super majhno resolucijo 2 x 2 piksla, bo po vaše nekoč v prihodnosti nek program iz teh 4 pikslov zmožen narediti obraz, ki sem ga jaz slikal.

Iz 4 pikslov ne bo.

Samo ne bit posebej presenečen, če bodo v prihodnosti razni "googli" tvoje 4 piksle upgrejdali v popoln obraz. Teh par pikslov bo samo majhen delček informacij, ki bodo uporabljeni za "končni produkt". Druge informacije bodo narudarili kje drugje.

Jarno ::

Izi je izjavil:

Samo še en več izmed načinov ostrenja slike.
Nearest Neighbor, Bilinear, Bicubic, Bicubic Smoother, Bicubic Sharper, A+, SRCNN in sedaj še RAISR.
Photoshopov Bicubic ni kaj dosti slabši od profesionalnih rešitev. Po novem so dodali še Bicubic Smoother in Bicubic Sharper, če z običajnim Bicubic nisi zadovoljen.
Od profi rešitev pa je meni osebno trenutno najboljši SRCNN. Opazno boljši od RAISR.


Ne pozabit na Waifu. Zavidljiva kvaliteta, čeprav na žalost ni ta real-time filme/igrice.
Preizkusite sami.

blackbfm ::

Ampak še vedno ne pozabimo:
- če podatka ni, ga tudi računalnik ne more ustvariti iz nič, a ne?


iz nič ne, lahko pa izračuna vmesne vrednosti med dvema podatkoma

Photoshopov Bicubic ni kaj dosti slabši od profesionalnih rešitev. Po novem so dodali še Bicubic Smoother in Bicubic Sharper, če z običajnim Bicubic nisi zadovoljen.


o ja je precej slabši

tole je proper upscaling: http://www.benvista.com/photozoompro/ex...

mi je pa čudno da tega še ni na telefonih

7982884e ::

Izi je izjavil:

Tudi morebitna umetna inteligenca v prihodnjih stoletjih ne bo pri tem prav nič pomagala.
lahko na pameten nacin fejka, tako kot bi fejkal profesionalni obdelovalec slik, ce bi imel nalogo neki fotografiji povecati resolucijo - bi pac sklepal o materialu, teksturi materiala itd. in zafilal piksle z informacijo, ki je za cloveka zadost dobra, da mu zgleda kul. seveda je pa res da se povsod ne da fejkat (brez posledic), recimo ce se tekst ne vidi.

enkrat bo recimo umetna inteligenca znala tudi retusirati in obarvati WW2 fotografije, ceprav nikjer na sliki ni podatka o tem



Pri televiziji, oziroma videu na splošno, je pa drugače. To lahko pameten program analizira nekaj zaporednih sličic, ki prikazujejo praktično enako sliko. Tu pa je mogoče ločljivost dejansko zelo dobro povečati. To lahko počno tudi sodobni fotoaparati - namesto enega posnetka naredijo nekaj posnetkov (ne da bi uporabnik to sploh opazil), program pa iz tega izračuna sliko, ki je opazno boljša od vsake posamezne iz tega niza.


to izrablja tudi NASA
http://www.planetary.org/blogs/guest-bl...
https://astronomynow.com/2016/04/26/mar...

Zgodovina sprememb…

  • spremenilo: 7982884e ()

Aston_11 ::

Izi je izjavil:

super majhno resolucijo 2 x 2 piksla,
Ne delaj se norca iz samega sebe pri izmišljevanju obskurnih primerov, morda se bo kdo strinjal s tem, da si.

Izi je izjavil:

bo po vaše neko
Fant, ni me treba vikat kljub odlični ideji.

Izi je izjavil:

Kje v tistih 4 pikslih
če boš našel kakšen bolj idiotski primer, odpri temo v loži z ustreznim naslovom. Recimo klub ljubiteljev letnih gum ustrezno spremenjen v slo-tech župo.

Okapi ::

7982884e je izjavil:

enkrat bo recimo umetna inteligenca znala tudi retusirati in obarvati WW2 fotografije, ceprav nikjer na sliki ni podatka o tem

:) Človeška inteligenca to dela že desetletja. So pobarvali že veliko klasičnih črno-belih filmov, recimo Casablanco in Malteškega sokola, če omenim samo dve klasiki z Bogartom.

čuhalev ::

Sumim, da ima kakršen takšen algoritem problem s predeli fotografije, ki so namensko zamegleni.

korenje3 ::

po moje ta algoritem samo vzame detajl iz prejšnjih frejmov bolj inteligentno kot to počnejo algoritmi danes. dejstvo je da če sestaviš 2 ali več slik skupaj, lahko pridobiš na detajlu. ta algoritem pa verjetno samo vzame prejšnje frejme, jih repozicionira in pridobi detajl.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W

garamond ::

Okapi je izjavil:

7982884e je izjavil:

enkrat bo recimo umetna inteligenca znala tudi retusirati in obarvati WW2 fotografije, ceprav nikjer na sliki ni podatka o tem

:) Človeška inteligenca to dela že desetletja. So pobarvali že veliko klasičnih črno-belih filmov, recimo Casablanco in Malteškega sokola, če omenim samo dve klasiki z Bogartom.

Tudi to že delajo algoritmi - obarvajo črno-bele slike. Za retuširanje ne vem.

Seveda bi lahko že obstajal filter v Photoshopu, ki to naredi, vendar Adobe kar noče vpeljati teh funkcij. Mogoče bodo pa vključili tale "NN interpolation" pri povečevanju slik ali "NN sharpen" pri izostrovanju.

S tem pa vloga vizualnih algoritmov še zdaleč ni zaključena, nekaj idej (ki so mogoče in delno že preizkušene) sem napisal zadnjič:

garamond je izjavil:

Unknown_001 je izjavil:

Photoshop ima očitno zelo slabo praktično predvidevanje.
Malo oftopic, ampak to je res, čeprav obstaja velik potencial za implementiranje pametnih funkcij. Področje računalniškega vida je trenutno najbolj razvito, kar se tiče posnemanja človeške inteligence - vendar nima PS kot primarno vizualni program niti ene funkcije, ki bi to uporabljala.

Vključili so Content aware scale in Smart fill, kar je pohvalno, vendar so to popolnoma umetni algoritmi. Možno je veliko več, npr:
- Samodejno označevanje objektov/oseb
- Premikanje 2D objektov v perspektivi, rotacija (delno z ugibanjem)
- Brisanje označenih objektov in zapolnitev manjkajočega prostora
- Avtomatska kolorizacija črno-belih slik, itd.

Razlogi, da tega še ni, je kar nekaj - delno monopol, delno fokus na drugih funkcijah, delno je že vključena osnovna funkcija, težavnost, nezanimanje/neznanje - npr. Content aware scale si verjetno dosti ljudi ni niti želelo, ker sploh niso pomislili, da lahko obstaja!
A parody of extremism is impossible to differentiate from sincere extremism.

Afo ::

Aston_11 je izjavil:

Izi je izjavil:

super majhno resolucijo 2 x 2 piksla,
Ne delaj se norca iz samega sebe pri izmišljevanju obskurnih primerov, morda se bo kdo strinjal s tem, da si.

Izi je izjavil:

bo po vaše neko
Fant, ni me treba vikat kljub odlični ideji.

Izi je izjavil:

Kje v tistih 4 pikslih
če boš našel kakšen bolj idiotski primer, odpri temo v loži z ustreznim naslovom. Recimo klub ljubiteljev letnih gum ustrezno spremenjen v slo-tech župo.

1. pomiri se in ne delaj žaljivih komentarjev ("idiotski")
2. če podatka ni, ga ne moreš poustvarit. kot če bi nekdo rekel, "Rezultat je 7", ti pa odgovoriš "Vprašanje je bilo 'Koliko je 3+4?'". Tega pač ne veš. Ta podatek je za vedno izgubljen. Ja seveda lahko ugibaš. Ampak ugibanje je samo to.
3. ta stvar bo super za kakšne hitre/poceni "upscale" rešitve.

Če je 10x20pixlov kožne barve, še ne pomeni da je na sliki gola ženska... :D
Bolje biti mlad in neumen, kot samo neumen!

tikitoki ::

Se vedno ne bo iz enega piksla razbral obraza in ga potem poiskal v bazi podatkov. Kot to redno pocnejo v filmih, tko, da moras gogole se zelo izboljsati algorite, da bo dosegel holywood:)


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Nobelova nagrada za kemijo 2017

Oddelek: Novice / Znanost in tehnologija
75162 (3700) pegasus
»

Goljufico izdala Garminova ura

Oddelek: Novice / Ostale najave
247806 (4332) Machete
»

Google Brain omogoča povečanje ločljivosti fotografij

Oddelek: Novice / Znanost in tehnologija
4111454 (8584) Shegevara
»

Google RAISR: povečevanje ločljivosti fotografij nove generacije

Oddelek: Novice / Znanost in tehnologija
2811009 (8550) tikitoki
»

Raziskovalci strli Googlov in Facebookov CAPTCHA

Oddelek: Novice / Omrežja / internet
126503 (4857) 111111111111

Več podobnih tem