Google - Eno izmed najbolj znanih in očitnih pretiravanj v televizijskih serijah je povečevanje ločljivosti posnetkov varnostnih kamer, ko naposled detektivi v odblesku od avtomobilske karoserije zagledajo podobo osumljenca. Resničnost je precej bolj klavrna, saj je ločljivost številnih fotografij in videoposnetkov slaba, metode za njeno izboljšavo pa vse prej kot navdušujoče. Ločljivost že povečajo, a rezultat je običajno dobesedno meglen. Sliši se kot idealen poligon za strojno učenje, kjer je Google med najboljšimi na svetu. Sloves so vnovič upravičili.
Google je že minuli teden predstavil metodo za povečevanje ločljivosti fotografij, ki so jo poimenovali RAISR (Rapid and Accurate Image Super-Resolution). Svoje sisteme za strojno učenje so trenirali na dveh kompletih podatkov - enkrat s fotografijami visoke ločljivosti in istimi fotografijami nizke ločljivosti (metodi se pravi neposredna), drugič pa s fotografijami visoke ločljivosti in istimi fotografijami nizke ločljivosti, ki so jih izboljšali s klasičnimi metodami (posredna metoda). Druga metoda se je izkazala kot učinkovitejša. Uporabili so 10.000 fotografij in dosegli osupljive rezultate.
RAISR deluje tako, da fotografijo nizke ločljivosti najprej podvrže enostavnim metodam za dvig ločljivosti, potem se na podlagi dobljenega odloči, kateri naučeni filter iz strojnega učenja bi uporabil, ter izvede izboljšanje ostrine z njim. Končni rezultati so boljši od doslej dosegljivih metod, predvsem pa so računsko cenejši. To je pomembno, ker si želimo fotografije nizke ločljivosti ogledovati na visokoločljivostnih zaslonih v realnem času. Poleg tega je RAISR sposoben odstraniti tudi nekatere artefakte, kot je Moiréjev vzorec , ki ga klasične metode ne morejo.
Ampak še vedno ne pozabimo: - če podatka ni, ga tudi računalnik ne more ustvariti iz nič, a ne? Jaz bi dal drugačen naslov: Google RAISR: povprečnost na vsako fotografijo
Samo še en več izmed načinov ostrenja slike. Nearest Neighbor, Bilinear, Bicubic, Bicubic Smoother, Bicubic Sharper, A+, SRCNN in sedaj še RAISR. Photoshopov Bicubic ni kaj dosti slabši od profesionalnih rešitev. Po novem so dodali še Bicubic Smoother in Bicubic Sharper, če z običajnim Bicubic nisi zadovoljen. Od profi rešitev pa je meni osebno trenutno najboljši SRCNN. Opazno boljši od RAISR.
Ampak če smo čisto pošteni, noben ne dela čudežev. Prepoznavanje obrazov iz nizko resolucijske meglene slike ne bo nikoli mogoče. To je ena redkih stvari v računalništvu, kjer lahko zatrdno rečeno, NIKOLI. Iz nič se ne da nekaj ustvariti.
to povečevanje ločljivostji je že 15 let v hd televizijah, ko še ni bilo hd contenta, tvji so bili pa že hd, full-hd.
Ja, ampak uporablja se najbolj običajna "Nearest Neighbor" metoda, ki na manjkajoče mesto enostavno prekopira sosednji piksel. Tudi iz HD na 4K je v uporabi še vedno Nearest Neighbor metoda.
Nearest Neighbor metoda deluje nekje do 2-kratnega povečanja resolucije, Bicubic nekje do 4-kratnega povečanja, naprej pa bolj ali manj odpove vse po vrsti ne glede kakšno super metodo uporabiš. Tudi morebitna umetna inteligenca v prihodnjih stoletjih ne bo pri tem prav nič pomagala.
to povečevanje ločljivostji je že 15 let v hd televizijah, ko še ni bilo hd contenta, tvji so bili pa že hd, full-hd.
Ja, ampak uporablja se najbolj običajna "Nearest Neighbor" metoda, ki na manjkajoče mesto enostavno prekopira sosednji piksel. Tudi iz HD na 4K je v uporabi še vedno Nearest Neighbor metoda.
Nearest Neighbor metoda deluje nekje do 2-kratnega povečanja resolucije, Bicubic nekje do 4-kratnega povečanja, naprej pa bolj ali manj odpove vse po vrsti ne glede kakšno super metodo uporabiš. Tudi morebitna umetna inteligenca v prihodnjih stoletjih ne bo pri tem prav nič pomagala.
načeloma to ni res. res pa je daje najbolj enostavna metoda povprečenje in potem sharpening. podjetja že 10+ let promovirajo njihove hd-upscaling tehnologije in to verjetno ni samo to kar ti praviš.
zato že lep čas pravim tistim, ki se izogibajo nakupa 4k tvjev, da bodo z 4k tvji dobili dejansko boljšo sliko kot na full-hd tvjih (kar se tiče detajla).
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
Strojno učenje. Če ni podatka, ga vstavi na podlagi tisočerih drugih fotografij.
Ne, ne vstavi manjkajočega podatka. Vstavi generičen približek iz drugih fotografij. Kar pa ni isto kot manjkajoči podatek. Strojno učenje =/ čarovnija.
Lahko pametno ugiba, na podlagi predhodnih primerov. Verjetnost, da je vstavljeni podatek pravilen, postane večja od naključnega ugibanja.
Pri televiziji, oziroma videu na splošno, je pa drugače. To lahko pameten program analizira nekaj zaporednih sličic, ki prikazujejo praktično enako sliko. Tu pa je mogoče ločljivost dejansko zelo dobro povečati. To lahko počno tudi sodobni fotoaparati - namesto enega posnetka naredijo nekaj posnetkov (ne da bi uporabnik to sploh opazil), program pa iz tega izračuna sliko, ki je opazno boljša od vsake posamezne iz tega niza.
Strojno učenje. Če ni podatka, ga vstavi na podlagi tisočerih drugih fotografij.
Ne, ne vstavi manjkajočega podatka. Vstavi generičen približek iz drugih fotografij.
Kar je točno to, kar sem rekel.
Lahko pa še dodam, da bo v prvi inačici algoritem pristranski (biased) z izbranimi algoritmi in izbranimi fotografijami. Kasneje bodo (nedvomno) prišle verzije, ki bodo mimogrede vlekle še k željenemu končnemu cilju. Z mnogimi področji uporabe.
Manjkajoči podatki - praktično niso manjkajoči, ker so vsebovani v sosednjih pikslih (kamera se bo vedno stresla in slika bo vedno stresena), pa jih dajmo z algoritmi izločiti....
Manjkajoči podatki - praktično niso manjkajoči, ker so vsebovani v sosednjih pikslih
Aja, če jaz nekoga slikam s super majhno resolucijo 2 x 2 piksla, bo po vaše nekoč v prihodnosti nek program iz teh 4 pikslov zmožen narediti obraz, ki sem ga jaz slikal. Ker točno to vidimo v filmih. Iz slike resolucije 100 x 100 v filmu forenziki naredijo sliko resolucije 10000 x 10000 in obraz, ki ga prej praktično ni bilo videti je kar naenkrat lepo razločen. Kje v tistih 4 pikslih na moji sliki se skrivajo podatki o obrazu?
Pri filmih je malenkost boljše, ker se slika premika in je na razpolago nekaj malega več podatkov o sosednjih pikslih, ampak tudi tam ne gre kaj dosti več kot pri slikah. Mogoče za še enkrat več potem pa je tudi tam konec.
Manjkajoči podatki - praktično niso manjkajoči, ker so vsebovani v sosednjih pikslih
Aja, če jaz nekoga slikam s super majhno resolucijo 2 x 2 piksla, bo po vaše nekoč v prihodnosti nek program iz teh 4 pikslov zmožen narediti obraz, ki sem ga jaz slikal.
Iz 4 pikslov ne bo.
Samo ne bit posebej presenečen, če bodo v prihodnosti razni "googli" tvoje 4 piksle upgrejdali v popoln obraz. Teh par pikslov bo samo majhen delček informacij, ki bodo uporabljeni za "končni produkt". Druge informacije bodo narudarili kje drugje.
Samo še en več izmed načinov ostrenja slike. Nearest Neighbor, Bilinear, Bicubic, Bicubic Smoother, Bicubic Sharper, A+, SRCNN in sedaj še RAISR. Photoshopov Bicubic ni kaj dosti slabši od profesionalnih rešitev. Po novem so dodali še Bicubic Smoother in Bicubic Sharper, če z običajnim Bicubic nisi zadovoljen. Od profi rešitev pa je meni osebno trenutno najboljši SRCNN. Opazno boljši od RAISR.
Ne pozabit na Waifu. Zavidljiva kvaliteta, čeprav na žalost ni ta real-time filme/igrice. Preizkusite sami.
Ampak še vedno ne pozabimo: - če podatka ni, ga tudi računalnik ne more ustvariti iz nič, a ne?
iz nič ne, lahko pa izračuna vmesne vrednosti med dvema podatkoma
Photoshopov Bicubic ni kaj dosti slabši od profesionalnih rešitev. Po novem so dodali še Bicubic Smoother in Bicubic Sharper, če z običajnim Bicubic nisi zadovoljen.
Tudi morebitna umetna inteligenca v prihodnjih stoletjih ne bo pri tem prav nič pomagala.
lahko na pameten nacin fejka, tako kot bi fejkal profesionalni obdelovalec slik, ce bi imel nalogo neki fotografiji povecati resolucijo - bi pac sklepal o materialu, teksturi materiala itd. in zafilal piksle z informacijo, ki je za cloveka zadost dobra, da mu zgleda kul. seveda je pa res da se povsod ne da fejkat (brez posledic), recimo ce se tekst ne vidi.
enkrat bo recimo umetna inteligenca znala tudi retusirati in obarvati WW2 fotografije, ceprav nikjer na sliki ni podatka o tem
Pri televiziji, oziroma videu na splošno, je pa drugače. To lahko pameten program analizira nekaj zaporednih sličic, ki prikazujejo praktično enako sliko. Tu pa je mogoče ločljivost dejansko zelo dobro povečati. To lahko počno tudi sodobni fotoaparati - namesto enega posnetka naredijo nekaj posnetkov (ne da bi uporabnik to sploh opazil), program pa iz tega izračuna sliko, ki je opazno boljša od vsake posamezne iz tega niza.
če boš našel kakšen bolj idiotski primer, odpri temo v loži z ustreznim naslovom. Recimo klub ljubiteljev letnih gum ustrezno spremenjen v slo-tech župo.
enkrat bo recimo umetna inteligenca znala tudi retusirati in obarvati WW2 fotografije, ceprav nikjer na sliki ni podatka o tem
Človeška inteligenca to dela že desetletja. So pobarvali že veliko klasičnih črno-belih filmov, recimo Casablanco in Malteškega sokola, če omenim samo dve klasiki z Bogartom.
po moje ta algoritem samo vzame detajl iz prejšnjih frejmov bolj inteligentno kot to počnejo algoritmi danes. dejstvo je da če sestaviš 2 ali več slik skupaj, lahko pridobiš na detajlu. ta algoritem pa verjetno samo vzame prejšnje frejme, jih repozicionira in pridobi detajl.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W
enkrat bo recimo umetna inteligenca znala tudi retusirati in obarvati WW2 fotografije, ceprav nikjer na sliki ni podatka o tem
Človeška inteligenca to dela že desetletja. So pobarvali že veliko klasičnih črno-belih filmov, recimo Casablanco in Malteškega sokola, če omenim samo dve klasiki z Bogartom.
Tudi to že delajo algoritmi - obarvajo črno-bele slike. Za retuširanje ne vem.
Seveda bi lahko že obstajal filter v Photoshopu, ki to naredi, vendar Adobe kar noče vpeljati teh funkcij. Mogoče bodo pa vključili tale "NN interpolation" pri povečevanju slik ali "NN sharpen" pri izostrovanju.
S tem pa vloga vizualnih algoritmov še zdaleč ni zaključena, nekaj idej (ki so mogoče in delno že preizkušene) sem napisal zadnjič:
Photoshop ima očitno zelo slabo praktično predvidevanje.
Malo oftopic, ampak to je res, čeprav obstaja velik potencial za implementiranje pametnih funkcij. Področje računalniškega vida je trenutno najbolj razvito, kar se tiče posnemanja človeške inteligence - vendar nima PS kot primarno vizualni program niti ene funkcije, ki bi to uporabljala.
Vključili so Content aware scale in Smart fill, kar je pohvalno, vendar so to popolnoma umetni algoritmi. Možno je veliko več, npr: - Samodejno označevanje objektov/oseb - Premikanje 2D objektov v perspektivi, rotacija (delno z ugibanjem) - Brisanje označenih objektov in zapolnitev manjkajočega prostora - Avtomatska kolorizacija črno-belih slik, itd.
Razlogi, da tega še ni, je kar nekaj - delno monopol, delno fokus na drugih funkcijah, delno je že vključena osnovna funkcija, težavnost, nezanimanje/neznanje - npr. Content aware scale si verjetno dosti ljudi ni niti želelo, ker sploh niso pomislili, da lahko obstaja!
A parody of extremism is impossible to differentiate from sincere extremism.
če boš našel kakšen bolj idiotski primer, odpri temo v loži z ustreznim naslovom. Recimo klub ljubiteljev letnih gum ustrezno spremenjen v slo-tech župo.
1. pomiri se in ne delaj žaljivih komentarjev ("idiotski") 2. če podatka ni, ga ne moreš poustvarit. kot če bi nekdo rekel, "Rezultat je 7", ti pa odgovoriš "Vprašanje je bilo 'Koliko je 3+4?'". Tega pač ne veš. Ta podatek je za vedno izgubljen. Ja seveda lahko ugibaš. Ampak ugibanje je samo to. 3. ta stvar bo super za kakšne hitre/poceni "upscale" rešitve.
Če je 10x20pixlov kožne barve, še ne pomeni da je na sliki gola ženska... :D
Se vedno ne bo iz enega piksla razbral obraza in ga potem poiskal v bazi podatkov. Kot to redno pocnejo v filmih, tko, da moras gogole se zelo izboljsati algorite, da bo dosegel holywood:)
Človeška inteligenca to dela že desetletja. So pobarvali že veliko klasičnih črno-belih filmov, recimo Casablanco in Malteškega sokola, če omenim samo dve klasiki z Bogartom.