un blog de Radu Dumitru
un blog de Radu Dumitru
►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄
Mai jos vedeți un exemplu de upscaling făcut cu algoritmi avansați de analiză a fiecărui cadru. Rezultatul mi se pare excelent, având în vedere de la ce s-a pornit.
Cineva a luat un film din 1896, un tren intrând într-o gară. Imaginea a fost curățată de zgomot și artefacte, iar un algoritm numit Gigapixel AI a făcut upscalingul la 4K, analizând fiecare bucățică a fiecărui cadru și adăugând pixeli după cum a considerat mai bine. Nu-i ceva simplu de făcut, că nu a luat un obiect fuzzy și l-a făcut mai mare și mai fuzzy, ci a încercat să-i dea forma corectă.
Apoi, un alt algoritm numit DAIN –Depth-Aware Video Frame Interpolation– a adăugat cadre suplimentare, crescând FPS-ul la 60 pentru a obține un clip 4K la 60 FPS.
Originalul. Observați că pietrele de pe jos sunt foarte fuzzy, iar fețele persoanelor din dreapta nu au detalii. Majoritatea vagoanelor sunt foarte întunecate și detaliile se pierd în zonele negre.
Finalul. Observați că toate problemele de mai sus sunt corectate. Rămân în continuare aberații de perspectivă cauzate probabil de pelicula inițială, dar nu m-ar mira ca un algoritm să le poată corecta și pe acestea, la o adică.
OK, nu-i la nivelul unei filmări 4K de astăzi, dar uitați-vă de unde s-a plecat. Dacă am lua un clip Full HD filmat astăzi și i-am face upscaling similar către 4K, probabil că diferența față de unul filmat direct 4K ar fi insesizabilă sau măcar pierdută oricum în zgomotul de compresie.
Machine-learning-ul este cuvântul cheie aici. Anterior, un algoritm de upscaling nu știa exact ce pixeli suplimentari să creeze pentru a crește rezoluția și de obicei repeta pixelii adiacenți sau crea unii bazați pe o medie. Dacă ai un pixel negru lângă unul alb, un algoritm clasic ar fi introdus între ei un pixel gri (în explicația cea mai simplă).
Cu machine learning, un algoritm folosește bibliotecile sale uriașe de exemple și experiența anterioară pentru a intui mult mai bine ce este necesar, ba chiar își dă seama că trebuie să crească rezoluția unei mustăți sau a unei guri sau a unei oglinzi auto.
Astfel de algoritmi, în paralel cu creșterea puterii de procesare, chiar pot face din “upscaling” un termen care nu trebuie luat în derâdere.
Pentru ceva la fel de mișto, uitați-vă la tehnologia NVIDIA de generat fețe umane.
Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.
Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri
Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.
Îți place blogul meu?
Apasă acest buton înainte de a cumpăra de la eMAG
și vei susține acest site.
Magazine recomandate:
Am circulat în spațiul Schengen pe Otopeni și mi-a plăcut
Flanco devine primul Smart Discounter electro-IT din Romania (și ce înseamnă asta)
Articole interesante de citit astăzi – 14 aprilie 2024
Iranienii au lansat un atac aerian care doar îi face să pară neputincioși
Oferte bune de la Revoluția Prețurilor de la eMAGCopyright © 2006 - 2020 nwradu blog.
Reproducerea textelor și a imaginilor ce-mi aparțin este posibilă numai în sistem "creative commons Attribution Non-Commercially Share-alike 3.0 CC BY-NC-SA".
Termene și condiții | Politica de confidențialitate | Politica de cookies
13 comentarii
07/02/2020 la 3:07 PM
Acum o sa devina reale fazele alea din filme in care vad cu zoom numarul unei mașini care se reflecta in oglinda altei masini care se reflecta in ochelarii de soare care…
Topinel(Citează)
07/02/2020 la 3:16 PM
Este 1896 sau 1986?
Si trebuie precizat ca nu este doar un film. Este PRIMUL film! A fost nebunie, oamenii s-au speriat in sali, au crezut ca da trenul peste ei.
Gaelex(Citează)
07/02/2020 la 3:21 PM
Cineva a luat un film din 1986, ……………………1896 zice titlu nu?
Gabi(Citează)
07/02/2020 la 4:31 PM
De fapt, nu-i prea bun. Ma uit la pelicula “originala” si la cea procesata la 40k /60fps si ce transpira de la o posta e sintetizarea . Ok, luciul trenului si detaliile obiectelor sunt mai bine ilustrate, luminanta este crescuta – asta-i de apreciat.
Tot ce tine de natura si aspectul natural e distorsionat, dupa parerea mea, neplacut. Fetele oamenilor or avea mai multe detalii, dar detaliile stramba realitatea, zici ca-s toti portrete robot. Chit ca se vad mai difuz si slab luminat in clipul neprocesat creierul meu interpreteaza imaginile alea ca fiind atat mai naturale, cat si mai placute si pot spune de la o posta ca aia e o filmare originala, in timp ce cealalta e o replica.
Si nu, nu o sa devina reale fazele alea din filme cu zoom din reflectii, ca ok, poate creaza un algoritm informatie, dedusa pe baza de interpretare, dar in mod sigur nu-i garantat ca creaza realitate.
Daca intr-o imagine de rezolutie proasta ai o mica umbra pe zapada, de cativa pixeli, umbra aia poate sa fie la fel de bine un lunetist, un animal, umbra unei pasari care poate nu e in cadru, sau doar o eroare / zgomot.
Calculatorul poate alege, in functie de context una din ele sau altceva, dar daca era lunetist si calculatorul a bunghit cumva asta, foarte probabil nu va sti ca avea in buze o tigara XXXX (fara reclame la tigari), ca informatia aia nu era in poza originala, capturata in vreun fel.
Catalinx(Citează)
10/02/2020 la 10:31 AM
De fapt, ceea ce a iesit e un desen animat fotorealistic. E rezultatul fanteziei unui computer.
nashu_mare(Citează)
07/02/2020 la 5:42 PM
Nui rau deloc rezultatul care a iesit… nice joob.
Bucur(Citează)
07/02/2020 la 5:49 PM
Cel mai bine i-a iesit partea cu 60 FPS. Mai e mult pana departe, nu ma asteptam sa tremure asa imaginea.
De upscaling cum poti sa zici asa ceva? Filmul analog nu are rezolutie.
Cosmin(Citează)
07/02/2020 la 6:12 PM
Pentru un film din 1896 rezultatul e uimitor. AI-ul ăsta e aur curat în anii ăștia de început pentru cine știe cum să profite de el.
Iulian(Citează)
07/02/2020 la 7:48 PM
L am testat. E varianta trial de 30 de zile. Doar upscaling ul nu e așa impresionant. Nici algoritmul lor pentru fotografii nu e super wow. Poate la versiunea 2 să mă convingă să l cumpăr.
Icegrandpa(Citează)
07/02/2020 la 6:15 PM
Hey, mai ușor cu pianul pe scări. Omul a folosit un rescan recent al peliculei originale la o calitate mult mai bună.
Note (February 5): In the original version of this story I was comparing a low-quality copy of the 1896 film to the upscaled version. Shiryaev actually started with a higher-quality scan of the film, and many of the differences I observed actually reflected his better source material, not the upscaling algorithm. I’ve updated the first video below to the one Shiryaev used, but I left the text of the story as-is.
https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/
Danutz(Citează)
07/02/2020 la 7:40 PM
Bai, nu e “un film din 1986” e unul dintre primele filme făcute de frații Lumière in 1896.
Si ce a făcut băiatul ăsta e uimitor …
Stefan(Citează)
07/02/2020 la 8:44 PM
Există și varianta colorizată, aici: https://youtu.be/EqbOhqXHL7E
seba18(Citează)
07/02/2020 la 10:07 PM
Sincer, nu înțeleg de unde vine admirația asta pentru acest “upscaling”. Poate sunt eu mai chior dar tot stau și mă uit la ambele variante și oricum o dau, tot originalul mi se pare mai ok.
Gabi(Citează)