un blog de Radu Dumitru

►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄

Google Research a prezentat cel mai bun algoritm de reducere a zgomotului din fotografii

24 Aug 2022  ·

TEHNOLOGIE  ·

14 comentarii

Am mai zis și cu alte ocazii că vânzările de camere foto s-au prăbușit nu doar pentru că fiecare om avea în mână un telefon mobil, ci și pentru că producătorii de camere foto au bătut pasul pe loc în tehnologia procesării de imagine.

Pe scurt, telefoanele au avansat foarte repede la a face HDR-uri în mod direct pe vremea când cu un aparat foto încă făceai trei fotografii și le combinai tu în ce software puteai. Telefoanele s-au dus și spre detecție de fețe, zâmbete, ochi închiși, mâini ridicate pentru declanșare șamd. Apoi, ceva mai recent, s-au dus tare pe night mode cu multi-frame noise reduction și diverse tehnologii AI integrate pentru procesarea de imagine. Aparatele foto clasice n-au mișcat nimic în acea zonă.

Și acum vine Google Research și arată un algoritm de inteligență artificială care scoate zgomotul din imagini cu rezultate excepționale. Genul acesta de rezultate:

Tehnologia se numește NeRF, Neural Radiance Fields. Mie mi se pare cel mai bun algoritm de denoise pe care l-am văzut până acum și probabil îl vom vedea în viitor inclus în telefoane mobile, dar și în software de editare foto. Este un proiect open-source și sunt sigur că deja mulți alții îl adaptează pentru produsele lor.

Este și o problemă la mijloc: Algoritmul Google are nevoie de mai multe imagini, de mai multe fotografii făcute acolo, cât de cât din același loc, pentru a elimina astfel zgomotul. Dar asta n-ar fi problema mare. Cu ajutorul imaginilor multiple mai face și ceva numit view synthesis, adică ia o imagine și generează o scenă 3D pe baza ei. Sau, dintr-o serie de imagini făcute într-un loc, generează întreaga scenă în 3D, dar despre acesta parcă am mai scris pe blog. Jocuri foto-realiste, Google Street View perfect, maparea 3D a unei case, sunt multe aplicații aici.

sursa: DIY Photography.

    14 comentarii

  1. acum mai trebuie doar sapuniere care sa faca poze asa naspa pe noapte.
    serios, tehnologia asta era buna acum 10 ani, nu in 2022

      (Citează)

    • De fapt cam toate telefoanele fac pozele la calitatea asta noaptea. Ce vedem noi ca rezultat final este de fapt imaginea trecuta prin algoritmul de reducerea a zgomotului implementat de producatorul telefonului.

        (Citează)

  2. Wow.

      (Citează)

  3. Asta nu-i nimic, iti trimite si politia acasa : https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html. Putea un dslr sa faca asta? nu putea.

      (Citează)

  4. Cumva postările de genul sunt ok, dar strict pentru pasionații de gadget-uri. Când ieși din bula asta și ajungi la camere foto sau video nu mai nici un sens. Producătorii de camere n-au bătut deloc pasul pe loc, ci au dezvoltat sisteme de focalizare, senzori mai buni și au adus pe piață obiective mai bune. În domeniul profesional (că la asta se restrânge piața camerelor scumpe) nu vrea nimeni așa ceva în softul body-ului, ci în prelucrarea ulterioară.

    Diferența e în calitatea inițială a imaginii, acolo excelează aparatele ca lumea. Exemplele de mai sus sunt cadre stricate de zgomotul de imagine care după prelucrare rămân stricate – dar fără zgomot. Problema cu zgomotul nu e că ai în cadru granulație, ci că pierzi detaliile și culorile, iar prin reducerea lui rști să mai pierzi din detalii. Cadrele de mai sus se pot considera inutilizabile (unsable) în domeniu, indiferent cât zgomot de imagine poți scoate din ele.

    În rest, camerele foto au bătut în așa hal pasul pe loc încât mai nou se adaugă blur, pentru că fotografiile sunt considerate prea clare, și zgomot de imagine (film grain) ca să arate „cinematic”.

    Ironia e că fix la camerele care au bătut pasul pe loc se vor vedea îmbunătățirile la softurile de prelucrare. Telefoanele o să focalizeze prost și o să reprezinte culorile și detaliile prost, indiferent de zgomotul de imagine.

      (Citează)

    • Cătălin Tănase

      24/08/2022 la 12:57 PM

      This! +1

        (Citează)

    • Sunt 2 mari categorii de pozari, unii care pozează gen documentare, pentru blog, fb, share whatsapp gen uite pe unde umblu sau ce tatze mari are aia ( vreau bineînțeles fara noise ) și categoria , sa zicem artistică in care fotografia creaza o poveste sau induce o emoție o stare sau multe altele. Pentru categoria 2 zgomotul e pe loc secund.

        (Citează)

    • Cea mai bună cameră foto e cea pe care o ai la tine când apare un moment demn de fotografiat.
      Am avut Sony rx100, mega lăudat de toți, l-am vândut când am descoperit telefoanele pixel, ies mai plăcute ochiului pozele cu pixel, plus un hdr foarte fain fără să fac vreo editate acasă.
      Average Joe chiar nu are de ce să-și ia o cameră foto dedicată, timp și bani aruncați aiurea când poate obține rezultate mulțumitoare cu orice telefon flagship, fără să care o măgăoaie in rucsac.
      Software-ul devine din ce in ce mai important, a lăsat în urmă avansul tehnologic.

        (Citează)

    • @FlorinM: știu povestea cu camera pe care o ai la tine, dar dacă te interesează calitatea, ai una ca lumea tot timpul cu tine. rx100 e totuși un aparat compact și e lăudat pentru că scoate rezultate bune în categoria lui. Sunt de acord cu tine că pentru multă lume e suficient ce scot telefoanele, dar în majoritatea cazurilor nu se pot compara cu camerele dedicate. Și nici nu trebuie comparate, pentru că sunt proiectate să fie folosite diferit.

      Probabil confuzia apare în general la cei ce au căutat la un moment dat DSLR sau bridge pentru calitatea imaginii, dar când au văzut cum se fotografiază cu un DSLR sau dezavantajele unui bridge le-a trecut. Poate un DSLR pare greu și butucănos, dar dacă nu e așa nu poți folosi un obiectiv greu (tele, de exemplu).

      Softul e important, dar încă nu rezolvă toate problemele. Problema mea cu ideile din articol e că ar trebui să vezi cum era focalizarea acum 15 ani și cum e acum, înainte să susții că echipamentul foto sau video a rămas în urmă. Că n-a rămas, iar conținutul care te dă pe spate încă nu e făcut cu telefoane.

        (Citează)

    • Cătălin Tănase

      24/08/2022 la 4:46 PM

      Eu sunt unul dintre ăia care folosește un mirrorless în vacanțe. Știu că e mai greoi față de un telefon și că mai trebuie să și editez pozele când mă întorc, dar nu o fac doar pentru calitatea mai bună a imaginii față de un telefon, îmi și place să fac asta, e un hobby (ca să nu mai zic că așa nu mai descarc bateria telefonului), dar înțeleg foarte bine că fac parte dintr-o minoritate și că pentru cei mai mulți un telefon e mai mult decât suficient

        (Citează)

    • @dam167. Tehnic, sistemele de focalizare si senzorii mai buni se numesc progress.

      Practic, daca te uiti ca nu produc poze mai bune fata de un telefon decat in conditii foarte specifice, acest progres in afara bulei de pasionati de gadgeturi, sau oameni normali, dar si o parte din entuziastii foto, inclusiv unii profesionisti – ca am mai vazut si fotografi de evenimente cu telefoane si ceva obiective pe ele, pe langa DSLR, ramane doar in bula celor carora le place sa isi miroasa basinile si sa vorbeasca despre ce poze super fac ei pă manual cu setări custom.Da. In Lightroom. Si Photoshop. Depui efort sa surprinzi subiectul DOAR in lumina cea mai buna , cu setarile potrivite atent si manual pentru cadrul respectiv, ca altfel ies niste mizerii de n-ai ce face cu ele nici in Lightroom, dupa care iei poza acasa, mai pierzi doar 15-30 de minute pe ea, in functie de daca ai ceva macro de procesare salvat, sau trebuie sa il faci si pe ala manual SI GATA, ai o poza excelenta. Versus Click!

      De aia au scazut vanzarile si raman aia doar cu puristii – aia cu nasul lung, sa simta basinile bine. Pana si profesionistii – care chiar au nevoie de ceva mai bun decat un telefon – ii injura ca nu se concentreaza pe ce trebuie, ca stii, timpul tuturor e important, mai ales al profesionistilor.

      iar conținutul care te dă pe spate încă nu e făcut cu telefoane.

      Normal ca nu.

      Trist e ca si continutul productiv incepe sa fie facut cu telefoane si da, in principiu, ai putea sa obtii calitate mai buna cu DSLR-ul, dar diferenta e mai mica decat diferenta de timp petrecut aiurea intr-un soft incercand sa mulgi dintr-o poza spuma, cand lucrul asta putea sa fie nu facut, cat macar ajutat automat, eventual cu niste presetari. Cum ai setari de ISO si balans de alb, la fel ai putea avea si setari de HDR si alte presetari de gama luminosity dinamic range sau ceva de genul.

        (Citează)

    • @Catalinx: Aparatele noi produc poze mult mai bune decât orice telefon – aici e vorba deja de mirrorless, nu de DSLR (deși la ce exemple am văzut pe aici, DSLR-ul meu de 13 ani cu 16 mpx + 2 min de prelucrare scoate mult mai mult). Pe mirrorless ai lentila mai aproape de senzor și focalizare mult mai rapidă și mai precisă ceea ce e, pentru absolut orice e în mișcare, game changer. Să vezi cum arată acum foto și video la ISO 12800 pe un senzor full frame dar pe un monitor, nu pe un ecran de Samsung.

      Piața e mai mică pentru că acum cumpără astfel de camere doar pasionații și profesioniștii – e normal, pentru că ăia care nu sunt pasionași nici n-au înțeles vreodată care e faza cu un DSLR, ei credeau că cumpără un kit și aia e. Iar pentru un snapshot la plezneală cu câinele în curte normal că e suficient un telefon. Cu un aparat dedicat fac mult mai ușor o expunere lungă sau setez ușor parametrii pe care-i vreau înainte de un cadru. Puncte de focalizare, compensarea expunerii, modul de focalizare – asta apropo de orice ți se mișcă în cadru. Înțeleg că nu oricine e interesat de așa ceva, dar asta nu înseamnă că rezultatele sunt tot pe acolo. Obiective, lumini, cum lucrez cu astea cu telefonul? Ai văzut behind the scenes la o reclamă filmată cu un telefon, și ce accesorii sunt folosite?

      Eu vorbesc aici de echipament foto – video destinat profesioniștilor, nu camerele aruncate la kilogram pe piață, normal că alea nu mai merită. Cine zice că progresul a stagnat acolo, doar pentru că telefoanele fac acum niște prelucrări agresive mult mai repede, n-a pus mâna pe o cameră în ultimii ani. Da, ce scoți cu un telefon e suficient pentru mulți, dar când compari cu ceva dedicat sunt diferențe mari. E destul să te uiți la festivalul ăsta de la care a pus poze Radu pe net și ai să vezi de la o poștă cadrele profesioniștilor – focalizare bună, culori mai bune, contrast mai bun, profunzime a câmpului mai naturală etc.

      Cât despre soft și AI în general, faci un click sau un tap și în Lightroom, doar că materialul brut e mult mai bun.

        (Citează)

  5. Cât despre soft și AI în general, faci un click sau un tap și în Lightroom, doar că materialul brut e mult mai bun.

    Problema aici este. Că nu prea e . Dacă nu te plimbi cu lumină după tine , iar pentru peisaje aștepți de îți vine rău lumina aia bună. O poza cu ISO mare făcută de o cameră dedicată arată OK dacă luminozitatea e scăzută, sau într-un range potrivit în toată poza. Dacă ai range dinamic de luminozitate – ghinion.

    Eu știu că tehnic vorbind o camera de pe un telefon ( sau 3 ) nu are capacitatea de a captura nivelul de detaliu al unei camere dedicate – DSLR sau mirrorless. Tot ce poate să facă e să compenseze .
    Dar sunt două aspecte pe care le ignori.
    Un DSLR ( chiar și kit ) și un mirrorless au resurse incomparabile și ar trebui să poată acoperi o gama dinamica de luminozități și culori. La asta sug inclusiv mirrorlessurile full frame, nu am testat personal dar mi-au arătat oameni care fac asta ca meseria lor poze și mi-au explicat cum e cu diferențele de expunere pe imaginile capturate cu telefonul față de alea cu camera dedicată. Sunt oricum vizibile și sunt greu de modificat și în Lightroom , la fel să pui HDR ( fără să tragi poze separate și să recombini – in telefon o setare ) , deși am văzut poze făcute cu HDR combinat automat pe Sony A7 II și sunt jos pălăria. Doar că târziu și puțin.
    Ar trebui să fie așa și la restul de procesare că nu ai mereu toată informația necesară în o poză, o expunere , să o folosești la postprocesare iar aia durează . Chiar și dacă faci numai 2 minute de prelucrare ( o laie 2 minute ) – la un set de 100 de poze înseamnă 200 de minute, presupunând că păstrezi ritmul. Dacă ar fi numai atât cum plm se întâmplă că oricărui fotograf îi trebuie săptămâni în cel mai bun caz să producă pozele de la un eveniment, sau pentru un produs?
    Toți pe care îi cunosc se vaită, asta in condițiile in care au tot soiul de preseturi și ochiul format.

    Eu sunt de acord că profesioniștii vor continua să cumpere camerele astea , oricât de mizerabili ar fi producătorii, chit că înjurând, că o fac pentru diferența de detaliu care nu poate fi acoperită de telefoane. Dar nu toți și nu se știe cât timp, că nu face toată lumea poze doar pentru concursuri. La orice activitate comercială ai niște praguri de admisibilitate și calitate, și dacă ajungi să le atingi cu telefonul, e mai profitabil să faci aia și să îi lași pe fraierii pasionați ( de bani mai puțini) să își bată capul pentru o diferență de detaliu importantă , dar costisitoare.

      (Citează)

    • Acum, lumina face totul. Faptul că un telefon are o putere de procesare mult mai mare nu înseamnă că fotografiezi un peisaj mai ușor. Ce ziceam eu de AI e că softul care evoluează are loc și în post procesare – de exemplu poți înlocui foarte ușor cerul, chiar și în cadre mai complexe. La fel și cu corecțiile și măștile, ajunge și în Photoshop să fie totul la un click distanță. Dar depinde ce vrei să obții, dacă ai nevoie de un teleobiectiv cam pică telefonul sau na, vei avea rezultate mult mai proaste.

      Dynamic range-ul e o problemă în fotografia digitală și da, e o limitare – unii sunt dispuși să dea o groază de bani pe un Hasselblad sau un Leica pentru a câștiga câteva trepte. Dar stacking-ul nu e nou, chiar dacă telefoanele fac asta practic instant. Normal că e mai comod să folosești un telefon, dar repet, dacă vrei anumite rezultate alegi varianta manuală cu prelucrare ulterioară în detaliu – un exemplu e Mike Kelley care a dus la extrem tehnica asta în fotografia arhitecturală.

      Legat de HDR și telefoane, aici ține și de percepția și gusturile oamenilor. Mie multe prelucrări (Samsung de exemplu) mi se par prea agresive, dar e normal să mergi în direcția în care vrea majoritatea. Așa cum au fost perioade în care obsesia era pentru claritate și culori, acum e HDR-ul și sunt situații unde abia mai ai umbre. Sau așa numitul portrait mode, unde se face o mască și se aplică blur în jurul feței, mie îmi pare complet ne natural. Înțeleg că pentru mulți e suficient, dar nu vreau ca un aparat să aibă porcăriile alea.

      Eu am dat exemplu de 2 minute de prelucrare pentru cadre care au apărut pe aici, unde ar fi corecții de bază. Pentru expunerile în condiții similare faci copy la corecții și le aplici mai departe. Un cadru complex poate dura ore dar din nou, nu se compară calitatea. Plus că trebuie să faci un soi de prelucrare oricum ca să trimiți pozele, pentru că nu faci share pur și simplu la un fișier de 50 mb. Așa că da, durează mai mult.

      Presupun că pentru evenimente sunt mulți clienți și puțini editori, de asta durează. În România e foarte mult material pentru banii care se dau, mai ales video.

      Eu nu văd de ce ar fi mizerabili producătorii. Canon tăcut câțiva ani și apoi a venit direct cu o gamă mirrorless, inclusiv adaptoare și obiective. Fuji practic are o linie completă, de la crop la format mediu, pe mirrorless iar Sony a mai adus și obiective, nu numai zgomot. Până și Nikon au trecut la mirrorless, cu rezultate bune. Chiar și Leica s-au mai dezghețat – mai mult în cominicare și poziționare pe piață, că produse bune au avut tot timpul. Asta pe foto, că pe video e o altă discuție. După părerea mea așa au pierdut Panasonic, au încerat să meargă după zgomot, să facă și foto și video și să satisfacă cerințele celor gălăgioși – se pare că erau puțini ăia care voiau de toate și nu rentează să faci treaba asta.

      Da, la orice activitate comercială ai niște cerințe și, momentan, chiar și dacă calitatea ar fi comparabilă (telefon – echipament dedicat), e mult mai ușor să-ți faci treaba cu ceva proiectat pentru așa ceva decât cu un telefon. De exemplu la orice e publicitate, indiferent că e afară sau în studio. Pentru orice sport sau wildlife ai nevoie de chestii specifice pe care nu le are un telefon. Orice în lumină slabă, cum sunt evenimentele, concertele, festivalurile etc. la fel. Sau orice chestie mai complexă în studio are nevoie de un tethering sau măcar de posibilitatea declanșării unor lumini la fotografiere. Cum faci un timelapse ca lumea cu telefonul? că sunt oameni specializați doar pe așa ceva în lume.

      Chiar și pentru o nuntă, n-o să fie comod să te chinui cu un telefon în mână mai multe ore și lucrezi mai comod cu un aparat foto, fie el și de 1.5 kg.

        (Citează)

    Alătură-te discuției, lasă un mesaj

    E-mail-ul nu va fi publicat. Fără înjurături și cuvinte grele, că vorbim prietenește aici. Gândiți-vă de două ori înainte de a publica. Nu o luați pe arătură doar pentru că aveți un monitor în față și nu o persoană reală.

    Apăsați pe Citează pentru a cita întreg comentariul cuiva sau selectați întâi anumite cuvinte și apăsați apoi pe Citează pentru a le prelua doar pe acelea. Link-urile către alte site-uri, dar care au legătură cu subiectul discuției, sunt ok.


    Prin trimiterea comentariului acceptați politica de confidențialitate a site-ului.



    Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.

    Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri

    Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.

sus