I JPEG possono essere migliorati in qualità RAW?

I JPEG possono essere migliorati in qualità RAW?

Nel corso degli anni, mi sono imbattuto spesso in questa domanda: "Un'immagine JPEG può essere migliorata con una qualità di immagine RAW?" Capisco da dove viene questa domanda. Ai fotografi viene insegnato a "scattare in RAW" dal primo giorno. Oggigiorno, così tante immagini sono solo in formato JPEG, dalle foto dei telefoni alle foto di repertorio, a quelle vecchie immagini inestimabili.Sarebbe davvero bello se potessimo valorizzarli alla qualità dell'immagine RAW in modo che potessero inserirsi nel flusso di lavoro di editing delle immagini RAW di oggi! 

Sfortunatamente, la risposta è sempre stata "No." Il formato JPEG è stato introdotto nel 1994 principalmente per ridurre le dimensioni del file e risparmiare spazio nella memoria. Le immagini salvate come JPEG sono molto più piccole nella dimensione del file e hanno anche perso molte informazioni. Dalla teoria delle informazioni sul punto di vista, i dati persi sono irrecuperabili e il danno è irreversibile. Ci sono cambiamenti che puoi apportare all'immagine per farla sembrare un po 'meglio, come abbiamo fatto con il nostro plug-in Photoshop "Topaz DeJPEG", che utilizzava un algoritmo per rimuovere gli artefatti a blocchi in senso quasi "ottimale" (errore medio ottimale ottimale). Tuttavia, anche DeJPEG semplicemente non può recuperare i dettagli persi.

Figura 1. Indovina quali immagini sono JPEG, che è RAW o qualcos'altro?

Tuttavia, recentemente ho sperato che il mio "No" potesse alla fine diventare un "Sì". Prima che spieghi ulteriormente, approfondiamo un po 'la differenza tra un'immagine JPEG e una RAW.

Le immagini RAW sono emerse quando le fotocamere digitali DLSR di alta qualità hanno iniziato a sostituire le telecamere a pellicola. Un'immagine RAW di solito proviene direttamente da una fotocamera DLSR salvando i dati del sensore di imaging con una modifica minima in modo da ottenere la massima qualità dell'immagine durante il post-editing. Ciò è possibile perché le fotocamere DSLR utilizzano i migliori sensori di immagine e le ottiche di alta qualità, ottenendo immagini RAW di alta qualità.

Ottica / Obiettivo → Sensore di immagine → 10-14 bit per RGB → salva in file RAW in 10-14 bit per

Le immagini JPEG di solito provengono da piccole fotocamere, come il telefono, o vengono salvate dopo la modifica per ridurre le dimensioni dell'immagine per Internet. Il telefono o le telecamere point-and-shoot a basso costo hanno sensori di immagine molto piccoli (quello rosso in figura 2 è una dimensione di imager iPhone, a differenza del full frame DLSR), che produce un rumore molto più elevato. La pre-elaborazione all'interno della fotocamera deve essere utilizzata per sopprimere il rumore per rendere l'immagine buona. Questa soppressione del rumore rimuove anche i minimi dettagli nelle immagini. Quindi le immagini vengono convertite in uno spazio colore sRGB a 8 bit per ridurre ulteriormente la quantità di dati nell'immagine. Questo è un peccato perché sRGB può rappresentare solo circa il 50% dei colori che l'occhio può vedere, come illustrato nella Figura 3. Infine, il codificatore JPEG comprime l'immagine in una dimensione di file ancora più piccola che si traduce in una maggiore perdita di informazioni.

obiettivo / sensore → pre-elaborazione → (8 bit sRGB) → Encoder JPEG → File JPEG

Figura 2, dimensioni del sensore di imaging della fotocamera
Figura 3, diagramma dello spazio colore

Per riassumere la differenza tra JPEG e RAW:

Non fraintendermi. Quando un'immagine JPEG viene salvata con "Qualità> 70", "sembra" quasi come un'immagine RAW. I problemi si manifestano solo quando modifichi l'immagine in modo forte.

Con le perdite di informazioni nella codifica JPEG e il fatto che le fotocamere jpeg tendono ad avere piccoli obiettivi e sensori, è facile concludere che è impossibile migliorare le immagini JPEG in qualità grezza ... beh, fino a poco tempo fa, cioè.

Negli ultimi anni c'è stato uno sviluppo rivoluzionario nell'intelligenza artificiale e la sua applicazione nel miglioramento dell'immagine. Usando "deep learning", le reti neurali artificiali hanno ottenuto risultati sorprendenti. Con questi sviluppi, è stato naturale per noi provare a utilizzare l'intelligenza artificiale per migliorare un'immagine JPEG con (si spera) la qualità dell'immagine RAW!

Ma aspetta, ho appena detto che è teoricamente impossibile recuperare le informazioni perse. Come può una rete neurale artificiale fare l'impossibile?

Il modo più semplice per spiegarlo è che l'IA affronta questo problema da una prospettiva molto diversa. Invece di cercare di invertire la perdita di informazioni, il che è impossibile, addestriamo una rete neurale per "ricordare" come dovrebbe apparire l'immagine RAW prima che venga convertita in un'immagine JPEG. Formiamo la rete neurale su un gran numero di immagini RAW di alta qualità insieme alla loro versione JPEG corrispondente in modo che impari e ricordi la corrispondenza. Dopo aver addestrato la rete su un numero sufficiente di immagini, la rete neurale "ricorderà" di produrre un'immagine di qualità superiore anche quando viene fornita una nuova immagine JPEG "invisibile" come input. È come quando vedi un amico da molto lontano. Anche se sono troppo distanti per te per distinguere i dettagli con i tuoi occhi, puoi immaginare o ricordare come appare il tuo amico con dettagli vividi.

Figura 4. Ecco come appare la rete neuronale nel nostro cervello.
Figura 5. Ecco come appare la rete neurale artificiale.

Per far funzionare questo approccio, abbiamo affrontato le seguenti sfide:

Set di dati immagine RAW per l'allenamento . Avevamo bisogno di immagini grezze di tutte le materie e tipi, molte delle quali. Abbiamo cercato su internet, abbiamo pregato le persone di permettere alla nostra macchina di vedere le loro immagini RAW, abbiamo tirato fuori tutte le nostre foto delle vacanze, abbiamo sparato di più. Alla fine, abbiamo creato il set di immagini RAW più completo che io conosca nei campi di deep learning.

Un'architettura di rete neurale adeguata e il metodo per addestrarlo . Per questo, abbiamo sfruttato la nostra precedente ricerca sul sovracampionamento dell'immagine (Topaz AI Gigapixel) e la riduzione del rumore (Topaz AI Clear) e abbiamo utilizzato la nostra collaudata architettura di rete neurale. Siamo andati ben oltre, e lo abbiamo reso ancora più profondo - oltre 30 strati di neuroni.Abbiamo anche investito in grandi server GPU e li abbiamo eseguiti per mesi alla volta per consentire alla rete di apprendere lentamente dal nostro ampio set di dati RAW.

Esegui la rete neurale profonda abbastanza velocemente su un PC . Abbiamo continuato a perfezionare il nostro motore di inferenza di rete neurale proprietario basato su GPU per consentirgli di funzionare in modo accettabile su almeno PC di fascia media.

Dopo mesi di allenamento e un sacco di nottate per il nostro team, siamo orgogliosi di presentare il nostro nuovo software " Topaz JPEG to RAW AI ." Guardate indietro alla Figura 1: l'immagine giusta è un'immagine RAW di alta qualità, l'immagine a sinistra è JPEG compresso con "quality = 15", quello centrale è il JPEG dopo essere stato migliorato da "Topaz JPEG to RAW AI". Questo è un caso estremo e l'output non è del tutto "RAW", ma l'intelligenza artificiale fa un lavoro davvero impressionante dato che il JPEG è estremamente compresso e ha perso quasi tutti i dettagli.

Nel complesso, la mia scheda punteggi per il nostro attuale tentativo di utilizzare l'intelligenza artificiale per migliorare il JPEG è riassunta di seguito:

Ecco alcune altre immagini da confrontare.

Rimuovi gli artefatti da compressione:

Recupera i dettagli e affina:

Rimuovi rumore:

I JPEG migliorati ora sono di qualità RAW? Questo è per te da giudicare. Continueremo a lavorare per migliorarlo. Ti invitiamo a provare JPEG a RAW AI sulle tue immagini scaricando la versione di prova gratuita . 

Posted on 03/02/2019 by Fotografia e Tendenze 0 152

Leave a CommentLeave a Reply

Latest Comments

No comments