Come la modalità Portrait Light di Google Pixel trae vantaggio dall'AI

Come la modalità Portrait Light di Google Pixel trae vantaggio dall'AI

di Mattia Speroni, pubblicata il

“La funzionalità Portrait Light annunciata con gli ultimi smartphone Google Pixel è un complesso insieme di algoritmi ed elaborazione tramite Intelligenza Artificiale e sistemi di apprendimento. Ecco, in breve, come funziona.”

Google Pixel 5 e Pixel 4a (5G), annunciati a Settembre (non è previsto il loro arrivo ufficiale in Italia), sono gli ultimi smartphone della società statunitense. Ora, grazie a un post sul blog ufficiale dedicato all'Intelligenza Artificiale, possiamo avere nuove informazioni riguardo alla modalità Portrait Light integrata nell'app Foto. Dietro quella che sembra soltanto una funzionalità banale, si nasconde un grande lavoro da parte degli ingegneri.

google pixel phone

La modalità Portrait Light di Google Pixel 5 e Pixel 4a (5G)

Tra le novità annunciate con l'arrivo di Google Pixel 5 e Pixel 4a (5G) troviamo la Portrait Light che riprende un concetto simile a quanto visto su iPhone da qualche tempo. Si tratta della possibilità di dare un'illuminazione diversa quando si sta scattando un ritratto a una persona. Anziché sfruttare faretti o luci "reali" si utilizzano algoritmi e l'Intelligenza Artificiale per modificare l'immagine.

Come spiegato da Google, in realtà quando si scatta con gli ultimi modelli (Pixel 4, Pixel 4a, Pixel 4a (5G) e Pixel 5) la funzionalità Portrait Light viene automaticamente utilizzata nelle modalità base e in quella notturna quando è presente almeno una persona nella scena. Grazie al machine learning e a un nuovi modelli di apprendimento è stato possibile anche inserire una luce dinamica posizionabile a piacere dall'utente. Gli algoritmi utilizzati permettono di avere una luce virtuale che illumina la scena "come avrebbe fatto un fotografo professionista" e una illuminazione aggiuntiva in post-produzione per migliorare la bellezza della fotografia.

L'illuminazione automatica della scena e del soggetto

Per permettere a Google Pixel di capire come illuminare una foto automaticamente si è fatto ricorso alle stesse tecniche applicate dai fotografi valutando direzionalità della sorgente luminosa e impatto che questa ha sul soggetto.

google pixel

Inizialmente viene valutata l'illuminazione di base della scena con le varie fonti luminose. Per farlo è stato necessario realizzare dei modelli ad hoc prendendo come riferimento il volto di una persona per determinare parte delle informazioni. A questo punto si considera quanto fatto in studio dove la luce principale è posizionata a 30° sopra la linea dell'occhio e a 30°/60° fuori asse rispetto alla fotocamera. Questo viene applicato anche nelle fotografie con la modalità Portrait Light.

La luce direzionale e l'elaborazione dell'immagine

Una volta completato il passaggio precedente si è passati all'illuminazione direzionale. L'Intelligenza Artificiale è stata "allenata" grazie a coppie di fotografie sia con che senza illuminazione aggiuntiva. Per avere dati di partenza affidabili, Google ha utilizzato 70 persone con diverse fisionomie e le ha fotografate con un sistema particolare.

google pixel

Il set comprendeva 64 fotocamere posizionate (a sfera) intorno al soggetto e 331 sorgenti luminose LED diverse. Sono state catturare quindi diverse fotografie, una per ogni fonte luminosa che veniva accesa singolarmente. Sono stati poi generati ritratti digitali simulando le diverse condizioni di illuminazione avendo così a disposizione milioni di immagini campione senza effettivamente avere bisogno di milioni di soggetti in condizioni di luce diverse.

google pixel phone

Il risultato delle singole fotografie con una sola fonte di illuminazione alla volta.

L'elaborazione utilizza un'immagine campione a bassa risoluzione dove viene applicata la fonte luminosa e una volta eseguiti i calcoli per capire l'effetto che avrà viene poi sovracampionato sull'immagine ad alta risoluzione. Questo permette di avere un'ottimizzazione dell'analisi dei dati e un minore impatto prestazionale. Le analisi tengono anche conto delle differenze di riflessione della luce in base all'opacità o meno del materiale rendendo quindi più realistica la luce artificiale. L'ottimizzazione ha portato l'intero processo ad avere un modello completo entro i 10 MB e a essere impiegabile su dispositivi come Google Pixel.


Commenti