0
五花八門的APP讓人像修圖越來越簡單，磨皮、美白、亮膚都可以一鍵處理。
不過，如果把原片拍成這樣，各類APP可能就無能無力了。
圖片中人臉被大面積的陰影覆蓋，如果不想放棄原圖，只能用Photoshop等專業(yè)的修圖軟件處理。
不過，對于小白來說，Ps等軟件有一定技術(shù)難度，而且操作步驟復(fù)雜，那么有沒有一種簡單，對小白友好的處理方法呢？
近日，來自伯克利，麻省理工學(xué)院和Google Research的研究人員聲稱，他們研發(fā)出一款最新AI算法，無需Ps，在幾秒內(nèi)中就可以精準(zhǔn)去除圖像中的“不需要”的陰影部分，而且對于面部圖像的處理尤為適用。
如果打開手機相冊，你會發(fā)現(xiàn)戶外自拍照或多或少都會存在陰影問題，這是光線位置、自拍角度和周圍環(huán)境等因素造成的，比如在強光照下，周圍樹木、建筑，或者頭戴的帽子都可能在面部形成陰影。
不過，并不是所陰影都需要全部去除，比如頭發(fā)、五官的陰影會讓照片看起來更加自然美觀。
由伯克利，麻省理工學(xué)院和Google Research組成的研究團隊稱，他們開發(fā)的基于神經(jīng)網(wǎng)絡(luò)的AI模型不僅可以去除面部陰影，還可以準(zhǔn)確識別哪些是需要處理的陰影，并自動完成補光。
我們先來看一組實驗對比圖。
可以看到，該AI算法的修復(fù)效果還是非常顯著的。原圖中，人臉的三分之二全部被陰影覆蓋，修復(fù)后，陰影被大面積去除，而且基本保持了人像的原貌，看不出任何圖片修復(fù)過的痕跡。
另外，我們看到臉頰側(cè)面，眉骨下面的陰影被適度保留了。下面這幅實驗效果圖更為顯著，陰影被適度去除，并且增加了一定的光感。
研究人員稱，他們實驗發(fā)現(xiàn)，這項識別并去除陰影的AI算法在人像處理方面表現(xiàn)最佳，未來幾年，這項技術(shù)可能會被廣泛應(yīng)用到智能手機中，幫助用戶輕松處理復(fù)雜的修圖問題。
那么這項技術(shù)是如何做到呢？
研究人員稱，其方法主要依賴于一對神經(jīng)網(wǎng)絡(luò)，一個是去除外部物體投射的外界陰影（Foreign Shadows），另一個是柔化由對象特征投射的面部陰影（Facial Shadows），并添加合成補光來提高照明率。在此框架的基礎(chǔ)上，通過以下具體技術(shù)實現(xiàn)達成了圖像修復(fù)效果：
大規(guī)模訓(xùn)練數(shù)據(jù)集：用于訓(xùn)練和評估針對異物陰影，面部陰影和虛擬補光的機器學(xué)習(xí)模型。
對稱面部圖像生成：用于顯式編碼對稱提示，以訓(xùn)練面部陰影模型。
研究人員強調(diào)，他們的數(shù)據(jù)和模型獲得的肖像增強效果，在數(shù)字指標(biāo)和感知質(zhì)量方面均優(yōu)于所有基線方法。
接下來，我們來詳細介紹具體的技術(shù)原理和實驗結(jié)果。
需要說明的是，圖像中陰影的檢測和去除一直是計算機視覺研究的中心問題，傳統(tǒng)的解決方案需要手動標(biāo)記圖像中的“陰影”或“亮”的區(qū)域，然后通過全局優(yōu)化技術(shù)（例如圖形切割）來解決陰影問題。顯然這種手動方式在很大程度上限制了技術(shù)的適用性。
而本次研究的AI算法利用機器學(xué)習(xí)模型，實現(xiàn)了全自動化的陰影檢測和處理。如上文所說，這套算法解決方案分為兩個部分：一是外界陰影處理，而是面部陰影處理。
外界陰影。研究人員介紹，為了訓(xùn)練外界陰影的機器學(xué)習(xí)模型，他們構(gòu)建了一個真實人像的數(shù)據(jù)集，該數(shù)據(jù)集大約有5000張圖像，用于合成外界陰影的圖像。具體的運行過程如下圖：
圖中的輸入蒙版Min是從目標(biāo)輪廓生成的， Min經(jīng)過人皮膚的次表面散射（SS）近似生成Mss，然后根據(jù)空間變化和像素強度的變化生成M，最后由陰影蒙版M，結(jié)合原始圖形It和陰影圖像Is混合生成外界陰影圖像。
面部陰影：在這里，研究人員使用Light Stage掃描的數(shù)據(jù)集來構(gòu)建由小光源照明的輸入/輸出對，以及每張臉部可變和可補光的輸出圖像。
如圖，每個OLAT渲染的圖像與下方的光源構(gòu)成圖相對應(yīng)，隨著Key Light轉(zhuǎn)件分配給可變數(shù)量的鄰居，渲染的圖像的光照強度逐漸減弱。
另外，在這里研究人員提出一種顯式編碼面部對稱性的方法。研究人員稱，人臉的對稱性是推理光照的有用線索：人臉的反射率和幾何形狀很可能是對稱的，但是投射在人臉上的陰影很可能是不對稱的，利用這一點，將地標(biāo)（Landmarks）檢測系統(tǒng)應(yīng)用于輸入圖像，并使用恢復(fù)的地標(biāo)圖像生成輸入圖像的的鏡像版本。該鏡像圖像會附加到網(wǎng)絡(luò)中的輸入圖像中，從而允許網(wǎng)絡(luò)直接推斷出可能由于面部和外部陰影而引起的不對稱圖像內(nèi)容，進而提高性能。
對比實驗：論文中，研究人員將以上兩種方法與當(dāng)前通用的修復(fù)模型進行了比較。從比較中可以看到該模型的優(yōu)勢顯著。
在外界陰影處理方面，現(xiàn)有研究有圖像分割技術(shù)（Guo）、基于自注意機制的神經(jīng)網(wǎng)絡(luò)模型（Cun），以及基于學(xué)習(xí)的最新方法（Hu）。
研究人員選用SRD基準(zhǔn)數(shù)據(jù)集進行評估，并計算了PSNR，SSIM，以及基本事實與輸出之間的學(xué)習(xí)感知度量LPIPS。結(jié)果該模型大大優(yōu)于這些基準(zhǔn)。如下圖：
另外，從測試的圖像上來看。 Guo等方法錯誤地將深色圖像區(qū)域識別為陰影并將其刪除，同時也未能識別出真實陰影部分。Cun和Hu的深度學(xué)習(xí)方法，在正確識別陰影區(qū)域方面做得很好，但可能無法完全去除陰影，而且更改了圖像原來的整體亮度和色調(diào)。
對比之下，本次研究的模型能夠完全去除外來陰影，同時仍保留被攝體的整體外觀。
在面部陰影處理方面，研究人員與Sun等人的PR網(wǎng)絡(luò)進行比較。結(jié)果如下圖，PR-net在包含粗糙臉部陰影的圖像上表現(xiàn)不佳，并且在訓(xùn)練過程中刪除串聯(lián)的“鏡像”輸入會降低所有這三個指標(biāo)的準(zhǔn)確性。
最后要說明的是面部陰影的柔和和補光效果。輸入的圖像很可能包含粗糙的面部陰影，例如臉頰、眼睛周圍（如下圖）。從下圖可以看出，將面部陰影柔化模型與可變的“光度” M結(jié)合應(yīng)用會產(chǎn)生更柔和的圖像陰影，如bc列。
研究人員介紹稱，鏡面反射也被抑制是一種理想的攝影實踐，因為鏡面高光通常會分散和遮蓋對象的表面。此外，該模型的亮度比分量通過在此處與檢測到的琴鍵相反的方向形成的強度為訓(xùn)練中使用的最大值的合成補光度，從而降低了由面部陰影（d）引起的對比度。
不過，目前算法還是存在一定的局限性，比如模型有時無法去除雙邊對稱的陰影。因為陰影增強模型的訓(xùn)練數(shù)據(jù)是通過增加光的大小來渲染的，所以簡單的亮度設(shè)置會偏向于生成看起來模糊的圖像。
更多論文詳細內(nèi)容請參考：https://arxiv.org/pdf/2005.08925.pdf
引用鏈接：（雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)）
https://www.diyphotography.net/harsh-sunlight-no-problem-this-ai-removes-all-those-unwanted-shadows/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
