3
雷鋒網(wǎng)按：本文作者系圖普科技工程師。
在Prisma的應(yīng)用下載評論區(qū)看到這么一句好玩的話：世界一半人在用《PokemonGO》抓精靈，另一半人在用這個軟件修圖。
圖像編輯軟件早就數(shù)不勝數(shù)，比如膠片風的VSCO，拼圖美顏的拍立得、美圖秀秀，二次元卡通的魔漫相機、臉萌，自拍美顏的PICSPLAY、美顏相機，主打濾鏡相機的Roookie Cam、MIX濾鏡大師等等，這些現(xiàn)象級產(chǎn)品在這個快速迭代的時代層出不窮， 那么Prisma憑什么在這樣的環(huán)境下殺出重圍？連俄羅斯總理梅德韋杰夫都特地“翻牌”了。
首先，Prisma不是簡單地在原圖上轉(zhuǎn)換色調(diào)或者環(huán)境風格，也不只是利用普通的濾鏡來改變圖像的光線、顏色或者重疊圖片，它會根據(jù)你提供的圖片內(nèi)容和你要求的風格圖片的樣式重新“畫出”一張新的圖片，它并不一定使你變美，但它一定讓你遇見全新的自己（如下，左一為原圖）。
那么，Prisma與人工智能算法Neural art到底怎么回事？Prisma與CNN的具體結(jié)合、生成圖片的過程又是怎樣的呢？
Prisma的所做的風格轉(zhuǎn)換是機器視覺領(lǐng)域一直在研究的一個問題，稱為texture transfer (紋理轉(zhuǎn)換)，其目標為將源圖片的風格合成進目標圖片中同時保留目標圖片的語意內(nèi)容。
本質(zhì)上來說，將圖片的內(nèi)容和風格分離并不一定是一個定義明確的問題 （Well-defined problem），這是因為并不能準確定義出圖片中的哪部分屬于內(nèi)容，哪部分屬于風格，很有可能內(nèi)容與風格是交織在一起，沒有辦法進行分離。
所以圖片的內(nèi)容和風格是否可以完全分離這還是一個待解的問題，如果可以，那么用什么樣的方法呢？
Prisma背后的技術(shù)基于一篇今年CVPR oral文章 “Image Style Transfer Using Convolutional Neural Networks”。
其實早在Prisma引爆大眾市場的半年前，此方法的巧妙及其驚人效果已經(jīng)引起在學術(shù)界引起了廣泛關(guān)注。眾所周知在如今的人工智能領(lǐng)域引起革命的深度學習技術(shù)已經(jīng)將眾多任務(wù)推向了實用的水平，而Prisma用的技術(shù)也不出意外的基于深度神經(jīng)網(wǎng)絡(luò)，它的系統(tǒng)核心是利用神經(jīng)表征來分離，再組合隨機圖片的內(nèi)容和風格，以此來實現(xiàn)一個可用來描繪藝術(shù)圖像的算法。它的基本想法是利用一個多層的卷積神經(jīng)網(wǎng)絡(luò)（CNN）抽象出給定繪畫作品里一些高級的隱藏特征用來模仿繪畫風格，并把這個繪畫風格應(yīng)用到一個新的圖片上。
而在紋理轉(zhuǎn)換領(lǐng)域，之前傳統(tǒng)方法之所以沒能取得這么驚人的效果，其本質(zhì)原因在于之前非深度學習的方法只能獲取到目標圖片低層次的圖片特征，這導致這些方法無法獨立的對圖片的語意內(nèi)容和風格的變化進行有效地建模，從而無法很好地對兩者進行解耦和合成。
而深度神經(jīng)網(wǎng)絡(luò)之所以可以在眾多領(lǐng)域中取得驚人效果，正是由于其可以抽取出高層次的信息表征。Prisma所使用的方法之所以能成功，就是很巧妙地利用了深度神經(jīng)網(wǎng)絡(luò)抽取高層圖片表達的能力，能在幾十秒內(nèi)把一張普通的照片轉(zhuǎn)變成一副極具藝術(shù)特色的現(xiàn)代畫作或者西方名畫風格作品。
下面將采用論文中的兩個示意圖完整剖析其中的奧妙。
正如上文所說，風格轉(zhuǎn)換需要對圖片的內(nèi)容和風格進行單獨地表示，上圖中的分別將源圖（風格提供方）和目標圖（內(nèi)容提供方）輸入到由多層卷積層和池化層組成的深度神經(jīng)網(wǎng)絡(luò)中。對于目標圖直接使用卷積的響應(yīng)在每一層中進行重建，可視化的結(jié)果為紅色框中的結(jié)果，可以看出在低層的重建圖像幾乎和目標圖一致，而越高層網(wǎng)絡(luò)重建出來的圖像的一些細節(jié)的像素被丟棄而那些圖片高層次的語意內(nèi)容被保留。而源圖計算每一層的卷積的特征圖（feature maps）的相關(guān)系數(shù)來重建出風格的特征表示，從綠色框的可視化結(jié)果可以看出，這種抽取風格表示的方式在不同網(wǎng)絡(luò)層成功提取出不同尺度的風格特征。
上圖講解了深度神經(jīng)網(wǎng)絡(luò)如何對風格和內(nèi)容表示進行單獨的建模，接下去就可以使用監(jiān)督學習的深度神經(jīng)網(wǎng)絡(luò)進行風格的轉(zhuǎn)換了。
圖中左右兩邊的網(wǎng)絡(luò)用于抽取源圖的風格表示和目標圖的內(nèi)容表示，而中間的網(wǎng)絡(luò)用于對風格進行合成，論文使用的是白噪聲圖片作為啟始圖，思想是通過左右兩個網(wǎng)絡(luò)提供的風格和內(nèi)容表征進行監(jiān)督學習，使得輸入圖片每一層抽取出來的風格表征和高層抽取出來的內(nèi)容表征和左右兩個網(wǎng)絡(luò)相應(yīng)網(wǎng)絡(luò)層重建出來的表征越來越一致，如此通過標準的隨機梯度下降算法，不斷迭代使得白噪聲圖片變成最終想要的合成圖。
使用數(shù)學表達去描述上述思想就是需要構(gòu)造一個損失函數(shù)（紅框所示），此損失函數(shù)是由風格損失項和內(nèi)容損失項兩者線性組成，其中alpha和belta分別代表風格和內(nèi)容的權(quán)重比例，若alpha/belta高則生成圖會更凸顯出內(nèi)容而風格化會少一些，低則生成圖會風格化強烈但是內(nèi)容被稀釋，這也是Prisma提供用戶調(diào)節(jié)的原理所在。（風格損失項和內(nèi)容損失項的具體細節(jié)可以參見論文。）當有了損失函數(shù)，就可以對圖像向量求解梯度，進而使用后項傳遞算法就可以對輸入的圖像不斷進行更新從而進行風格轉(zhuǎn)換（綠框所示）。
另外，通過在提取圖像風格特征之前先改變圖像的大小，可以通過控制-style_scale參數(shù)該從圖像中提取哪種藝術(shù)特征。（三幅圖像從左到右，-style_scale＝2.0、1.0、0.5）
除此之外，Prisma還可以使用超過一種風格圖像來混合多種藝術(shù)風格。（下圖分別為："The Starry Night" + "The Scream", "The Scream" + "Composition VII"）
或者在使用多個風格圖像的時候，可以控制混合的程度來呈現(xiàn)不同的圖像類型。
還可以在保留顏色的前提下改變圖像風格，比如說，如果你設(shè)置參數(shù)-original_colors 1，系統(tǒng)輸出的圖片會保留原圖的顏色（如下圖）。
以上就是Prisma背后的全部技術(shù)原理，當我們剖析一下發(fā)現(xiàn)其實里面的原理并不復雜，對于熟悉深度學習的人來說，不出一周就可以復現(xiàn)出其中的算法。
但最重要的是體會到此算法成功的核心在于利用了深度學習網(wǎng)絡(luò)對于高層語意信息的表達能力，同時巧妙的構(gòu)造出損失函數(shù)，其他的就只是順水推舟的使用深度神經(jīng)網(wǎng)絡(luò)進行求解而已。
比如說，一定要在有網(wǎng)絡(luò)狀態(tài)較好、網(wǎng)絡(luò)較快的狀態(tài)下才可以使用順暢，因為需要在線加載繪畫風格圖像以及用戶提供的內(nèi)容圖片需要發(fā)送到遠程的服務(wù)器上進行人工智能計算后再傳回來，所以，相對其他修圖軟件，它的圖片編輯速度慢很多，一般都需要等待幾十秒才可以看到預覽效果。
另外，因為所有的圖片處理都是在云端完成，所以會有少部分用戶遇到使用人數(shù)過多，服務(wù)器過載的情況。
在Prisma出現(xiàn)之前，也有過一款基于深度學習技術(shù)的修圖應(yīng)用：deepart.io，但是deepart卻無法取得像Prisma一樣的成功。
一方面在于其處理一張圖片需要消耗大量的的GPU時間，導致了很多服務(wù)器資源開銷，如果用戶愿意承擔這部分費用，處理時間在半小時左右，如果不捐助的話，需要6個小時左右；
另一方面，deepart主要是由大學的研究員做的技術(shù)性實驗，并不會投入過多的精力，在風格圖像類型、品牌推廣和商業(yè)化應(yīng)用上考慮較少。
而Prisma通過優(yōu)化了算法，相對縮短了一大部分的操作時間，并且用戶不需要到網(wǎng)頁提交照片、不需要注冊即可免費使用35種不同繪畫風格的濾鏡，在這個移動互聯(lián)網(wǎng)的時代，這樣的移動App更受大眾歡迎。
最近，Prisma推出了Android版，這無疑會帶來更大的用戶量，日活躍度有可能超越200萬人次。據(jù)透露，“視頻濾鏡”已經(jīng)進入內(nèi)測階段，大約在一周后會發(fā)布，此外，還有可能會推出“GIF藝術(shù)濾鏡”、“視頻直播”等功能，創(chuàng)造出“流動的油畫”。
還記得在兩年前，波蘭畫家兼導演dorota kobiela以及奧斯卡獲獎制片人hugh welchman開始籌備一部專門向梵高致敬的手繪油畫電影《loving vincent》，近百名畫師經(jīng)高強度訓練并每日模仿梵高風格，目前已完成超過 5.6 萬幅繪畫作品。在這部片里，每一幅靜止的畫都是模仿梵·高繪畫風格的油畫，電影每一秒都將用到 12 幅這樣的畫，然后一系列靜止的畫組合在一起快速播放，形成動態(tài)的效果。
如果把Neural art的技術(shù)成功應(yīng)用到視頻上，這部梵高的電影再不需要如此高投入，甚至還“拍攝”任意繪畫風格的電影，將電影與藝術(shù)糅合，把自己封印在藝術(shù)品里，是件很美的事，就像蒙娜麗莎，在達芬奇的畫中，她的微笑是永恒的。人對美和永恒的追求，這也許是Prisma能這樣迅速奪取人心的深層次原因。
Prisma的意義在于以藝術(shù)的名義用流行的方式把深度學習的能力展現(xiàn)給了大眾。雖然如今眾多的人工智能公司使用AI技術(shù)去服務(wù)大眾，但像Prisma這樣如此火熱的引爆大眾對于如今人工智能技術(shù)的驚訝還十分少見。
但我想這只是一個開始，人工智能技術(shù)正在向各個領(lǐng)域進發(fā)，無論是高科技領(lǐng)域如自動駕駛，機器人，還是一些偏門的領(lǐng)域，如藝術(shù)，社會公益，都會不斷看到人工智能帶來的實惠和驚喜。
也許你第一次使用Prisma的時就被其效果深深的折服。我想說的是，你的驚訝才剛剛開始。
雷鋒網(wǎng)注：題圖來自vishwagujarat.com。本文為雷鋒網(wǎng)獨家約稿文章，轉(zhuǎn)載請聯(lián)系授權(quán)并標注出處和作者，不得刪減內(nèi)容。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
