繼AI生成二次元頭像之后，新一代線稿上色AI來襲

雷鋒網(wǎng) AI科技評論按：本文作者一秒一喵，原文載于其知乎主頁，雷鋒網(wǎng) AI科技評論獲其授權發(fā)布。

預覽視頻：

視頻鏈接（https://www.bilibili.com/video/av14443094/）

項目主頁：

lllyasviel/style2paints（https://github.com/lllyasviel/style2paints）

這里做一個簡單的示范，為了防止線稿的主觀挑選，我先貼一下現(xiàn)在的時間：

然后就在這個時間，我上谷歌圖片搜索關鍵詞“Anime Sketch”（動漫線稿），結果在這里：

然后我直接下載第一個結果，不含挑選的成分，這個圖片下載下來是這樣的：

然后我們的AI需要用戶輸入一些風格圖片，不限制內(nèi)容，只要顏色比較好看，色域比較寬泛即可。我在桌面上新建了一個文件夾，里面從我的個人收藏中隨便選了9張色彩各不相同的圖片給AI參考，截個圖：

然后我直接把這九個圖片和上面那個線稿丟到AI里面，一共點擊9次上傳按鈕，9次上色按鈕，大約10分鐘后，我有了9張線稿的不同色彩構圖。

這九個結果和我上面那個文件夾里面的九個參照圖片一一對應，有興趣可以來回翻看。看看AI遷移了哪些信息。

因為是在知乎上面發(fā)帖子，所以這里多說一些學術上的突破，具體效果在上面那個視頻里面，請一定要看視頻，看視頻，看視頻。

1. 我們成功實現(xiàn)了基于語義信息遷移的顏色提示，這個技術使得上色的色彩變得很和諧。這個技術最早是2017年1月左右早稻田和UCB都有相關研究的一個應用于黑白照片上色的trick。但是anime線稿上色是非常非常嚴酷的挑戰(zhàn)，很多機構都有所嘗試，包括今年六月的DWANGO（niconico的母公司）,東大在內(nèi)的一些機構都嘗試了遷移式上色，但是都停留在了從結果里面精挑細選的程度，并不能直接運用起來。我們實驗室研究了很久嘗試了幾乎全部生成模型，最后終于組織了一種可以駕馭這個訓練的對抗游戲，具體的內(nèi)容會在后續(xù)的論文里面詳細說明。

2. 基于語義信息遷移的顏色提示對于anime線稿上色有很重要的意義。一方面解決了“用戶的提示越多，結果越難看”以及“我調(diào)了半天結果還沒有一開始的結果好看”的問題，另一方面大大提高了產(chǎn)率。目前我們可以做到在短時間內(nèi)針對同一個線稿生成大量各不相同的，合理的色彩構圖，這將有利于那些把神經(jīng)網(wǎng)絡作為一個構圖工具或者顏色草稿的畫師。詳情可以看上面那個視頻。

3. 我們的正式APP會在一段時間后（由于我們比較窮租不起超級貴超級貴的GPU服務器，可能是一段很長的時間后）上線，但是如果你是reseacher，你可以直接在我們的項目主頁里面獲取代碼來一睹為快。另外我們還有擴大數(shù)據(jù)集的計劃，所以商業(yè)APP可能需要等待了。但是這僅僅是財政問題，我們的學術代碼，模型等資料完全公開，如果你有興趣贊助或者你有GPU服務器空閑準備低價外租，請務必聯(lián)系我們，加視屏最后的那個群就好了。

4. 如果您在看完視屏或者了解了我們的項目之后立刻就想要獲得paper，有一篇paper介紹了我們在今年6月份之前的所有技術，收錄在ACPR2017，詳情可以到github上面找到。但我們更希望向外界介紹一些近期的新研究發(fā)現(xiàn)，新的論文成文后會發(fā)到github上面。論文：Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN；地址：https://arxiv.org/abs/1706.03319

5. 我們有自信認為我們是目前是所有開源的anime上色模型里面的非常優(yōu)異的（paintschainer已經(jīng)閉源了模型數(shù)據(jù)；傳統(tǒng)方案不在我們的比較范圍內(nèi)）。并且我們認為我們最新的模型對于paintschainer的最新模型也是可以一比的，尤其是我們在遷移順利的時候效果是比以前的模型有很大提升的。

-------------------第二天來更新-------------------

贊超過兩百了，謝謝大家的贊，我再發(fā)一點我今天的畫作吧。

首先這是找到的線稿：

這是我用到的風格圖：

這是結果：

評論里面有問起當輸入或者輸出非常復雜的情況會怎么樣，情況是這樣的，隨著線稿和風格圖變得復雜，成功上色的概率會逐漸降低，如果線稿或者風格圖片復雜到人眼都看不清那里是臉哪里是手，就會非常難以上色，我們的github里面有一個issue就是專門針對上色失敗問題的，等程序上線之后，您也可以幫助我們收集，來改善我們的模型。

-------------------第三天來更新-------------------

說一點技術上的事情：

不知道是什么時候開始的，關于圖像處理出現(xiàn)了一個套路，就是用ResNet堆砌網(wǎng)絡深度，然后就可以量產(chǎn)出論文，最近有很多類似的文章。我們的模型里面沒有ResBlock。我們使用的是特別適合線稿上色的，一種變種Inception。

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。