生成式 AI 無敵了: 大神微調(diào)?Stable Diffusion，打造神奇寶貝新世界

不再依賴提示庫，輸入任意文本都可生成。

作者 | 李梅、施方圓

編輯 | 陳彩嫻

作為一個強(qiáng)大、公開且足夠簡單的模型，最近大火的 Stable Diffusion 在文本生成圖像之外，給了大家無限的創(chuàng)作可能性。

最近，來自 Lambda Labs 的機(jī)器學(xué)習(xí)研究員 Justin Pinkney 對該模型進(jìn)行了微調(diào)，構(gòu)建了一個神奇寶貝生成器！

來看一些有趣的例子~

下圖是輸入名字后生成的一些神奇寶貝：戴珍珠耳環(huán)的少女、奧巴馬、特朗普、鮑里斯·約翰遜、龍貓、Hello Kitty。

Lady Gaga、鮑里斯·約翰遜、普京、默克爾、特朗普、柏拉圖：

耶穌基督：

除了現(xiàn)有的角色和公共人物，你還可以輸入一個描述來生成自己想象的神奇寶貝：骷髏祭司

你也可以輸入自己的姓名或網(wǎng)名，生成屬于自己的神奇寶貝形象。這可太酷了，推特上的網(wǎng)友紛紛用自己的名字展開創(chuàng)作，看看自己如果變成神奇寶貝會是什么樣子。

圖注：網(wǎng)友 Jo Barf Creepy 的神奇寶貝形象

圖注：網(wǎng)友 Elizabeth Holmes 的神奇寶貝形象

圖注：網(wǎng)友 Upbeatblue 的神奇寶貝形象

圖注：網(wǎng)友 Onion-sama 的神奇寶貝形象

輸入一些漫畫角色的名字也可以獲得相匹配的神奇寶貝：

而那些陪伴人們童年的神奇寶貝在這個生成器中也有了新的樣貌：皮卡丘、妙蛙種子、噴火龍、樹才怪、路卡利歐、夢幻。

1

神奇寶貝生成器是如何“生成”的

Pinkney 在推特上展示了這個神奇寶貝生成器的訓(xùn)練過程。

傳送門：https://github.com/LambdaLabsML/examples/tree/main/stable-diffusion-finetuning

他表示，Stable Diffusion 是一個很好的通用模型，但要獲得特定風(fēng)格的輸出不是件容易的事，這通常需要做大量枯燥的工作，制作復(fù)雜的文本提示庫，或者你也可以偷懶只對圖像生成模型進(jìn)行微調(diào)。

Pinkney 在神奇寶貝圖像的數(shù)據(jù)集上對初始的 Stable Diffusion 進(jìn)行了微調(diào)。

首先是構(gòu)建一個數(shù)據(jù)集。數(shù)據(jù)集包含神奇寶貝圖像和對應(yīng)的文本描述，比如妙蛙種子被描述成“一個紅眼睛的綠色神奇寶貝圖像”，綠毛蟲則被描述為“一個長著紅鼻子的綠黃兩色玩具”。

圖注：神奇寶貝數(shù)據(jù)集

當(dāng)然，這些描述不是人工完成的，而是使用了神經(jīng)網(wǎng)絡(luò)來代勞，即圖像描述模型 BLIP。雖然這些描述還不是十分完美，但也足夠用了。

然后，他在 A6000 上只花費(fèi)了幾個小時對 AI 模型進(jìn)行訓(xùn)練，讓模型學(xué)習(xí)以神奇寶貝的風(fēng)格來生成圖像，但將先前的知識保留一段時間，最終對數(shù)據(jù)集產(chǎn)生過擬合。

開始時，樣本是正常圖像的樣子，然后逐漸獲得神奇寶貝的風(fēng)格，隨著訓(xùn)練的繼續(xù)，最終呈現(xiàn)一個與原始提示不同的神奇寶貝圖像：

這是一種很簡單的微調(diào)，但它運(yùn)行得非常好。有了這樣一個微調(diào)后的模型，無論你給它什么提示，它都會生成神奇寶貝。所以不必再煞費(fèi)苦心地想提示語了。

在創(chuàng)建神奇寶貝時，你可以選擇輸出多個：

圖注：帶翅膀的機(jī)械貓

Pinkney 表示，歡迎大家用更復(fù)雜的方式把這個模型專門地用在新領(lǐng)域。像這樣的小工具就是 Stable Diffusion 這類 AI 模型開源好處的體現(xiàn)。

2

One more thing

這個模型在網(wǎng)上引起創(chuàng)作熱潮后，Pinkney 又發(fā)布了一篇博客補(bǔ)充了一些額外的工作細(xì)節(jié)。

他發(fā)現(xiàn)，令人驚訝的是，這個模型竟然設(shè)法記住了初始 Stable Diffusion 的一些通用知識，而它只是在一個有限的數(shù)據(jù)集上訓(xùn)練了幾千步。但是，對神奇寶貝進(jìn)行微調(diào)時，模型實(shí)際上很快就會開始過度擬合，如果只是以一種簡單的方式從中采樣，模型就會為新的提示生成胡言亂語式的神奇寶貝，也就是說，它已經(jīng)災(zāi)難性地遺忘了它所訓(xùn)練的原始數(shù)據(jù)）。但是 Stable Diffusion 在訓(xùn)練期間保持模型的指數(shù)移動平均 (EMA) 版本，通常用于推理。

因此，如果使用 EMA 權(quán)重，我們實(shí)際上是在使用原始模型和微調(diào)模型的平均值。事實(shí)證明，這對于生成神奇寶貝而言是必不可少的。此外，你還可以通過直接將新模型與初始模型的權(quán)重進(jìn)行平均來微調(diào)效果，以控制生成神奇寶貝的數(shù)量。微調(diào)和對模型進(jìn)行平均的操作可以將原始內(nèi)容與微調(diào)后的風(fēng)格有效混合。

圖注：左邊是完全微調(diào)的模型，右邊是只微調(diào)注意力層的模型。

另外，你也可以凍結(jié)模型的不同部分來進(jìn)行微調(diào)，比如上圖是兩種微調(diào)方式的生成效果，可以看到，只微調(diào)了注意力層的模型可以生成更正常的 Yoda，但并不太擅長制作神奇寶貝。

參考鏈接：https://www.justinpinkney.com/pokemon-generator/

更多內(nèi)容，點(diǎn)擊下方關(guān)注：

掃碼添加 AI 科技評論 微信號，投稿&進(jìn)群：

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。