0
雷鋒網AI科技評論按：近日在上海舉辦的世界人工智能大會（WAIC）TensorFlow 峰會中，「巴赫涂鴉」（ Bach Doodle）的創作者 Anna Huang（黃成之） 現身會場，詳細講解了「巴赫涂鴉」背后音樂生成的技術原理及相關研究，包括能在任意涂白處填充曲調的 Coconet算法，以及能夠生成長時段樂曲的Music Transformer算法。
音樂生成（Music/MIDI Generation），作為一個研究領域盡管小眾，卻歷史悠久，過去主要用遺傳算法、專家系統等來實現，近幾年基本都用深度學習研究。
像深度學習下的大多數研究一樣，當下的音樂生成技術取得了巨大的進步，然而離自動創作出一部優美的音樂還有很大的距離。
Anna Huang作為一個作曲家兼AI研究員對音樂生成技術的定位是：人類作曲的好幫手。
Anna 出生在香港，卻成長于美國。從小她接受了嚴苛的藝術教育，但她的矛盾在于一方面喜愛音樂，而另一方面卻備受枯燥的音樂考試及音樂創作中的重復性工作的折磨。幸運的是，她的父親是大學的計算機教授，對于用計算機代替人類重復性的勞動，Anna 有著“天然”的興趣。[1]
Anna認為「我們上課，或者向作曲家學習的，應該是學習怎樣去表達我們想表達的東西，去尋找我們到底想說的是什么」[1]。
2006年，在加州大學讀書期間，Anna自編程序完成了她人生第一個音樂與計算機結合的學術課題——Palestrina Pal，這是一款基于Java的分析工具，幫助檢測學生模仿文藝復興時期作曲名家帕萊斯特里納的作曲風格時是否存在語法、風格和規則不符的問題。
隨后Anna 先后在麻省理工學院媒體實驗室和哈佛大學拿到了相關專業的碩士和博士學位，并最終于2016年加入 Google Brain 中著名的 Magenta 團隊，這是一支專注于音樂和藝術生成的團隊。
2019 年 3 月 21 日，為紀念作曲家約翰·塞巴斯蒂安·巴赫誕辰 334 周年，Google 上線了首款基于 AI 技術的巴赫誕辰紀念 Doodle「巴赫涂鴉」。這是一款交互式的小程序，用戶在五線譜上用鼠標隨意點擊譜寫一段音樂，點擊「和聲」（Harmonize），幾秒之后 Doodle 背后的機器學習算法就會根據用戶輸入的旋律，生成一段巴赫風格的協奏小曲。
巴赫涂鴉僅在谷歌搜索首頁上線兩天，但全球范圍共創作了多達5500萬首旋律，累積作曲時長達350年。[2]
巴赫涂鴉背后的核心算法，正是Anna Huang等人提出的Coconet。
論文：Counterpoint by Convolution
論文地址：https://arxiv.org/abs/1903.07227
Coconet，其名字或許來源于“Counterpoint by Convolution”，因此可以認為是“卷積對位網絡”。它的基本功能就是將一個不完整的樂譜填寫完整。例如為了訓練它，要先隨機擦除樂譜中的一些音符，然后網絡以殘缺的部分為基礎，通過卷積的方法重建整個樂譜，通過與原來的樂譜對比來逐漸提升學習性能。這樣便可以得到一個能夠補全任意不完整輸入樂譜的模型。
事實上，這種想法來源于對人類作曲的觀察。傳統音樂生成算法模型往往是將生成任務分解為按時間順序排列的過程，從頭到尾一次性構成一首音樂。但是人類作曲家卻并不是這樣，而常常是以非線性的方式來編寫音樂，在這里或哪里涂涂改改，重新審視之前寫過的章節等。Coconet正是為了更好地近似這個過程而提出的。Anna表示，「很多時候我們寫音樂或者寫文章，并不是從頭到尾一氣呵成，而是會有很多次修改、很多跳動，這個模型創作的方式也是這樣，一開始先寫一個比較粗糙的稿，然后慢慢決定每一個地方的細節，再去修改?！?/p>
Anna等人選擇了巴赫的眾贊歌作為 Coconet 模型的訓練數據。之所以選擇巴赫作品，主要是因為它簡單，這些曲目都是類似《安魂曲》這樣比較安靜的作品，總是四聲部，而且結構化的特點較為明顯。此外，就是對位（即當我們在同時寫一個復雜的旋律時，如何讓這段旋律和諧好聽，這也是學生在學習作曲和樂器演奏要學的第一件事情），音樂不僅僅是旋律，更重要的是如何將許多條線和諧地組合到一起，而巴赫的音樂正是有這樣需要多個旋律相互對位的曲子。
然而需要注意，巴赫的眾贊歌只有306首，這個數據體量對于當前深度卷積網絡來說太小了。不過正如剛才提到的“隨機擦除”解決了問題，事實上通過“隨機擦除”部分音符，Anna等人能夠獲得近乎無限大小的訓練數據集。
針對樂譜的表示，Anna認為“樂譜”是一個三維物體。首先，巴赫的合唱包括四種聲音：女高音（Soprano）、女低音（Alto）、男高音（Tenor）和男低音（Bass）。此外，每種聲音都是一個二維數組：以（離散的）時間為行數據，以音高為列數據。因此對于每個時刻點的每種聲音，都有一個one-hot的基音向量，除了表示正在唱的向量元素為 1外，其余元素都為0。在存在不確定的情況下（例如模型生成時），這個基音向量將包含基音上的分類概率分布。
隨后他們將每種聲音作為一個通道，將時間和音高構成二維卷積空間，三者共同構成卷積特征圖。
注意，由于他們輸入模型的樂譜是不完整的，于是他們為每種聲音都提供了一個額外的掩膜通道，這是一個二進制值，用來指示每個時間點該聲音的音高是否已知。因此進入模型的是一個八通道特征圖。
接下來就是一個非常簡單的卷積神經網絡了，它具有批標準化和殘差連接。對于使用 tensorflow.js 實現在瀏覽器中運行模型的 Doodle，可以通過切換到非縱向可分離卷積來加快計算速度。與常規的卷積網絡不同的地方是，這里將空間軸上的卷積和跨越通道混合區分了開來，這樣一來，它需要的參數就會更少，因此也更適合在瀏覽器中加速。
模型生成的結果將再次是一堆樂譜，每個聲音一個，但這次包含了在刪除音符的音高上的概率分布。 該模型使用給出的音符來試圖找出被刪除的音符，從而導致在每個時間點由每種聲音演唱的音高上的分類分布。
研究人員通過訓練模型，來提高音高分配給真正的音符的概率。這個過程就類似于人類作曲，促使模型去理解它所接收的不完整樂譜的音樂含義——現在用的是什么音調，用的是什么樂器，下一個音符是什么，前面的音符是什么？
一旦模型得到訓練，就可以從模型產生的概率分布中提取音樂。我們可以根據每個音符的分布對每個音符進行采樣。然而，這不能解釋被采樣音符之間的相互作用。通常，確定其中一個音符會改變其他音符的分布。
計算這些交互作用的一種方法是對其中一個音高進行采樣，將其添加到不完整的樂譜中，然后再次通過模型傳遞結果，再重新計算剩余音高的分布。通過重復這個過程直到所有的音符都確定，團隊在考慮所有的關聯關系的同時完成樂譜。
實際上，他們采用的方法更加強大：將模型的輸出視為一個粗略的草稿，然后通過反復重寫逐步細化。具體地說，他們同時對所有音符進行采樣，獲得一個完整的（但通常是無意義的）樂譜，然后將其部分刪除并再次傳遞到模型中，然后重復該過程。隨著時間的推移，需要抹去和重寫的音符越來越少。
Anna 等人在建模的過程中，每次只建模一個變量。同時，他們采用無序建模的方式，并且采用 Gibbs 采樣的方法，從多個序列中生成樂譜。因此，可以保證模型是有效的。
論文：Music Transformer
論文地址：https://arxiv.org/abs/1809.04281
但，Coconet只能生成較短的音樂片段。一首音樂往往會在不同的時間尺度上具有多個主題、短語或重復，因此對于結構復雜的長時程音樂生成一直以來都是一個巨大的挑戰。
Anna等人對此的解決之道就是引入Transformer技術，他們稱之為Music Transformer。Transformer是一種基于自注意力的序列模型，在許多需要保持長時程一致性的生成任務中取得極大的成果?！高@表明自注意力也可能適用于音樂的建?！笰nna說道。
在這項工作之前，Magenta團隊在2017年也提出了一個稱為Performance RNN算法，這是一種基于LSTM的遞歸神經網絡（RNN）算法。然而我們知道RNN（或者LSTM等）的計算限制為順序的，也就是說RNN相關算法只能從左向右或從右向左依次計算，這種機制會帶來兩個問題：
時間片t的計算依賴t-1時刻的計算結果，這樣限制了模型的并行能力；
順序計算的過程中信息會丟失，盡管LSTM等門機制的結構一定程度上緩解了長期依賴的問題，但是對于特別長期的依賴現象，LSTM依舊無能為力。
這些問題也同樣表現在音樂生成當中。
以上是基于Performance RNN針對肖邦的Black Key Etude生成的連續樂曲。雖然基于LSTM的模型能夠在幾秒左右的時間尺度上產生聽起來似乎合理的音樂，但顯而易見缺乏長期結構。這個模型似乎“忘了”它之前彈奏的什么內容。
而 Transformer能夠解決以上兩個問題。首先它使用了Attention機制，將序列中的任意兩個位置之間的距離縮小為一個常量；其次它不是順序結構，因此具有更好的并行性。
然而僅有Transformer并不夠。原始的Transformer依賴絕對定時信號，因此很難跟蹤基于相對距離、事件順序和周期性的規律。如上圖所示在這種情況下，生成的音樂后半部分完全不忍直視。
相對全局注意力：底下一行描述了內存高效“傾斜”算法，它不需要實例化R（上面一行，即O(L2D)）?；疑硎狙谀せ蛱畛湮恢谩Ｃ糠N顏色對應不同的相對距離。
Anna等人于是在Tranformer的基礎上又加入了相對注意力的概念，它能夠基于兩個token之間的距離進行調節注意力。通過這種方式，Music Transformer便能夠更多地關注關系特征。更值得強調的是，相對自注意力還允許模型生成超出訓練樣本長度的音樂，這是原始的Transformer模型無法做到的。
這是Music Transformer生成的樂曲：
把三者放在一起對比：
第一行：Music Transformer；第二行：Baseline Transformer；第三行：PerformanceRNN (LSTM)
可以看出它能夠延續樂曲一貫的演奏風格，且能生成多個主題。相比之下，Performance RNN和Transformer這兩種算法，要么完全缺乏可辨別結構，要么無法保持結構一致。
視頻文件： https://magenta.tensorflow.org/assets/music_transformer/motifs_visualization.mp4
針對相對自注意力，Anna還提供了一種可視化方法。她用弧線顯示了最后一層注意力權重，顯示過去的那些音符會影響未來。模型會將注意力集中在各種顫音塊之間，并且能夠跳過不太相關的部分。
但 Anna 也承認Music Transformer并不能達到完美，它有時會重復次數過多，部分又過于稀疏。但她希望Music Transformer能成為音樂家需要靈感時有用的幫手。這為用戶提供了一種可能性，他們可以指定開頭，并將模型作為一種創造性工具來探索一系列可能的延續?！冈囅胍粋€作曲家有一天突然沒有了靈感，那么這個時候他就可以借助于這個模型獲得一些啟發」，Anna說。
在報告之后，雷鋒網AI科技評論榮幸參與了對Anna Huang的采訪，以下是部分采訪紀要：
Anna：我們把機器學習當做是一個非常好的工具去助推和加速整個文化和音樂創造的整個過程。我們在談到機器學習如何去助推創作的過程當中，針對不一樣的人群，它是有不同的含義的。
如果說您是一個新人，機器學習可以讓你以更快的方式去了解旋律，我畫出一些旋律，機器學習會告訴你這將是什么效果，巴赫 Doodle就是很好的一個例子，能夠讓我們只需要簡單地輸入一點旋律，就可以體驗作曲的樂趣。
如果您是一個比較資深的作曲家，利用機器學習可以讓你很快做出一個小樣，先看一下這樣的創作到底是什么樣的效果，然后你再去看能做些什么調整，這樣也是很有幫助。
記者：創造力是人類對于機器最大的優勢之一，為什么人類會需要讓機器來幫忙做作曲這樣創造類的事情？
Anna：我自己是一個作曲家，我想從我個人感受談下這個問題。創作的過程可以分成兩個階段。第一個階段就是產生大量想法的階段，這個時候你需要大量的想法，為后續的創作提供靈感來源；第二階段是一個想法聚合的階段，你需要從海量的想法當中找到能夠表達你的述求的想法。在這兩個階段，機器學習都能夠給人們提供極大的幫助。試想一個作曲家有一天突然沒有了靈感，那么這個時候他就可以借助于機器學習獲得一些靈感上的啟發。而在創作中，如果要在結構層面上進行調整的話會是一個非常重復性的工作，這個時候機器學習便能夠幫上忙了，當然后續的微調還是需要由人來完成。
記者：我們研究的目標之一，是想在未來讓機器創作出完全屬于它自己的一個完整的作品嗎？
Anna：我不認為，未來我們會希望讓機器去做出它自己的音樂作品。從我作為作曲家的角度來看，音樂其實是一種溝通方式，一種表達感情和感受的方式，而作曲家是在利用自己的作品去向他的讀者或聽眾表達情感和感受。
所以我們要做的其實應該是給他們（作曲家）提供賦能的工具，讓他們可以更直接地、更好地把自己的情感和感受表達出來。
記者：目前機器創作出來的音樂的風格，跟人類有不一樣的地方嗎，還是說機器創造出來的（音樂）特別像它學習到的那些人類音樂家的風格？
Anna：談到這個問題，我想舉兩個例子來回答。
巴赫Doodle是一個很好的例子。如果你去學作曲的話，任何一個初學者都會先從巴赫的音樂去聽、去模仿，因為它有很多的規律、很多樂理包含在里面。每一個音樂的學生，在學音樂之前都要先了解這些樂理。但是機器是非常有趣的載體，它不知道這些樂理知識，它只是從它本身的學習過程中去揣測應該怎么作曲，因此它會無意識地打破很多傳統樂理上面的條條框框。機器可能會借用其他領域的內容和數據來做作曲。換句話說，某些它認為音樂性特別強的、可以放到作曲環境中表達的點，在我們人類作曲家看來可能會覺得與樂理知識相沖突、甚至格格不入。機器可以讓我們從許多不同的角度來理解作曲這件事。
再來說第二個例子，目前機器學習在作曲方面還沒有辦法做到長時程的音樂生成。比如，我要用長段音樂來表達故事，塑造一個主人公，或和我們的聽眾互動，現在機器學習還做不到。所以目前人類和機器學習，還處在一種相互訓練和相互學習的過程，一個過渡階段。這個過渡階段非常有趣。因為我們可以看到，機器認為這部分音樂性特別強，把這個元素加到創作當中；人類會覺得這違背樂理，但也有可能被激發出新的靈感來。結構化這一塊，機器學習現在還沒有辦法做得很好，但目前機器學習生成的一些結構化的數據可以幫助我們人類去做音樂創作。這整個過程是很有趣的。
記者：以巴赫 Doodle為例，要基于 TensorFlow 去做AI Doodle的話，最大的挑戰是什么？是模型數據集的建立嗎？
Anna：在做巴赫Doodle的過程中，我們遇到了很多挑戰。剛才你談到數據集的問題，就是我們遇到的第一個挑戰。因為我們只有306首巴赫的曲目來做訓練樣本，要學習一個作曲家的風格，這個數據集的規模是非常小的。我們用到了一個叫本能化，或者叫直觀化的數據采樣方式。什么意思呢？就是說我們輸入一篇樂譜時，不是從頭到尾去讀這段音節或這段旋律，而是隨機從中抽出幾塊遮蓋起來，讓機器去猜測這段旋律中空白的部分。如此一來，我們就將一段旋律，從不同角度、以排列組合的方式衍變成了許多段旋律，這就解決了我們數據集的問題。
第二個問題，是建模的問題。建模最大的挑戰在于“速度”，因為我們需要實現互動性——在瀏覽器網頁上與用戶做互動，速度非常關鍵。當你輸入一段旋律進去后，它會有很多重寫的工作。我們做了很多架構上的改進，實現了從40秒加速到現在的2秒。除此之外，我們還納入很多其他方面的技術來最終實現AI Doodle的互動效果。
記者：為什么選擇巴赫而不選擇其他一些更近現代（像施特勞斯這樣的作曲家）的作品來做這個 Doodle？因為我們知道巴赫的風格和他的旋律性是特別難的。
Anna：我們在作品選擇上是有一些篩選標準的。我們選了巴赫作品中相對簡單的作品：都是類似《安魂曲》這樣比較安靜的作品，總是四聲部，而且結構化的特點非常明顯。此外，就是對位。對位就是，當我們在同時寫一個復雜的旋律時，如何讓這段旋律和諧好聽。這是學作曲的學生都要做的第一個事情。因為音樂不僅是旋律，還是如何把很多條線和諧地組合到一起。結合到巴赫Doodle這個項目，作曲不是說我簡單把旋律寫進去，它就出一首歌，它一定是多個旋律之間相互對位，才能夠形成一個非常完整的曲子。這個是谷歌 Doodle團隊、Magenta團隊和 TensorFlow.js 合作的一個項目。剛好 Doodle團隊當時有工程師正在學習作曲，他就想說這第一個AI Doodle，能不能讓每一個人都能夠在瀏覽器上面利用機器學習來體驗作曲。這也是我們開始這個項目的初衷。
記者：目前巴赫 Doodle對創作者來說是完全免費嗎？
Anna：巴赫 Doodle是對所有人完全免費開放的。即使它現在不在Google的主頁上了，但是在存檔的網站還是可以繼續玩。此外，巴赫 Doodle背后的機器學習模型和所有的代碼也都是開源的[10]。除了提供開源的模型給創作者，我們同時也提供即插即用、與創作軟件相融合的一個功能，因此在一些傳統的、主流的音樂創作軟件中也可以使用我們的這個機器學習的算法。另外我很感興趣但還沒有做很多的一項工作是，這些模型或許會對音樂教育有所幫助，可以讓更多人擁有主動創作的體驗、去作曲，去發覺他們的興趣。
參考資料：
[1] Google 為你復活巴赫, https://mp.weixin.qq.com/s/wFcCnzRnI4mPIDOYD1X8yA
[2] Counterpoint by Convolution, https://arxiv.org/abs/1903.07227
[3] Music Transformer, https://arxiv.org/abs/1809.04281
[4] The Bach Doodle: Approachable music composition with machine learning at scale, https://arxiv.org/abs/1907.06637
[5] Coconet: the ML model behind today’s Bach Doodle, https://magenta.tensorflow.org/coconet
[6] Music Transformer: Generating Music with Long-Term Structure, https://magenta.tensorflow.org/music-transformer
[7] 詳解Transformer （Attention Is All You Need）, https://zhuanlan.zhihu.com/p/48508221
[8] 谷歌機器學習模型新進展：生成時長更長且連貫的音樂, https://cloud.tencent.com/developer/article/1380289
[9] 谷歌發布音樂 AI Doodle 慶祝巴赫生日，這里是它背后的技術, http://m.35crmo.cc/news/201904/GQYJhhj91UdjSV2P.html
[11] 巴赫誕辰紀念 Doodle, https://www.google.com/doodles/celebrating-johann-sebastian-bach
雷鋒網報道。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
