0
雷鋒網 AI 科技評論按，2019 年 3 月21 日，google 發布了他們有史以來第一個人工智能音樂 AI Doodle ，以慶祝世界著名的德國作曲家和音樂家——Johann Sebastian Bach （巴赫）的生日！
Doodle 是 Google Magenta 和 Google PAIR 團隊合作完成的，是一種互動游戲，玩家可以創作自己選擇的兩種旋律的音樂。在按下一個按鈕之后，Doodle 會使用機器學習方法將旋律協調為到巴赫的簽名音樂風格（如果你碰巧在 Doodle 中發現一個非常特別的復活節彩蛋，那它可能是巴赫 80 年代的混合搖滾風格）。
偉大的德國音樂家巴赫
1685 年 3 月 21 日，巴赫出生在德國一個叫的 small German
小鎮。他在一個音樂大家庭里面長大：他的父親能夠用多種樂器演奏，還擔任鎮上樂隊的指揮。他的大哥也是一名音樂家，在巴赫 10
歲的時候，他們的父親去世了，從此他跟著哥哥長大。巴赫生前是一位著名的杰出風琴手，他還懂得如何制作和修復復雜的管弦樂器。
巴赫是一位多產的音樂家，他每周都可以創作一首大合唱！但同時，巴赫也非常謙遜，他把自己的成功歸功于天賜靈感和嚴格的職業道德。在他活著的時候，只有幾部作品出版，但現在世界各地存在的手稿形式的作品超過 1000 部。
隨著 19 世紀的「Bach revival」，巴赫的名聲一飛沖天，當時，音樂界開始認可和推崇他的四聲部和聲。也許衡量一個音樂家的最好標準是他對其他藝術家的影響，幾個世紀以來一直如此。
然而，音樂家并不是唯一受巴赫音樂影響的人。在「旅行者 2 號」太空探測器發射后，科學家兼作家 Lewis Thomas 建議人類將他的音樂傳播到太陽系的最外層。「我建議使用巴赫的音樂，所有巴赫的音樂，」他寫道。
更多關于巴赫的傳奇故事，可以點擊下面的鏈接查看：https://artsandculture.google.com/exhibit/OwIihCfnO_8ZJQ
Doodle 背后的故事
我們可以先看看下面的視頻，了解關于 Doodle 誕生的故事。
開發 Doodle 的第一步是什么呢？那就是創建一個機器學習模型來驅動它。傳統的計算機編程是通過制定制定一套規則讓計算機拿出答案，但機器學習是通過學習大量的示例，讓計算機學會拿出自己的答案的過程。今天 Doodle 中使用的模型是由 Magenta 團隊的 Anna Huang 開發的，她開發了 Coconet，這是一種多功能模型，可以用于各種音樂任務，如協調旋律或從頭開始作曲（請在 Magenta 的博客中查看更多這些技術細節）。
具體來說，Coconet 接受了 306 次巴赫的合唱協調訓練。巴赫的合唱團總是有四個聲音，每個聲音都有自己的旋律線，同時在一起演奏時能創造出豐富悅耳的和聲。這種簡潔的結構使它們成為機器學習模型的良好訓練數據。
PAIR 團隊使用了 TensorFlow.js 使得機器學習能夠完全在 Web 瀏覽器中進行，而需要像傳統機器學習那樣使用大量的服務器運行。如果某人的計算機或設備可能不夠快，無法使用 tensorflow.js 運行 Doodle，Doodle 還可以與谷歌的新 Tensor 處理單元（TPUs）一起使用，這種方法就是在數據中心快速處理機器學習任務。
這些組件與 Doodle 團隊的藝術和工程相結合，創造了我們今天看到的 Doodle。
Bach Doodle 背后的 ML 模型
Doodle 背后的機器學習模型是 Coconet。3 年前，當 Magenta 團隊成立時，他們開始研究這個模型。當時他們只使用機器學習（ML）來生成旋律。寫一個好的旋律很難，更不用說旋律協調了。像每個音樂學生一樣，他們想到了巴赫的音樂！使用巴赫的 306 個合唱協調數據集，他們能夠訓練機器學習模型，以巴赫的風格生成復調音樂。
Coconet 被訓練從殘缺片段中恢復巴赫的音樂：團隊從巴赫的音樂里面取一個片段，隨機刪除一些音符，然后讓模型根據上下文推測出缺失的音符。其結果是一個通用的對位模型，接受任意不完全的樂譜作為輸入，計算出完整的樂譜。這一設置涵蓋了各種各樣的音樂任務，例如協調旋律、創建平滑過渡、重寫和細化現有音樂以及從頭開始創作音樂。
傳統的模型通常是按照從開始到結束的時間順序生成音符，而 Coconet 可以從任何時間開始，以任何順序開發音符。這種靈活性使得它成為輔助合成過程有效的工具。音樂家們將這一點用到他們的工作流程中的一種方法是反復讓 Coconet 填寫分數，每次都保留好的內容并刪除其余的內容。事實上，這就是 Coconet 的內部工作機制：它在循環中生成材料，反復重寫和刪除自己的工作。它從粗略的想法開始，然后反復計算出細節，并把材料調整成一個連貫的整體。
模型的工作原理
Coconet 獲取不完整的樂譜并補充缺失的部分。為了訓練它，團隊從巴赫的四段對位合唱集里面選出一段，隨機刪除一些音符，并要求模型重建刪除的音符。巴赫的作曲和 Coconet 的作品之間的差異給了他們一個學習信號，通過這個信號他們可以訓練自己的模型。
通過隨機刪除音符，團隊希望得到一個能夠處理任意不完整輸入的模型。它相當于一次訓練多個模型，每個模型都適用于不同的場景。
在團隊看來，「樂譜」是三維物體。巴赫的合唱是為四種聲音而創作的，分別是女高音（S）、中音（A）、男高音（T）和低音（B）。每個聲音的音樂都用鋼琴曲來表現：一個二維數組，其時間（離散）為行數據，音高為列數據。我們假設每種聲音在任何給定的時間都只唱一個音調。因此，通常對于每種聲音，在每個時間點，他們都有一個 one-hot 基音向量，除了一個單獨的表示正在唱的音高的向量外，其元素都為零。在存在不確定性的情況下（例如，在模型輸出中），該基音向量將包含基音上的分類概率分布。
團隊把這一疊鋼琴視為卷積特征圖，時間和音高構成二維卷積空間，每種聲音都提供一個通道。由于他們將要輸入模型的音符不完整，于是他們為每種聲音提供一個額外的掩膜通道：二進制值指示每個時間點該聲音的音高是否已知。因此，進入模型的是一個八通道特征圖。
該模型是一個非常簡單的卷積神經網絡，具有批標準化和殘差連接。對于使用 tensorflow.js 實現在瀏覽器中運行模型的 Doodle，可以通過切換到非縱向可分離卷積來加快計算速度。
團隊訓練該模型，以提高音高分配給真正的音符的概率。這促使模型去理解它所接收的不完整樂譜的音樂含義——現在用的是什么音調，用的是什么樂器，下一個音符是什么，前面的音符是什么？
一旦模型得到訓練，就可以從模型產生的概率分布中提取音樂。我們可以根據每個音符的分布對每個音符進行采樣。然而，這不能解釋被采樣音符之間的相互作用。通常，確定其中一個音符會改變其他音符的分布。
計算這些交互作用的一種方法是對其中一個音高進行采樣，將其添加到不完整的樂譜中，然后再次通過模型傳遞結果，再重新計算剩余音高的分布。通過重復這個過程直到所有的音符都確定，團隊在考慮所有的關聯關系的同時完成樂譜。
但是實際上，他們采用的方法更加強大：將模型的輸出視為一個粗略的草稿，然后通過反復重寫逐步細化。具體地說，他們同時對所有音符進行采樣，獲得一個完整的（但通常是無意義的）樂譜，然后將其部分刪除并再次傳遞到模型中，然后重復該過程。隨著時間的推移，需要抹去和重寫的音符越來越少。
團隊在建模的過程中，每次只建模一個變量。同時，他們采用無序建模的方式，并且采用 Gibbs 采樣的方法，從多個順序中生成樂譜。因此，可以保證模型是有效的。具體的解析可以點擊這里查看。
via：1.https://www.google.com/doodles/celebrating-johann-sebastian-bach?hl=en
2.https://magenta.tensorflow.org/coconet
雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
