Facebook開源VoiceLoop，根據(jù)開放場(chǎng)景語(yǔ)音文字合成新語(yǔ)音

雷鋒網(wǎng) AI科技評(píng)論消息：Facebook研究員近日開源了他們?cè)诮衲昶咴掳l(fā)表的一篇論文（Voice Synthesis for in-the-Wild Speakers via a Phonological Loop）中的語(yǔ)音合成方法。

在論文中，他們提出了一種新的文字轉(zhuǎn)語(yǔ)音的神經(jīng)網(wǎng)絡(luò)方法，可以將從開放場(chǎng)景下采樣到的聲音中提取的文字轉(zhuǎn)化為語(yǔ)音。不同于其他的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，這種方法能夠處理從公開演講中提取出來的非約束性的樣本，而且網(wǎng)絡(luò)架構(gòu)比現(xiàn)存的解決同樣問題的架構(gòu)要簡(jiǎn)單。它基于新的移位緩沖內(nèi)存儲(chǔ)器區(qū)（shifting buffer working memory），這個(gè)緩沖區(qū)也可以用于評(píng)估注意力，計(jì)算輸出音頻，以及自身的更新。

通過使用與上下文無關(guān)（ context-free）的查找表對(duì)輸入語(yǔ)句進(jìn)行編碼，該表的每個(gè)條目包含一個(gè)字符或音素。同樣，能通過一個(gè)短向量來表示說話者，這個(gè)短向量也適用于新說話者。而且在生成音頻之前，優(yōu)先準(zhǔn)備好緩沖區(qū)可以使生成的語(yǔ)音具有可變性。

上圖為實(shí)驗(yàn)樣例中生成的注意力圖，X 軸是輸出時(shí)間（聲學(xué)樣本），Y 軸是輸入（文本／音素）。

代碼地址：https://github.com/facebookresearch/loop

論文地址：https://arxiv.org/abs/1707.06588

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。