中國科學(xué)技術(shù)大學(xué)副教授凌震華：基于表征解耦的非平行語料話者轉(zhuǎn)換 | CCF-GAIR 2020

雷鋒網(wǎng)按：2020 年 8 月 7 日至 9 日，全球人工智能和機器人峰會（CCF-GAIR 2020）在深圳圓滿舉行。CCF-GAIR 2020 峰會由中國計算機學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）聯(lián)合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協(xié)辦。

從 2016 年的學(xué)產(chǎn)結(jié)合，2017 年的產(chǎn)業(yè)落地，2018 年的垂直細分，2019 年的人工智能 40 周年，峰會一直致力于打造國內(nèi)人工智能和機器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資平臺。

8 月 8 日，在由深圳市人工智能學(xué)會、CCF 語音對話與聽覺專業(yè)組協(xié)辦的「前沿語音技術(shù)」專場上，中國科學(xué)技術(shù)大學(xué)電子工程與信息科學(xué)系副教授凌震華做了題為《基于表征解耦的非平行語料話者轉(zhuǎn)換》的主題演講。

凌震華副教授

凌震華副教授主要研究領(lǐng)域包括語音信號處理和自然語言處理。主持與參與多項國家自然科學(xué)基金、國家重點研發(fā)計劃、安徽省語音專項等科研項目，已發(fā)表論文 100 余篇，論文累計被引 4000 余次，獲國家科技進步獎二等獎和 IEEE 信號處理學(xué)會最佳青年作者論文獎。在 Blizzard Challenge 國際語音合成技術(shù)評測、Voice Conversion Challenge 國際語音轉(zhuǎn)換技術(shù)評測等活動中多次獲得測試指標(biāo)第一名。

凌震華副教授現(xiàn)為電氣電子工程師學(xué)會（IEEE）高級會員、中國計算機學(xué)會語音聽覺與對話專業(yè)組委員、中國語言學(xué)會語音學(xué)分會學(xué)術(shù)委員會委員、全國人機語音通訊學(xué)術(shù)會議常設(shè)機構(gòu)委員會委員。2014-2018 年曾任 IEEE/ACM TASLP 期刊副編輯。

在演講中，凌震華副教授主要從語音轉(zhuǎn)換所基于的語料類型出發(fā)，介紹了平行語料下實現(xiàn)語音轉(zhuǎn)換的技術(shù)演變過程，并由此延伸到非平行語料下的語音轉(zhuǎn)換。

其中在平行語料條件下，傳統(tǒng)語音轉(zhuǎn)換基于 GMM （高斯混合模型）實現(xiàn)。 2013 年后深度學(xué)習(xí)技術(shù)被引入語音轉(zhuǎn)換任務(wù)，基于產(chǎn)生式訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)（Generative Trained Deep Neural Network, GTDNN）等模型相繼被提出。不過無論是 GMM 還是 DNN，都面臨源與目標(biāo)語音幀對齊過程中出現(xiàn)的誤差和不合理問題。近年來提出的序列到序列（seq2seq）語音轉(zhuǎn)換方法可以有效改善這一問題，提升轉(zhuǎn)換語音的自然度與相似度。

進一步，凌震華副教授談到了在非平行語料條件下的語音轉(zhuǎn)換，并表示這種場景普遍存在于實際應(yīng)用中，也更有難度。基于非平行數(shù)據(jù)構(gòu)造平行數(shù)據(jù)，以及分離語音中的文本與話者表征，是實現(xiàn)非平行語音轉(zhuǎn)換的兩條主要技術(shù)途徑。

隨后，凌震華副教授重點介紹了所提出的基于特征解耦的序列到序列語音轉(zhuǎn)換方法，該方法在序列到序列建模框架下實現(xiàn)語音中文本相關(guān)內(nèi)容和話者相關(guān)內(nèi)容的分離，取得了優(yōu)于傳統(tǒng)逐幀處理方法的非平行語音轉(zhuǎn)換質(zhì)量，接近使用同等規(guī)模平行數(shù)據(jù)的序列到序列語音轉(zhuǎn)換效果。

最后，凌震華副教授表示：

我們在進行語音轉(zhuǎn)換的過程中，序列到序列建模方法在時長調(diào)整、長時相關(guān)性建模等方面有其優(yōu)勢，但是將該方法從平行數(shù)據(jù)條件推廣到非平行數(shù)據(jù)條件存在挑戰(zhàn)。特征解耦是解決這一問題的有效途徑，通過序列到序列框架下的模型結(jié)構(gòu)與損失函數(shù)設(shè)計可以獲取相對獨立的文本與話者表征，進一步實現(xiàn)非平行數(shù)據(jù)條件下的高質(zhì)量語音轉(zhuǎn)換。

以下是凌震華副教授在 CCF-GAIR 2020 「前沿語音技術(shù)」專場中的演講內(nèi)容全文，雷鋒網(wǎng)對其進行了不改變原意的編輯整理：

謝謝大家，今天我的報告題目是《基于表征解耦的非平行語料話者轉(zhuǎn)換》。

之前各位老師已經(jīng)介紹了語音技術(shù)領(lǐng)域的若干研究任務(wù)，如聲紋識別、語音分離與增強等。話者轉(zhuǎn)換是一種語音生成的任務(wù)，同時這個任務(wù)也和說話人的身份信息相關(guān)——之前介紹的聲紋識別是從語音中識別身份，而話者轉(zhuǎn)換是對語音中身份信息的控制和調(diào)整。

我的報告會圍繞三個部分進行：

• 話者轉(zhuǎn)換的任務(wù)定義；

• 平行語料和非平行語料的話者轉(zhuǎn)換方法；

• 基于表征解耦的非平行語料話者轉(zhuǎn)換方法。

話者轉(zhuǎn)換，又稱語音轉(zhuǎn)換，英文名為 Voice Conversion，指的是對源說話人的語音進行處理，使它聽起來接近目標(biāo)發(fā)音人，同時保持語音內(nèi)容不變。

類比于計算機視覺領(lǐng)域的人臉替換工作，如 Deepfake 等，話者轉(zhuǎn)換是對語音信號中的說話人身份信息進行處理，其應(yīng)用領(lǐng)域包括娛樂化應(yīng)用和個性化的語音合成等。同時，身份的匿名化、一致化也會使用到話者轉(zhuǎn)換技術(shù)。

話者轉(zhuǎn)換技術(shù)經(jīng)過了從規(guī)則方法到統(tǒng)計建模的發(fā)展歷程。現(xiàn)階段的基于統(tǒng)計建模的話者轉(zhuǎn)換方法，其轉(zhuǎn)換過程通常包括三個主要步驟：

源說話人語音輸入后，首先經(jīng)過聲碼器從語音信號中抽取聲學(xué)特征，如梅爾譜、基頻等；進一步通過聲學(xué)模型P（Y|X）進行由源說話人聲學(xué)特征X到目標(biāo)說話人聲學(xué)特征Y的映射；映射得到的聲學(xué)特征最后通過聲碼器重構(gòu)語音信號。

今天我們介紹的內(nèi)容主要圍繞中間的統(tǒng)計聲學(xué)模型展開。在對于話者轉(zhuǎn)換任務(wù)的背景介紹后，下面著重介紹平行語料和非平行語料條件話者轉(zhuǎn)換任務(wù)的區(qū)別、主要方法，以及我們做過的一些相關(guān)工作。

那么什么是平行語料？

在訓(xùn)練階段，如果源和目標(biāo)兩個說話人朗讀過同樣的文本，就可以得到他們之間的平行語料。基于平行語料，可以直接建立轉(zhuǎn)換模型描述兩個說話人聲學(xué)特征之間的映射關(guān)系。在轉(zhuǎn)換階段，輸入新的源說話人聲音，就可以通過轉(zhuǎn)換模型進行目標(biāo)說話人聲學(xué)特征的預(yù)測。

在深度學(xué)習(xí)出現(xiàn)之前，在平行語料語音轉(zhuǎn)換中，最經(jīng)典的方法是基于高斯混合模型(GMM)的方法。

其基本的策略是，兩個說話人錄制了平行語料后，考慮到兩個人的語速、停頓等不一致帶來的聲學(xué)特征序列長度差異，需要先利用動態(tài)時間規(guī)整（DTW）算法進行序列的對齊，得到等長的 X 序列和 Y 序列。接著，將每個時刻的源說話人聲學(xué)特征與目標(biāo)說話人聲學(xué)特征進行拼接，進一步訓(xùn)練得到兩個發(fā)音人聲學(xué)特征的聯(lián)合概率模型P(X,Y)。

進一步，我們由 P(X,Y) 可以推導(dǎo)出 P（Y|X）。在轉(zhuǎn)換的時候我們就可以把源說話人的聲學(xué)特征X 送到模型中，將目標(biāo)發(fā)音人聲學(xué)特征Y預(yù)測出來。使用的預(yù)測準(zhǔn)則包括最小均方誤差(MMSE)和最大似然估計(MLE)等。

不過，基于 GMM聲學(xué)建模的語音轉(zhuǎn)換質(zhì)量還是不盡如人意。一方面轉(zhuǎn)換的音質(zhì)不夠高，聲音聽起來有機械感；二是和目標(biāo)人的相似度不夠好。這些都和聲學(xué)模型的精度不足有關(guān)系。

針對以上問題，自2013年開始，深度學(xué)習(xí)被廣泛應(yīng)用與語音轉(zhuǎn)換的各個技術(shù)環(huán)節(jié)，如特征表示、聲學(xué)建模、聲碼器等。今天重點關(guān)注的是聲學(xué)模型，即如何更好的建模P(Y|X)。

現(xiàn)在來介紹我們早期所研究的一種基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的語音轉(zhuǎn)換方法，該方法使用的是逐幀轉(zhuǎn)換的DNN聲學(xué)模型。由于將DNN模型直接用于源說話人聲學(xué)特征到目標(biāo)說話人聲學(xué)特征的映射，并基于傳統(tǒng)MMSE準(zhǔn)則進行模型參數(shù)更新，所取得的性能提升有限。因此，我們設(shè)計了一種產(chǎn)生式訓(xùn)練方法，用于訓(xùn)練語音轉(zhuǎn)換DNN 模型參數(shù)。其思路是，先訓(xùn)練兩個受限玻爾茲曼機(RBM)模型，將 X 和Y分別映射到相對緊湊、高效的二值表征；然后再建立一個雙向聯(lián)想記憶(BAM)模型，描述兩個發(fā)音人二值表征間的聯(lián)合概率；最后組合RBM和BAM，形成 DNN 模型，該模型參數(shù)不再需要基于MMSE準(zhǔn)則的參數(shù)更新。實驗結(jié)果表明，該模型對比 GMM在主觀質(zhì)量上具有明顯優(yōu)勢。

不管是前面說到的 GMM 模型還是 DNN 模型，描述的都是幀到幀的映射關(guān)系，在模型訓(xùn)練階段都離不開幀對齊步驟。對齊的過程難免產(chǎn)生一些對齊的誤差與不合理的地方，這會影響語音轉(zhuǎn)換的效果。

另外，這樣的幀到幀映射模型不能轉(zhuǎn)換時長。而實際情況是有的人說話比較快，有的人說話比較慢，怎么把說話人的語速特點體現(xiàn)出來呢？

后來，我們受到序列到序列神經(jīng)網(wǎng)絡(luò)在機器翻譯、語音識別、語音合成等領(lǐng)域的應(yīng)用啟發(fā)，將序列到序列建模引入話者轉(zhuǎn)換，以改善以上問題。我們的策略是利用結(jié)合注意力機制的編碼器-解碼器模型，直接建立輸入源說話人聲學(xué)特征序列與目標(biāo)發(fā)音人聲學(xué)特征序列之間的轉(zhuǎn)換關(guān)系，中間不需要對齊操作，可以實現(xiàn)對于時長的控制和調(diào)整。將序列到序列建模用于話者轉(zhuǎn)換任務(wù)，面臨序列長度較長、數(shù)據(jù)量有限等困難。因此我們在模型結(jié)構(gòu)設(shè)計上也做了一些針對性的考慮。

這是我們設(shè)計的模型結(jié)構(gòu)。模型輸入除了從源說話人語音中提取的聲學(xué)特征序列外，還拼接了利用語音識別聲學(xué)模型提取的文本相關(guān)特征，以協(xié)助序列對齊。模型輸出就是從目標(biāo)說話人平行語句中提取的聲學(xué)特征序列。其中輸出與輸入序列長度并不一致。

模型采用結(jié)合注意力機制的編碼器-解碼器結(jié)構(gòu)。為了降低序列長度過長對于建模的影響，我們在編碼器中使用了金字塔結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)，以保證對齊效果。

以下是實驗結(jié)果。圖中橫坐標(biāo)是真實目標(biāo)說話人語音的時長，縱坐標(biāo)是轉(zhuǎn)換后的語音時長。如果語音轉(zhuǎn)換模型有比較好的時長調(diào)整效果，那么數(shù)據(jù)點應(yīng)該落在對角線上。圖中綠色點所示的是傳統(tǒng)逐幀轉(zhuǎn)換方法的結(jié)果，從中可以看出源與目標(biāo)發(fā)音人之間顯著的語速差異。紅色點對應(yīng)的是所提出的序列到序列語音轉(zhuǎn)換方法，可以看出其取得了良好的時長轉(zhuǎn)換效果。

進一步，我們來探討非平行語料條件下的語音轉(zhuǎn)換。這是一個更有挑戰(zhàn)性的任務(wù)。由于很多時候我們需要使用已有數(shù)據(jù)構(gòu)建話者轉(zhuǎn)換系統(tǒng)，因此非平行數(shù)據(jù)條件在實際應(yīng)用中普遍存在。

已有的非平行語料語音轉(zhuǎn)換大體上有兩個思路：

• 基于非平行數(shù)據(jù)構(gòu)造平行數(shù)據(jù)。構(gòu)造方法包括語音合成、幀挑選等。CycleGAN神經(jīng)網(wǎng)絡(luò)模型也可以歸入此類方法。

• 分離語音中的文本與話者表征。包括利用語音識別器提取音素后驗概率(PPG)的方法，以及基于自編碼器與變分自編碼器的方法等。

以Voice Conversion Challenge 2018 (VCC2018) 國際話者轉(zhuǎn)換評測為例。其包括兩個任務(wù)，主任務(wù)是平行數(shù)據(jù)條件，輔任務(wù)是非平行數(shù)據(jù)條件。我們針對此次評測，設(shè)計實現(xiàn)了基于PPG的語音轉(zhuǎn)換方法。該方法利用語音識別模型從源話者語音中提取瓶頸特征作為話者無關(guān)的文本內(nèi)容表征，同時利用目標(biāo)說話人數(shù)據(jù)建立文本內(nèi)容表征到聲學(xué)特征的映射模型。由于該映射模型針對每個目標(biāo)說話人分別建立，因此不需要平行語料就可以實現(xiàn)。

在VCC2018評測結(jié)果中，我們提交的參測系統(tǒng)在兩個任務(wù)上均取得了轉(zhuǎn)換語音自然度與相似度指標(biāo)的第一名，其中自然度平均意見分(MOS)達到 4 分，相似度達到 80% 以上。

最后我再介紹一下我們近期開展的基于序列到序列模型框架的非平行語音轉(zhuǎn)換方法的研究工作。雖然前面介紹的VCC2018方法可以取得較好的非平行語音轉(zhuǎn)換效果，但是其仍存在一些不足。例如，基于語音識別器提取的文本內(nèi)容表征中難以保證不含有說話人相關(guān)信息、語音識別模型和轉(zhuǎn)換生成模型沒有聯(lián)合訓(xùn)練、仍采用幀到幀映射的模型框架等。

因此，我們提出了一種基于表征解耦的序列到序列非平行語音轉(zhuǎn)換方法。該方法在序列到序列建模框架下，可以實現(xiàn)對于語音中文本相關(guān)內(nèi)容和話者相關(guān)內(nèi)容的有效分離。其核心思想如圖所示。在訓(xùn)練階段，利用識別編碼器和話者編碼器分別提取語音中的文本和話者相關(guān)表征。同時我們通過訓(xùn)練準(zhǔn)則的設(shè)計保證這兩種表征相互獨立，不會糾纏。在訓(xùn)練過程中，我們也會利用語音對應(yīng)的轉(zhuǎn)寫文本。從轉(zhuǎn)寫文本中提取的信息可以為從語音中提取文本表征提供有效參考。在合成階段，通過組合從源說話人語音中提取的文本表征，以及目標(biāo)說話人的話者表征，可以實現(xiàn)從源說話人語音到目標(biāo)說話人語音的轉(zhuǎn)換。

整個的模型結(jié)構(gòu)如下圖所示，由文本編碼器、識別編碼器、話者編碼器、輔助分類器、解碼器共5個主要模塊構(gòu)成。其中識別編碼器和解碼器類似與語音識別與語音合成模型，均采用結(jié)合注意力機制的編碼器-解碼器結(jié)構(gòu)。文本編碼器用于從轉(zhuǎn)寫文本中提取文本表征。解碼器可以接收來自識別編碼器或者文本編碼器的輸出，結(jié)合話者編碼器給出的話者表征，進行聲學(xué)特征的重構(gòu)。輔助分類器用于實現(xiàn)與識別編碼器的對抗學(xué)習(xí)，以保證識別編碼器提取的文本表征中不含有說話人相關(guān)信息。由于時間原因，各模塊具體的模型結(jié)構(gòu)不再一一展開介紹。

以上各模塊在訓(xùn)練階段聯(lián)合優(yōu)化。為了實現(xiàn)有效的表征解耦，我們共設(shè)計了7種損失函數(shù)用于指導(dǎo)模型參數(shù)更新，包括音素分類損失、話者表征損失、對比損失、對抗訓(xùn)練損失、重構(gòu)損失等。

以下是一些實驗結(jié)果。從客觀評測結(jié)果中可以看出，對比CycleGAN和VCC2018兩種非平行語音轉(zhuǎn)換方法，我們提出的方法可以取得最優(yōu)的梅爾倒譜失真(MCD)以及清濁判決錯誤(VUV)。在轉(zhuǎn)換時長誤差(DDUR)上，所提方法由于采用了序列到序列建模框架，也顯著優(yōu)于其他兩種方法。在主觀評測中，我們所提出的非平行語音轉(zhuǎn)換方法，也取得了接近序列到序列平行語音轉(zhuǎn)換的性能。

總結(jié)報告內(nèi)容，序列到序列話者轉(zhuǎn)換方法在時長調(diào)整、長時相關(guān)性建模等方面有其優(yōu)勢，但是將該方法從平行數(shù)據(jù)條件推廣到非平行數(shù)據(jù)條件存在挑戰(zhàn)。特征解耦是解決這一問題的有效途徑，通過序列到序列框架下的模型結(jié)構(gòu)與損失函數(shù)設(shè)計可以獲取相對獨立的文本與話者表征，進一步實現(xiàn)非平行數(shù)據(jù)條件下的高質(zhì)量語音轉(zhuǎn)換。

另一方面，現(xiàn)階段的話者轉(zhuǎn)換技術(shù)還面臨一些挑戰(zhàn)，包括跨語種轉(zhuǎn)換、低質(zhì)數(shù)據(jù)場景、可控轉(zhuǎn)換、實時轉(zhuǎn)換等，這些都是后續(xù)值得進一步深入研究的內(nèi)容。

以上是我的介紹，謝謝大家！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。