0
2010年10月28日，訊飛語音輸入法發布，當時，還沒有微信。6年之后，著名“相聲演員”羅永浩在錘子M1的發布會上展示了這款輸入法，這次，訊飛以一種意想不到的方式刷爆了朋友圈。
雖然訊飛在2014年的時候推出“超腦計劃”，開始全面布局AI的各個領域。但是，這家成立于1999年、市值超400億的公司如今在很多人看來，依然只是一家做“語音輸入法”的公司。
科大訊飛在AI領域有哪些布局？
怎樣看待語音助手？
如何繼續提高語音識別的準確率？
智能音箱是個偽命題嗎？會成為智能家居的中心嗎？
如何評價亞馬遜的Echo Show？
機器轉錄為何依然難用？
技術與BAT相比如何？
......
帶著這些疑問，雷鋒網采訪了科大訊飛研究院副院長王士進。在看完這篇文章后，你會了解到，在AI領域，科大訊飛到底做了些什么？他們對整個行業又有著怎樣的看法？
王士進：博士，科大訊飛北京研究院院長，兼科大訊飛研究院副院長。2003年本科畢業于中國科技大學，2008年博士畢業于中科院自動化所，長期從事語音、語言、人工智能方向研究，主持的語音評測技術國內首次應用大規模英語口語考試，主持的機器翻譯曾兩次獲國際比賽第一名。作為主要負責人參加了863計劃重點項目、工信部電子信息產業發展基金項目等項目，在相關國際會議和期刊上有多篇學術論文，擁有十幾項專利和軟件著作權。
雷鋒網對采訪全文做了不改變原意的刪減：
雷鋒網：科大訊飛在語音識別方面有什么進展？
王士進：語音合成方面，我們從去年年底開始發力，利用深度學習的方法實現了新一代的合成系統。現在，只需要目標用戶半個小時到一個小時左右的錄音，就可以合成這個人的聲音，并且自然度非常高。
語音識別方面，訊飛正面向IOT領域積極拓展。在IOT時代，面向復雜場景的語音識別是一個非常重要的點。我們在持續優化車載環境、家居環境里面語音識別效果。
同時，“訊飛聽見”系統里面向實時會議和演講同傳的效果也有了更進一步的升級。第一個就是轉寫的準確率在持續提升，第二個，我們會結合訊飛口語翻譯的技術，實現會場演講的多語種同傳。
雷鋒網：訊飛語音識別的準確率已經做到什么程度了？
王士進：語音識別準確率跟場景和任務的關系非常大。如果說具體的數字，其實可能并不太客觀，比如在手機APP的場景里面，我們可以實現97%的準確率。像會議速錄這種場景，我們也能達到95%的準確率。
雷鋒網：如何再繼續提升？
王士進：要解決這個問題，我覺得可能取決于以下幾點：
第一點，從語音模型建模的角度來說，怎么使得模型更精確？一方面是數據，一方面是模型算法。所以我們還在持續迭代中，原來我們只使用有監督的數據，相當于是人工標注的數據，這塊數據始終是有限的，現在我們在考慮怎么使用大量無監督的數據去輔助有監督的數據，使得這種模型更加精確。
第二點，從語言和語義出發。比如有一些識別錯誤，我們人一眼就知道這個地方是錯的，錯在什么地方。所以我們現在希望把自然語言處理技術和領域知識相結合。比如說，如果提前知道這是一個教育相關的會議，那么怎樣結合跟教育領域相關的知識，使得語音識別的一些錯誤可以通過知識和模型進行修正。
雷鋒網：自然語言處理（NLP）這一塊呢？
王士進：NLP方面，訊飛從2014年開始提出“訊飛超腦計劃”，同時我們在2015年承擔科技部863的高考類人答題項目。在NLP這塊，我們主要在做包括語言理解、知識表達、聯想推理、以及自主學習方面的相關工作。
在NLP里面，其中一個工作是關于知識的構建和表示，我們參加了NIST KBP的比賽并獲得了第一名，第二個工作是現在業界認為比較難的常識表示，我們提出了深度聯想模型，并參加了第一屆winograd比賽，獲得了第一名。
第三個工作：知識圖譜構建以后，如何為精準的問答去做幫助？我們最近在做一個非常重要的課題，叫機器閱讀理解，給定一篇或者幾篇文章，對于這里面的任何一個問題，機器要能夠給出精準的問答。
以上是我們在自然語言技術上面做的一些工作。
雷鋒網：自然語言處理這塊，您覺得它主要的難點是什么？
王士進：自然語言最大的處理難點就是來自于它的歧義，怎么去消除歧義，在于如何引入知識和表示知識，這塊是我們正在積極探索的。
雷鋒網：會采用哪些最新的技術去解決這些問題？
王士進：技術的話主要是以下幾點：
第一點就是語言的深度語義表示。以前我們在自然語言處理時經常用到詞表，通過詞表去區分不同的詞和語義。原來離散表示最大的問題就在于詞跟詞之間的語義它會表示不出來，現在通過深度學習產生的Word Embedding，其實上就是語義矢量，能更好的表示詞，這是現在NLP中一個核心的技術。
在獲得語義矢量之后，可以更精準的去做知識的表示、推理等任務。比如，我們原來的推理其實更多是符號層面的一些推理。符號層面的推理有一個非常大的問題：由于歧義和知識沒辦法表達，所以說這種推理總是有限的。但是我們現在用深度語義，使得這個問題有了被解決的可能。語義矢量表示為基礎的自然語言處理框架，使得NLP領域很有可能會實現非常大的一個突破。
雷鋒網：科大訊飛的語音助手做的怎么樣？
王士進：訊飛在四年前就開始布局語音助手，和咪咕數媒一起推出的咪咕靈犀經過幾年的發展已經在本土語音助手排名第一（注：易觀國際數據），并且訊飛有非常大的一個團隊在做人機交互，也就是我們的AIUI系統。我們認為這里面需要有幾個核心功能：
第一個核心功能跟語音識別效果相關。我們在智能家居的環境里，在車載的環境里，在其他很多的場景里都在持續優化語音識別的能力。
第二個就是語義糾錯和語義理解功能。語音識別變成文字這只是第一步，第二步是怎樣結合知識、常識，怎樣結合上下文，去對用戶的內容作出更精確的理解，并對錯誤進行糾正。
但是這里目前有一個悖論，因為從用戶的角度來說，他們希望的是一個無所不能的助手，但是從現代技術的角度來看，我們在一些垂直的領域和場景才能做到實用。
第三個就是多輪對話。多輪對話其實更多地也是結合上下文和垂直場景，以此在垂直場景里面打造完全一個可以更智能的助手。
雷鋒網：做語音助手的難點在哪兒？怎樣看待其他的語音助手？
王士進：首先語音助手從提出理念到現在，其實已經經過了幾代。
最早第一代是以功能性為主，比如說撥打電話，發短信，類似這樣的一些基礎功能。大家發現，這里面可能還會有一些問題，它并不是人用手機的剛需，因為無論是電話也好，短信也好，基本上用觸控的方式已經很方便了，特別是蘋果手機出來了以后，所以說它不是一個剛需。
再者，當時那個年代，語音交互并不是一個普遍被接受的模式，我們很少看到有人用，因為大家總覺得語音是一個相對比較私密的事情，所以很少有人在公共場合下面去用語音跟機器做交互。
第二代，包括訊飛在內，很多語音助手都引入了閑聊，后續的微軟小冰等采取的其實也是這樣的策略，使得很多人愿意去調戲語音助手，這個概念也火了一段時間。雖然里面也有一些簡單的知識問答，但更多的是以閑聊為主。
現在則是第三代，經過前兩輪的思考以后，用戶對語音助手有什么樣的期望呢？我們認為，在語音識別、視覺識別準確率已經這么高的情況下，現在的語音助手可以以任務為中心，協助人在一些垂直場景里面，去做一些更真實的應用。
我們AIUI系統的多輪對話，其實也是想圍繞任務為中心，通過這種多輪的人機交互的形式，無論是人還是機器發起，滿足用戶的一些真實需求。
雷鋒網：以任務為中心的，像一個個APP那樣？
王士進：對，類似于一個APP的功能。亞馬遜的Echo為什么這么火？因為亞馬遜把垂直領域擴展的功能開放出來了，APP開發商、服務廠家能夠定制自己的服務，使得亞馬遜這個龐大的平臺可以承載越來越多的功能，所以我覺得這是大家都非常認可的最核心的一點。
雷鋒網：訊飛在車載語音助手方面的進展如何呢？難點在哪？
王士進：車載這塊訊飛進入的更早，因為車載離產業更近一點，這種交互方式也更剛需一點。
車載方面，訊飛主要側重兩點：
第一點，識別效果，在車載情況下，怎么把語音識別做好。車載噪聲太大，包括風噪、胎噪等，對識別會造成很大的影響。
第二點，怎樣在車載的幾個垂直場景下把交互做到好用？包括導航、音樂等幾個主要的功能。其實，更多的還是面向車載里面的幾個主要應用場景做優化。
雷鋒網：有人認為智能音箱在中國其實是個偽命題，您覺得它的前景如何？
王士進：我認為帶引號的智能音箱一定是剛需，什么意思呢？將來智能家居一定會有一個中控來解決這個問題，但是不是音箱，是不是不帶屏幕的音箱？這個還不好說。現在業內也并沒有一致的意見，如果有一致意見的話，也就不會有各種形態的類似產品推出來了。
雷鋒網：智能音箱會成為智能家居的中心嗎？
王士進：其實這個事情大家都不太好判斷，大家首先覺得將來家居一定會有一個中控系統對吧？這個中控系統可能有幾種類型。
一種就是現在大家所說的以音箱為中心，至少現在很多廠家都已經在做這一方面的東西了。還有一種可能是以彩電為中心，它也有一個好處，除了語音交互，它還有視覺的交互。也有人認為，家庭智能網關是交互的中心，因為家里所有硬件互聯可能都要通過一個網關。
但我覺得這個可能更多是讓用戶和市場進行選擇，不管是哪種類型的設備，大家都覺得使用便捷的人機交互做承載是一個趨勢。
雷鋒網：亞馬遜的Alexa Skills是一個趨勢嗎？訊飛未來會不會做自己的技能商店？
王士進：Alexa的技能商店從長遠來看是一個趨勢，訊飛現在通過訊飛開放云，把我們的能力開放出來，通過眾多的合作伙伴去構建這種技能商店。
在智能家居場景中，可能大家都在各個垂直領域去做各種類型的嘗試，因為現在的技術沒辦法做成通用的服務。通過一段時間技術和資源的沉淀之后，我們可以提供更通用的服務，構建一個更好的生態。
雷鋒網：帶觸控屏的Echo Show會是未來的一個趨勢呢？其他廠商會跟隨嗎？
王士進：其實我覺得這個也并不一定。從屏幕趨勢來講，我認為有兩個趨勢，
第一個趨勢就是所有的設備可以把屏投到家電的大屏上去，而不一定要在Echo上面做一個多大的屏幕，家里存在很多有屏設備。
第二，在無屏的場景，我們也可以通過VR/AR等技術來展示內容。
雷鋒網：機器轉錄跟人工轉錄的差別還是很大的，為什么會出現這樣的情況？它的難點在哪兒？如何解決？
王士進：語音識別有傳統的兩個分類，一個是聽寫，一個是轉寫。
聽寫很簡單，因為（聽寫的時候）我知道是在跟機器溝通，所以無論是講話的語速，講話的流暢程度，還是語言表述方式，我都會去配合機器。現在大家號稱語音識別的準確率在95%以上的，基本上都是在這種場景下，因為人會去配合機器。
但現實中其實更多的是正常交流這種場景，這里面會有哪些比較大的問題呢？首先，噪聲是比較大的問題。其次，一些方言的夾雜，甚至多語種的夾雜，比如很多人在講中文的時候會講英文，這也一個問題。
除此之外，還有不流利的現象存在。一個相當于讀新聞，一個是口語交流，兩者不太一樣。其實我們人跟人之間交流，有些東西要用到語意和上下文的信息，才能夠使理解更加準確。
由于這幾種類型問題的存在，使得機器在轉寫的時候，效果跟聽寫會有一些比較大的差距，而且最早的時候差距是非常大的。所以說大家可以看到，其實語音識別最早在聽寫里邊應用的比較好。但是在轉寫里面，之前一直沒有廠家敢做這方面的嘗試，這塊我們訊飛也是在2015年的時候，大幅提升了這個技術的水平。
那會兒我們把識別率能夠做到接近90%左右，90%基本上大家就能看。但是，90%距離我們真正最后轉寫，還有10%。10%感覺好象比較少，但其實仍然有很大的影響。
現在這種使用人機輔助的場景，已經比之前的那個好很多了，我們現在能做到95%左右的水平，可以讓人更高效地錄入信息。
雷鋒網：機器轉錄未來能夠完全取代速記員嗎？
王士進：從長期來看，無論是語音識別也好，機器識別也好，它都是概率體系。概率體系下，它要完全取代人，從目前來看，這里面可能是有些困難問題的。
我們跟行業結合，也做了各種各樣的東西，我們希望它跟人可以形成一個有效的人機協同，使得人可以更高效的完成某項工作。
雷鋒網：訊飛的機器翻譯和谷歌翻譯相比如何？
王士進：訊飛主要是著重把自己的機器翻譯的能力跟語音識別的能力綁定的比較深，所以我們主要是側重于口語翻譯，包括我們日常交流、出國旅游的場景，還有會議轉錄的場景。在這些場景下，我們的效果比谷歌要好很多。谷歌最擅長的是把一種語言的能力擴展成非常多的語言能力上面去。
訊飛翻譯支持的語言其實并不太多，所以我們要做一個語言翻譯，就會想在一個語言上把它做好。所以在同樣的數據下，理論上我們的效果一定會比谷歌強。
雷鋒網：機器翻譯準確率提升的難點在哪兒？未來有可能完全取代人工翻譯嗎？
王士進：翻譯涉及到語言和語義，難度比識別會更大一點，比如翻譯一個句子，不同的上下文可能使得整個句子的表述都不太一樣。
從這個翻譯技術上來講，雖然說大家用了很多神經網絡相關的技術，但其實語義理解的并不是那么深刻的。現在主流的是end-to-end技術，它本身就是一個黑箱技術，通過大量數據的學習實現翻譯的能力。
從精度上來看是有一些提升，在大部分場景里面，可能已經滿足了大部分用戶的需求，比如你要去國外做一些簡單的溝通，只要是非商務的，用現在口譯軟件，基本也能解決問題了。但是怎樣做更精準的回答，怎樣做到雅，目前來說，技術上還存在一些困難的。
雷鋒網：未來有什么提升的辦法？
王士進：還在探索的階段，比如有些人在研究通過深度學習構建更精準的語義表示，有些人研究更準確的翻譯模型，還有人研究深度學習模型跟傳統知識模型的結合等。
雷鋒網：對英語口語評分的產品做的怎么樣了？
王士進：訊飛的口語評測已經產品化了。我們最早是從2009年開始研究口語評測，像朗讀、或者讀單詞，讀句子、讀篇章這種類型的封閉式體型，是比較好評的。最關鍵就是看音準好不好？有沒有讀？然后從這個封閉式題型擴展到開放式題型，設立很多自然語言相關的技術，使用這些技術機器去做主觀題型的自動評分。
我們現在口語的自動評分技術，在廣東省的高考、江蘇的中考以及全國多個省市地區的英語口語考試都有應用。
王士進：這個分封閉式題型和開放式題型。對于封閉式題型，機器主要提取口語的幾個主要特征，包括完整度、發音準確度、流利度、韻律等，然后使用學習到的參數去進行評分。對于開放式題型（主觀題），除了剛提到的那些特征，機器還要去學習評分專家的語義知識。 機器會要求專家一起先確定一下評分標準，同時按照這個標準可能要試評標桿卷，然后機器就從這里面去學習人是怎么評分的。
我們知道不同的考試評分標準是不太一樣的。機器會自動學習優秀老師對這些標桿卷的評分，從而形成評分的標準模型，然后拿這個評分模型對剩下的試卷進行評分。
雷鋒網：判斷用戶的發音是不是標準，給出發音建議，訊飛用了什么技術？
王士進：關于語音是否標準，訊飛在最早做漢語水平等級測試的時候就已經開始研究，這個技術叫CALL（注：Computer-assisted language learning，計算機輔助口語學習 ，核心是發音評測技術），訊飛在漢語和英語的評分上做了很多研究工作，包括判斷發音是否準確、是否流利、韻律是否準確等。
雷鋒網：訊飛從什么時候開始做計算機視覺的，為什么會做計算機視覺？
王士進：應該是從2010年左右開始做的。現在在深度學習發展起來后，語音所要用到的底層的技術和圖像所要用到的底層技術，可以說是非常接近的。為了完善訊飛整個感知智能系統，同時也因為業務的需求，訊飛開始做機器視覺，主要研究內容包括人臉識別和醫學圖像處理。
雷鋒網：語音和視覺，得哪個更有前景一些？兩者未來能否結合起來？
王士進：首先從前景來說，兩個的市場都特別大。從結合上來說，可結合的地方很多，比如說我們所謂的智能安防里面，怎么去結合人臉識別和語音識別共同去做各種類型的檢測。身份認證方面，也有基于人臉和聲紋的共同的身份認證。
雷鋒網：訊飛在醫療領域有做了哪些工作？
王士進：訊飛在智能醫療這塊主要有三條路：
第一條路就是通過智能語音方便醫生實現電子病例的錄入；
第二條路就是基于視覺的輔助讀片；
第三個是基于醫療認知協助醫生做輔助診療，有點像IBM的沃森。
此外，我們還做了醫考機器人，會閱讀大量醫學的知識，包括醫生診療的方案，以及大量的醫學書籍，從而形成一個相當于是醫療認知的大腦，這樣就可以針對病情自動形成一些治療的方案。
雷鋒網：在醫療領域遇到了哪些困難？
王士進：目前做智慧醫療，最大的問題可能來自于數據，也就是電子病例。第一，醫療數據更隱私，怎么合理、合法地采集和獲取到這些數據，目前來說還是有困難的。第二，醫療數據像一個個孤島，沒有連接起來，其實這也跟隱私有關系，不同的醫院之間，可能會存在信息孤島，一般不會打通。
雷鋒網：跟谷歌、亞馬遜、BAT等巨頭相比，訊飛的人工智能技術如何？
王士進：總體來看，各公司都是圍繞自己優勢的業務領域布局人工智能，我覺得訊飛相比于谷歌等巨頭：
第一點，訊飛其實在很多相關的業務廠家里面，相對做的更深一些；
第二點，因為訊飛在行業里面扎的比較深，而且更懂行業，所以訊飛能夠把這個技術組合用好，為行業提供完整的一個解決方案。
比如一些互聯網公司，它們可能更多的是提供一些通用的基礎的產品和技術，類似于搭積木，有可能用上這個積木以后，在行業也有不錯的效果，但是訊飛專注做相關場景，所以我們是希望在每個應用場景里面，能夠把效果做到極致。
雷鋒網：最近有沒有用到什么最新的技術或者算法？
王士進：目前比較新的一些，我覺得可能是以下幾點：
第一點實際上是對一些傳統的神經網絡模型（包括RNN、CNN）的持續優化。
第二點就是無監督的學習，包括剛才提到的GAN相關的東西，以及基于GAN各種擴展的算法，這個其實用的還是蠻多的。
雷鋒網：未來還有哪些突破的點？
王士進：我個人覺得是兩點：
第一點，到了IOT時代以后，這種交互場景一定是更復雜的，在這種復雜情況下，怎樣做到更好的語音識別？我們認為，未來需要軟硬件結合的整體解決方案。如果只通過軟件的話，它的很多的信號疊加以后，噪聲就已經形成了，就沒辦法了。如果通過這種硬件，比如說麥克風陣列或者其他一些方法的話，就可以在信號層面可以做更多的一些處理，有可能會使語音識別效果更好。
第二點，因為現在自然語言處理技術，本身也在突飛猛進，怎樣使用更多自然語言的技術去協助做好語言理解，這個應該也是一個突破點。比如我們一個個領域，或者一個個垂直場景，逐個突破，從而慢慢形成知識的積累，使得機器未來有可能與更多的、更通用的場景做結合。
同時，怎樣圍繞不同行業的特點去形成一個整體解決方案，并且能夠解決真正的問題，我覺得這也是下一個階段要做的一個重點。
雷鋒網：未來人工智能有哪些落地場景？
王士進：從行業和產品結合來說，我們認為人工智能，其實有兩大落地的場景：
第一個就是使用語音技術和自然語言的技術，使得我們人機的溝通更便捷，可以實現接近人與人之間的溝通效果。現在的智能家居、車載、手機交互都是這類場景。
第二個就是使用將語音技術、圖像技術、自然語言的技術組合起來，跟行業進行深度的結合，學習行業領域的專家知識，來解決行業里面一些經典的問題。
比如說教育領域，就可以采用認知智能技術，使得它可以學習優秀老師的評分經驗，可以對主觀題進行自動評價，可以對它口語的內容進行自動評價。同時，我們能夠采集學生的過程化數據，能夠知道這個學生精準的畫像，然后就可以向他精準推薦自適應學習素材。
比如說，在司法領域里面，我們在跟最高法院合作，通過自然語言處理技術做輔助量刑。智慧醫療這塊，我們也在使用智能語音、智能圖像、還有認知技術，輔助醫生來做病情診斷。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
