「LSTM之父」 Jürgen Schmidhuber訪談：暢想人類和AI共處的世界 | WAIC 2019

雷鋒網 AI 科技評論按：2019 年 8 月 29 日，世界人工智能大會 WAIC 2019 在上海世博中心舉行。瑞士 USI 和 SUPSI 教授，NNAISENSE 聯合創始人兼首席科學家，「LSTM 網絡之父」 Jürgen Schmidhuber 也受邀出席大會。

8月30日，雷鋒網 AI 科技評論和多家社會媒體一同對 Schmidhuber 教授（圖中右側）進行了采訪，松鼠 AI 首席架構師 Richard Tong（圖中左側）在現場幫忙翻譯。雖然這次采訪中來自社會媒體提出的許多問題不那么「技術」，但是 Richard Tong 介紹道 Schmidhuber 不僅是計算機科學家，更是一位哲學家，在這些問題的回答中我們確實看到了 Schmidhuber 對事理和人類社會的哲學思考，甚至有「我們可以像理解人一樣理解 AI」的味道。Schmidhuber 教授的語言風格也溫文爾雅，不疾不徐，娓娓道來。

提問：有人把 LSTM 網絡稱作「機器學習界的 AK-47」，因為它簡單，而且可以用于很多不同的任務。您知道這個說法嗎？如今，BERT 以及基于 BERT 的模型也被用在很多任務中，仿佛要成為新一代的「AK-47」。您覺得這是一個好的趨勢嗎？

Schmidhuber：Transformer 和 BERT 模型能在一些任務中帶來非常好的表現，比如某些翻譯任務。但是如果你看看全局，比如看看語音識別領域里發生的事情的話，目前最新的，2019 年的谷歌語音識別系統仍然是基于 LSTM 的。曾經這些系統需要在服務器上運行，你需要有網絡連接才能使用，現在電腦變得越來越便宜，這樣的系統也已經可以直接在手機上運行。再比如 DeepMind 的 AlphaStar，這個玩星際爭霸的 AI，它的核心是一個深度 LSTM 模型；OpenAI 的 DOTA2 AI 也把深度 LSTM 模型作為核心。如果你想要構建一個有通用能力的 AI，你就會需要類似循環神經網絡、LSTM 這樣的網絡結構；Transformer 模型還不夠好。工業界的實踐還是以 LSTM 為主。

提問：很多人擔心隨著機器人變得越來越先進，他們的工作會被機器人取代。李開復曾經說人類要更多地做善解人意和富有同情心的工作，以及未來我們也要創造更多這樣的工作，讓人們有工作可做。您認可他的說法嗎？您的觀點如何？

Schmidhuber：幾十年以前，當工業機器人剛剛出現的時候，就有人說機器人會把所有人類的工作都代替了。結果后來呢，在那些大量使用機器人的國家，曾經有數百名人類工人的汽車流水線如今使用數百臺工業機器人，然后只有幾個人看著這些機器人。然而這些有很多機器人的國家有更多的資本，有很低的失業率，因為出現了很多當時的人們預計不到的新職業。三十年前，沒有人想得到現在可以做視頻博主掙錢，諸如此類。人們喜歡玩樂，不喜歡沒有工作，所以人類一直在創造新的工作。這些新的工作往往需要人和人之間的互動，像記者、視頻博主等等。我猜測，隨著 AI 在中國以及全球得到更多的使用，工作的數量只會增加，而不會減少，失業率也會大致保持不變。因為新的工作會出現。

提問：您在 2018 年提出了 World Model 的概念，可以多跟大家解釋一下嗎？

Schmidhuber：這個想法我在1990年就有了。它里面首先有一個 RNN 模型，可以接收視覺、聲音、文本和傳感器輸入，然后它可以產生動作，比如動一動機器人的手指、眼睛。這樣它就是一個控制器，把輸入的信號轉換成動作輸出。除此之外它還有一個進行預測的網絡，它能觀察到控制器的動作、能觀察到世界的輸入，然后預測控制器的動作會對外面的環境造成什么樣的改變。也就是說它學習判斷動作的結果。

所以它也就能夠學習對這個世界建模，比如學習到蘋果會掉到地下，學習到蘋果掉下的時候有什么樣的加速度。在學習到蘋果的運動規律的同時，也就學到了重力的法則。

在這樣的 World Model 設計中，預測模型會幫助控制器變得更好，控制器也可以在執行動作之前先借助預測模型進行提前規劃，選擇能得到最高回報的動作；執行一系列預計會有很高回報的動作，然后得到這一系列預計到的高回報。最終，控制器就可以做整個模型認為「好」的事情。其實我們自己就是這樣的，正在學習這個世界的小孩更是這樣的。

這個概念是1990年提出的，控制器模型和預測模型就像人的左腦右腦一樣相互配合、相互促進改進。這個概念不僅是一個有長遠影響的通用框架，在實際應用中也有好的效果。

提問：為什么現在人們沒有普遍在手機上使用語音識別技術？IoT 設備上會有更大的使用空間嗎？

Schmidhuber：實際上，在谷歌搜索接收到的所有搜索請求里，有 1/3 都是由 LSTM 網絡處理的語音查詢輸入。對于中國人沒有普遍使用它的原因，據我所知，中國人沒有那么擔心隱私，美國人有一點擔心，歐洲人則非常擔心。所以歐洲人不使用語音識別的原因是他們知道大公司會把所有東西都存儲下來，然后把這些語音作為改進語音識別系統的訓練樣本。比如有的人講話有口音，但是當前的 LSTM 網絡沒有在足夠多的帶口音的樣本上訓練，語音識別的效果不好，那么企業就會把這些語音記錄下來，研究正確的識別結果應該是什么樣的，并讓 LSTM 學習。因為人們知道亞馬遜之類的大公司會做這樣的事情、會存儲語音，所以他們會擔心、會猶豫。我自己就不使用谷歌的語音識別，即便它就是基于 LSTM 的；不過使用它的人也有很多。我覺得關鍵在于，你能不能接受企業用你的數據來改進模型的這件事。有一些地方的人對隱私是比較在意的，我覺得中國的一大優勢就是這里的人沒有那么在意隱私。

就技術本身而言，之前的很長一段時間里語音識別的效果一直都不好，大的變化發生在 2015 年。那年谷歌切換到了基于 LSTM 的語音識別系統，然后語音搜索就很快增加到了所有搜索的大概 1/3。Siri 最初使用的也不是 LSTM，后來切換到 LSTM 的時候也遇到了訓練數據不足的問題。但現在所有人都在用 LSTM了。以及還有一個因素是訓練數據有多少。

我想問大家一個問題，Alexa、Echo 之類的設備很流行，中國有類似的嗎？

現場記者七嘴八舌地：小米、百度、天貓

Schmidhuber：它們好用嗎？

記者們：我們只用來問問天氣、放音樂，更多的時候是直接關掉的。我們還是擔心它們一直偷聽我們的對話，比如聊天聊到某個商品，緊接著就會在購物網站的廣告里看到）

Schmidhuber：有時候是這樣的，有些用戶協議里就會允許這樣的事情。所以技術有好的一面也有壞的一面，就像火，可以保暖、可以烹飪食物，也可以燒死別人；甚至有一點和 AI 一樣，如果人類不做什么干預的話就會廣泛傳播開來。不過，人們發現火帶來的好處要比麻煩多多了，所以人們一直在提升改進使用火的技術。這樣人類才一直走到了今天。

提問：現在的人工智能有意識了嗎？和人類的意識相同嗎？

Schmidhuber：剛才說到的 World Model 里的預測模型，它只能根據過去的信息、動作和它的觀察進行預測，但是只要你可以預測，就可以看做作是已經了解它了，就沒有必要存儲更多的關于它的信息了。你只需要存儲超出意料之外的事情。

而所有這些預測，它們的本質都是壓縮。只要你可以預測一個數據，你就可以壓縮這個數據。是怎么壓縮的呢？在 RNN 網絡里有一些小的結構，它們可以存儲環境里頻繁出現的東西。比如你的環境里經常會出現很多人臉，那么從數據壓縮的角度來看，一種很高效的記錄方法就是先有一個人臉的樣板，然后記錄不同的人臉和這個樣板的不同在哪里。這種過程在 RNN 里持續地進行著，世界中的各種物體，云彩、房子、窗戶、手機都有相似且反復出現的結構，RNN 都可以對它們進行編碼，也就是進行壓縮。

不過有一點，在這個智能體的整個活動周期中，由于它和環境進行互動、它也是整個環境的一部分，所以預測模型的學習會有一個副產品，就是在它的網絡中會有一個子網絡用來表示它自己，比如存儲智能體常做的事情，就能讓預測模型更好地預測、更好地壓縮數據。這樣你就全自動地在模型網絡內得到了一個有自我符號的、能自我表示的子網絡。剛才我說控制器可以用預測模型做未來的規劃、得到更高的回報。在這個過程中，都可以激發網絡內表示它自己的子網絡，來考慮自己。從這個角度，可以說它有一定的「意識」。只不過，這種人造的意識要比人類的意識簡單很多。如今最大的人造網絡有十億數量級的參數，但人類大腦中神經元之間的連接是千萬億數量級的，要比目前最大的 LSTM 的參數還要多一百萬倍。不過，電腦的價格在快速下降，性能在快速提升，也許再過幾年、十幾年我們就會有可以和人類大腦比擬的LSTM網絡，能在手機這么大的設備上運行，而且還會比現在的網絡更快。

提問：既然人工智能已經有意識了，那么它們未來會有自我價值（ego）嗎？

Schmidhuber：它們會有，而且現在就有。比如我們讓機器人學習的時候，我們會給它安裝痛覺傳感器，因為我們希望它明白它做的哪些事情是會傷害自己的，比如遇到障礙的時候不要猛地撞上去、不要把手放在熱灶臺上等等，那么只有當機器人有痛覺傳感器的時候它才能學到這些。讓機器人學習的目標就可以是減小所有痛覺傳感器接受到的痛覺信號的總和，以及最大化所有愉悅信號的總和；愉悅信號哪里來呢，可以來自于電量低的時候在充電站充電。也許就像人一樣，人一天要吃三頓飯，機器人可以一天充三次電（現場記者笑）。沒有痛覺的機器人很難學習到什么事情對它們是不好的，就像人類小孩的痛覺感受可以幫他們更好地學習。

從純粹工程的角度講，我們給機器人自我意識也是有好處的，讓它能躲避疼痛的事、做更多愉快的事。通過足夠多的訓練，機器人就能學會如何在環境里行動，學會躲開障礙物、找到充電站充電。再比如，如果有個人每次見到機器人都會打機器人一拳，那么許多次以后，由于機器人要躲避疼痛的事情，它也許就會學會用人臉識別辨認這個人，當他來以后就躲在窗簾后面。這在別人看來就仿佛機器人在害怕，好像是有了自我意識。所以，為了讓機器人學習，可以說我們一開始就設計了自我價值。

提問：那么機器人的道德呢？它們會遇到道德困境嗎？

Schmidhuber：我們平時討論的人類會遇到的道德困境，機器人也會遇到。道德行為來自哪里呢？當許多個個體，許多人或者許多機器人組成社會的時候，他們各自都有躲避疼痛、追求愉悅的目標。然后他們發現，在許多情況下，互相幫助能讓他們都更好地達到各自的目標。自我意識可以自然地帶來利他行為，這就是社會中道德的來源。如果有一個社會，其中的個體最好都遵守一些規則，比如不可以傷害別人；宗教也有類似的作用，通過對其中的個人的行為增加一些限制，這些個體可以受益，整個群體也可以受益。這樣的規律適用于人類，也同樣適用于機器人。

提問：機器人會有個性嗎？他們的個性來自哪里？

Schmidhuber：機器人的個性來自訓練數據，訓練數據不同，個性就不同。就像如果一個人在貧困、混亂的地方長大，那么他的性格和追求就會和富足的家庭里長大的小孩完全不同。對機器人來說，在不同的訓練數據上最小化疼痛、最大化愉悅得到的策略也是不一樣的。所以，不管對人類還是對于機器人來說，他們的性格發展都受到環境的很大影響。如果一個機器人殺人以后你會給它獎勵，那它就會學會變成一個壞的機器人；如果它救人以后你給它獎勵，它就會學會做一個很好的機器人；就像養小孩一樣。未來的編程也會更像教小孩一樣，讓機器人學習，而不是直接執行人類設計好的規則。

提問：富人和窮人擁有的資源不一樣，那他們擁有的 AI 也會不同，這會不會增大社會差距？

Schmidhuber：我覺得最重要的是，AI 會讓大家的生活變得更好。未來也許每個人都有很多 AI，可以用AI幫他們做各種各樣的事情，就像今天每個人都有智能手機一樣。我講個趣事，40年以前我曾經遇到一個人，他開一輛保時捷，而且車里有一部手機；這可是40年前，手機很罕見，只有很富的人才買得起。但今天手機很便宜了，今天很窮的人買到的手機都會比當年那個人的手機更好。AI 也是一樣的，也會變得更便宜，讓窮的人也收益。

提問：相比于 AI 為日常生活帶來好處，我看到更多的是人們沉迷于 AI 娛樂，年輕人經常連續刷抖音或者社交平臺好幾個小時，因為 AI 會一直推薦他們感興趣的內容，讓他們停不下來。

Schmidhuber：這些確實不是好事，就像沉迷玩游戲也不是好事。但小孩是有父母的，父母要幫助管理自己的小孩，防止他們沉迷于電腦游戲、社交網絡、毒品等等。不過長期來看，很多人都會從AI受益，或者已經從AI受益了。2012年的時候AI就可以幫助診斷乳腺癌風險，到今天，AI的成本又降低了許多，更窮的地方可以用上AI，或者用一樣的成本可以做更多的醫療，這對整個醫療體系都是革命性的幫助，大家都會從中受益。

雷鋒網 AI 科技評論報道。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。