1
| 本文作者： 三川 | 2017-02-10 19:34 | 專題：AAAI 2017 |
編者按：本文中，雷鋒網將為大家介紹一名在世界 AI 江湖享有特殊聲望的人工智能大牛—— Rosalind Picard。
她是麻省理工學院（MIT）教授，在 MIT 的跨領域尖端科學實驗室 Media Lab 從事機器學習與神經科學的交叉研究，一手創立了 Media Lab 情感計算研究部。她同時是兩家初創公司 Affectiva 和 Empatica 的聯合創始人，前者研發情緒識別、監測技術，后者生產整合這些技術的醫療傳感器，例如醫用可穿戴設備。但最重要的是，她的著作《Affective Computing》開創了計算機科學和人工智能學科中的新分支——“情感計算”。
《Affective Computing》
她的研究橫跨多個領域，涉及腦神經科學、計算機視覺、人機交互等等，但專注于情緒識別，以及人機交互中的情感溝通。她的研究之路并不平坦。在機器學習技術停留在算法時代時，研究“情感”并不受到學界的歡迎。一開始，各大 AI 學術會議拒絕接受她的成果與論文。但隨著 AI 技術的發展，如何賦予 AI“認知”與“情感”這一課題變得越來越突出。李飛飛就在近日表示：
“我認為下一步人工智能的發展，需要加強對情感，情緒的了解，要走進認知學，心理學。我說的不僅是腦科學，而是認知學。因為我們目前對人的情感理解非常少，而這對于人工智能來說是很重要的。”
而身為“情緒計算”之母的 Rosalind Picard，便是該領域首屈一指的專家。在機器學習算法工具日漸普及的今天，人們猛然醒覺“認知”“情感”正是創造出真正的 AI 的瓶頸。于是，全世界的目光都投向了 Rosalind Picard 的研究。此次，AAAI 2017 邀請她前來做專題演講，介紹“情緒計算”學科的由來、情緒識別機器學習算法、以及能監測人體焦慮、緊張情緒的傳感器的最新研究進展。雷鋒網記者對現場演講進行了編譯、梳理，非常適合關注情緒識別 CV 技術，和“情緒計算”商業化落地應用的讀者們。注：本文由三川、亞萌聯合編輯。
Rosalind Picard
Rosalind Picard：這次演講中，我想要與大家分享很多故事。尤其自我早年受到 AI 啟發后，研究中遇到的驚奇發現。
我年輕的時候，想要創造一個無比智能的 AI 。它的智慧程度就像馬文明斯基的描述那樣：“它是那么得智慧，如果它把我們當做寵物一樣養著，只會是我們的幸運”。一開始我覺得這特別酷。但細想之下就意識到，我并不想成為家庭寵物。但我仍然想要開發高度智能的 AI，來理解我們的大腦如何工作——對此，創建一個會思考的智能個體，是最好的方式。
學習生涯中，我被訓練為一個電氣工程師——偏向于架構方向，尤其是芯片和硬件設計。我對一件事非常感興趣：這些零件怎么組合成一個系統，使得我們能“看”。我從事了計算機視覺，并在人類“感知”（perception）領域做了廣泛閱讀，包括感知如何在我們的大腦中運作。
該過程中，我遇到了一個十分驚奇的發現：
大腦深處涉及情感、記憶、意圖的部分，對大腦皮層（cortical）的影響，要比大腦皮層對它們的影響要大。而大腦皮層被看做是人類智慧活動發生的場所。當時我想，記憶和意圖十分重要，但我不想涉及情感。這背后有一些小心思：作為一個工程學和計算機科學專業的女人，我不想把“情感”話題帶進研究，會讓別人笑話（雷鋒網注：男性占據大多數的領域對女性的性別偏見）。
但了解地越深，我越是沮喪地發現，情感在一系列智能活動中都起到核心作用：包括感知、決策、邏輯推理、社交、行動選擇、言語措辭。與此同時，我們從事的 AI 研究，在各個方面似乎都因為忽視了情感、無法充分理解情感的各項機制，而難以取得進展。因而我十分不情愿地，打算在這方面做些研究。不出意外，一開始所有成果都被學術會議拒之門外。因此，在即將成為終身教授之前，我寫了一本叫“情感計算”的書《Affective Computing》。幸運的是，這本書獲得了許多人的認可。所以我今天（才能站在這里）十分欣喜地與大家分享，我和我的學生研究生涯中的一些故事，以及學到的一些東西。
研究早期，有一個方面我沒能考慮到：HCI （human-machine interface，即人機交互界面）。后來我得到指點——HCI 是智能交互必不可少的前提。我認識一幫芬蘭赫爾辛基大學的 HCI 研究人員，他們想，也許計算機科學可算是 HCI 下屬的一個子學科，因為最終是人類在對機器進行評估、交互，并且決定了機器的形態、功能。
我入行時有一個逐漸形成的大趨勢：如果你想要做智能交互，你的工作就是開發那些可愛的智能體（agent）。就比如——有多少人記得微軟 Office 的智能助手 Clippy？你或許不知道的是，當比爾·蓋茨宣布 Clippy 將被取消，大家都給他起立鼓掌。很多人推文：“Clippy 應該被吊死！”。但是為什么他們這么恨 Clippy？Clippy 其實是個很聰明的機器學習 AI，它能準確判斷你在 Word 里寫的是信件還是普通文章。我認為，大家不喜歡 Clippy 的原因是：它看起來太開心了。而當 Clippy 在 Office 中出現的時候，你的心情如何？恐怕是苦逼（因為在工作）。
微軟 Office 智能助手 Clippy
當你心情不好的時候，別人看到你，如果他/它有智能，他會改變表情、不再看起來開心，以免刺激到你。但做到這一點，它們需要能感知、識別你的狀態；它們需要理解該狀態，知道什么才是恰當的反應；它們還需要能夠模擬、表現出那個恰當的回應。順便說一句，這當然不是什么新研究發現，人類知道這一點至少有幾千年了——古時的諺語、歇后語、名言警句還有基督教典籍，很多都講到“向心情沉重的人唱歡快的歌，就像驅趕冬日的寒冷一樣徒勞”。
因此，我們必須在情感上表現得聰明有智慧，識別情感、對它進行回應。即便一臺計算機并沒有模擬情感的內部機制，既然它們（計算機）會和我們交互，就必須在情感方面變得更智能。所以我展開研究，利用計算機視覺和其他技術，訓練計算機識別人類的情感表達。早年我讀到一個情感學家寫的東西：在面部運動編碼系統（FACS，詳見維基百科）中，當一個人同時做出第動作單元“臉蛋抬升”（Action unit 6：cheek rise）和第 12 動作單元“嘴角向外拉伸”，這是一個發自內心的笑容，這個人是真的開心。但當朋友給你拍照時，他說“茄子”，你做出笑容，那卻是假的。
第六和第 12 動作單元
研究中，我們錄制了一些測試者沮喪時的視頻，測試者并不知道我們想要抓取的是沮喪情緒，所以他們的反應真實可靠（雷鋒網注：這里 Rosalind Picard 現場播放了一段用作演示）。這段視頻中，測試者面部出現兩次第六動作單元和第 12 動作單元，但這顯然并不是因為開心。這兩個動作單元，并不總意味著那個人是發自內心的喜悅。事實上，我們的研究發現，90% 的人在沮喪時做出了這兩個面部動作。同樣的情況，通過教育軟件在幼齡兒童身上被發現。
該研究中，我們把四個機器學習算法，應用于區分開心的笑和苦笑（沮喪時的笑容）這一任務。在判斷真實笑容上，機器與人類的判斷水平相似。在判斷苦笑上，機器學習的成功率是 92%，大幅優于人類。當然，這不意味著機器學習在識別所有面部活動上都超越了人類，而僅在人類有感知偏差、會把某個表情誤認為是另一個的領域。詳情請見我的論文。這其中的一個有效特征很可能是 Dynamics（動態），換句話說，發自內心的笑容有緩慢的展開速度，這是相對于沮喪笑容的突然、迅速——雖然不開心，但要讓自己感覺好些。
人類和機器學習算法，識別真笑、苦笑的正確率比較
但該研究需要更多的數據，所以我們把許多短視頻（包括超級碗 Super Bowl 的視頻，都是一些很幽默、喜感的內容，不會讓參與者不滿）放到網上，邀請人們打開網絡攝像頭登入觀看，分享他們觀看時的表情。但這實驗中只啟用了喜悅笑容的探測。下圖左下角的綠線、橙線代表了已經觀看過這次些視頻的觀眾，相比首次觀看的人（藍線），他們其實笑地更多。另一個發現是觀眾發笑的時間——非首次觀看的觀眾，在看到笑點之前就已經有笑的表情。這其實很有趣，這告訴我們，“笑”這一行為或許能夠揭示人們的過去、以及與特定內容打交道的經歷。
人類何時發笑的因素，不止是“開心”
機器學習開發者們，一直在琢磨如何提升機器學習的成效。我們的實驗給開發者社區帶來的核心信息是：相比轉換機器學習模型，增加數據量的效果要好得多。研究中，對于特定（第四）動作單元，真正的提升是在大約 10 萬個訓練樣本之后才發生。第四動作單元是“皺眉頭”（這里指的是眉毛之間起皺紋）——當你聚精會神或對某事感到迷惑、厭惡時的面部活動，很多人眉毛之間都有永久性的“川”字皺紋。我們開發了一個能根據該動作單元判斷情緒表達的檢測模型。有用戶在很不理想的光線環境下登入測試系統，我們從中獲得了很多數據。
如果你想要嘗試我們的測試系統，可以在 iOS 應用商店或安卓 Google Play 商店 免費下載，app 名為 “AffdexMe”。目前，在 24 個面部表情的識別上，AffdexMe 達到了 90% 的精確度，在印度、巴西和中國、南非、美國、歐洲等地都能下載。我的公司 Empatica 向開發者提供了實時情緒 SDK。如果你需要研究與情緒關聯的技術，現在完全免費的（對于研究人員如此。對于商業化應用，在將來未必免費）。
AffdexMe
在面部表情的研究中，我接觸到許多患有孤獨癥的人士。我和我的學生 Steve Mann 開發了類似于谷歌眼鏡的設備，并集成了面部表情識別裝置。當我戴著該智能眼鏡和你說話時，如果你對話題感興趣并且對我微笑，眼鏡屏幕會顯示綠色；如果你流露出困惑的神情，我會看到鏡片顯示的黃色光；如果你流露出負面情緒，我會看到紅色光，這向我們提示需要更好地處理談話。
當我與一個患孤獨癥的年輕女士做實驗時，她太緊張與我說話，于是打字對我說：“Ros，你做得不對。你讀別人的情緒，對我來說并不是問題，但你讀不到我的。”當時我感到有些受傷，因為這是我賴以謀生的工作。
但她繼續說：“并不只是你，所有人都體會不到我的情緒。”
我就說：“大家為什么會體察不出對方的情緒？我們沒能從你身上讀出的情感是什么？或者，我們讀錯了什么？”她說:”你們感覺不到我的緊張、焦慮。”我意識到，很多人在高度緊張、心頭沉重時，或許其焦慮情緒馬上就要爆發，但他自己卻沒意識到，而是把自己內心關閉，與周遭分隔開。比方說，中學里某老師對一個的男孩子說：“起來！做點正事去”，只是很普通的話。但小男孩卻一下子情緒崩潰了，因為他剛被學校開除。如果老師能正確解讀這個小男孩的情緒，就能避免類似情況發生。
多年前我們開始做大量情緒檢測實驗的時候，把這看作是一般性的情緒激動信號，但后來證明它比我們想象的遠遠更豐富有趣。對于檢測出汗的手掌的技術，過去我們稱之為“galvanic skin response”，如今一般更科學、嚴謹地稱為“electrodermal activity”（EDA，皮膚電活動），測量皮膚的電導系數（conductance）和微摩爾（micromole）。
在麻省理工的 Media Lab，我們著手開發裝備該技術的設備，讓測試者七天 24 小時佩戴，監測其數據，希望為情緒崩潰等情緒變化提供線索。Empatica 有兩個已經商業化的產品：E4 智能手表推出已經有一年，專為研究人員收集測試者收據。它已被認證為醫療設備，能收集符合臨床要求的數據；另外還有 Embrace 智能手環，我會隨后介紹。
E4 智能手表
我們的興趣在于，獲取能讓我們讀取自主神經系統（autonomic nerve system）兩大分支（“sympathetic division” 和 “parasympathetic division”）的數據，它們能呈現出緊張、“fight or flight”（打還是跑）和“rest and digest”（休息、消化）反應。收集的兩大信號會實時傳輸到移動設備，你能看到皮膚電活動、微摩爾、脈搏（需要按住智能手表），脈搏又可用來計算心率。
除這兩大分支（sympathetic，parasympathetic）以外，自主神經系統還有第三個分支：enteric。它很有意思，但現在我們還沒有測量的好辦法。人腦有數億個神經元，在人睡眠時會進行無數有趣的活動、還有各種很酷的學習跡象，所以人腦智能研究的成果非常值得期待。但現在的研究重心是逃跑反應（flight response）和 parasympathetic 分支的“休息、消化”。前者通過皮膚來監測，后者則通常是觀察心率圖譜中的高頻波段。
由于很多研究有孤獨者患者參與，我們經常受到要求，開發他們這一群體易于使用的產品。舉個例子，我們研究團隊是世界首個利用普通攝像頭、計算機視覺技術、時間序列分析（time series analysis）、分解法（decomposition），無需人體接觸而根據測試者臉色（雷鋒網注：心跳快慢影響面部血液流動，產生面部顏色變化）來讀取心率和呼吸頻率的算法。
最近，我們在嘗試根據你隨身攜帶的物品（例如口袋里的智能手機），讀取心率和呼吸頻率，而無需佩戴任何設備。我們把該技術的精確率與業界的“黃金標準”——專業醫療呼吸傳感器和 ECG 心率檢測設備對比，以下是受試者在不同姿勢下的平均誤差：
醫療級的手指脈搏傳感器（戴在受試者手指）誤差在 4 心率/分鐘左右，而我們的技術平均誤差幾乎全部在 4 以下，因而可說是十分準確。對于習慣把手機放在手提包里的人們，如果手提包與人體接觸有限，僅僅用手提著，誤差會稍稍大一些；但如果手提包緊貼于身側，還是非常精確的。另外，如果你手持智能手機，無論是注視屏幕或是舉著它接聽電話，監測結果都非常精確。但如果你用手指不停點擊屏幕、執行觸摸操作，誤差會變大，這倒在意料之中。大家請等我們的好消息——未來會推出能監測心率和呼吸頻率的手機 app，而不需要專門的傳感器。
關于 parasympathetic 和心率監測到此為止了，這次講座剩下的部分將聚焦于 EDA 和電導系數。首先，當下的研究階段對我來說十分關鍵——這是我第一次看到測試者七天 24 小時不間斷的皮膚電導系數數據，目前測試者全是 MIT 的學生。圖中每一行代表著一天。EDA 在實驗室工作時段（圖中用黃色表示）升高在我們預料之中，這是由于學術交流、認知負荷、情緒負荷、高難度的 MIT 學習和研究（非常難、需要全神貫注的作業）。看電視時 EDA 很低。令人驚訝的是（學生的）社交活動很少，這就是 MIT 的生活（笑）。社交時 EDA 小幅上升，但不及實驗室時段。當你只是聽別人講話時，EDA 較低，但當你講話時，它會上升。
最大的驚訝來自于睡覺時段：這期間的皮膚電活動比一天中其他時段都要高。不僅 MIT 學生如此，普通人也是這般。我們對此提出了許多研究問題，也發表了許多論文，在這里，我只想指出一點：我們想知道 EDA、EEG （腦電波監測裝置，戴在受試者頭部） 和 ACC 各自、以及它們之間組合而成的特征，是否都能反映出睡眠時段的大腦活動高峰期。大家都知道，睡眠讓人腦子更好使——當一個人學了些新東西然后去睡覺，睡醒后進行測試往往成績更好。
于是我們進行了標準的記憶鞏固、學習、睡眠實驗，把睡眠后比睡眠前提升最大的受試者，和提升幅度最小、甚至沒有提升抑或降低的受試者進行對比測試。我們創建了一個二元分類器，來看看是否能夠使用這些特征，把兩組受試者區分出來。迄今為止所發現的最佳特征是六個智能體（agents）的特征，利用六個很簡單的機器學習模型進行特征測試。如圖所示，我們看到在一組實驗中紫色所代表的測試（EDA+ACC）；其它所有實驗中紅色所代表的測試（EDA），最能辨別出睡眠時的大腦高峰活動。
細想之下，這其實很讓人驚訝：為什么手腕上的汗水分泌，會和大腦中的學習活動相關？為什么 EEG 的效果不如它？
當我們成功開發出汗液分析腕帶（配有皮膚電導系數傳感器，能夠七天 24 小時運行）之后，很多人上門借取，用于各種研究。有一天，實驗室里的一名本科生對我說：“教授 Picard，我的弟弟不能說話，他有孤獨癥，我很想知道到底是什么事讓他這么緊張？我能借一個智能腕帶在圣誕假期時給我弟弟用嗎？拜托了！”我回答道：“當然可以，別只拿一個，帶走兩個吧。”
之后，我開始在辦公室電腦上查看這個小男孩的數據。第一天很正常，雖然男孩因為不喜歡雙手的腕帶而尖叫，覺得累贅。第二天也很正常，是個放松的假日。但在第三天，異變發生了：一只腕帶的指數突然飆得極高，而另一只腕帶卻沒有反應。我以為傳感器一定是壞了，怎么可能身體一側感到緊張、焦慮，另一側卻沒有？我仔細查看數據，兩個傳感裝置在這前后一切正常，任何異樣。我試圖找到問題所在，但沮喪地一無所獲，不得不破例給我假期中的學生打電話。學生說，那剛好是他弟弟癲癇大發作前 20 分鐘。
雷鋒網按：這件事令 Rosalind Picard 異常震驚，一度以為是傳感器故障，這是因為：
腦電波在癲癇發作前產生預兆性的異常活動聞所未聞，若證實，將是醫學上的突破性發現；
癲癇只在身體一側產生異常反應，亦匪夷所思。
為解開這兩個謎題， Rosalind Picard 求證于某兒童醫院的癲癇腦外科醫生，該醫生在從醫生涯中的確遇到過癲癇發作前在身體一側產生生理反應的病例，但醫學上尚未有合理解釋。于是兩人展開研究，在癲癇患者身上進行 EEG、EDA 監測。實驗結果證實，所有患者均在癲癇發作時才產生異常腦電波、皮膚電活動（雷鋒網注：小男孩的皮膚電異常，應為無痙攣癥狀的癲癇發作）。另外，研究發現，由于大腦中許多組織成對出現，當只有其中一個受到異常腦電波刺激，身體另一側的皮膚會產生異常皮膚電活動（舉個例子，若右側腦組織接受異常刺激，人體左側皮膚會有異常電活動，反之亦然）。
癲癇發作時的腦電波異常
在此這些都不是主要成果，Rosalind Picard 等另外揭開了一個重大研究發現：當 EEG 傳感器檢測到測試者腦電波活動停止時（癲癇猝死癥（SUDEP）癥狀，大腦活動完全停止，導致患者呼吸停止），停止的時間越長，死亡的風險就越大，但同時，EDA 檢測到的皮膚電指數就越高。
癲癇猝死癥時，大腦活動停止
簡而言之，皮膚電活動指數能準確監測癲癇猝死癥。該發現意義深遠——這代表著，若癲癇患者隨身佩戴 EDA 傳感設備，一旦癲癇猝死癥發作，系統就能立刻通知其他人，予以救援。順便說一句，癲癇猝死癥的死亡率在神經系統疾病中僅次于中風，排在第二名，超過阿茲海默癥（注：民間常做老年癡呆癥）；但當它發作，癲癇者昏迷時，外界及時干預具有非常高的成功救活幾率。許多不必要的死亡，其實是癲癇猝死癥未能及時發現。
因此，Rosalind Picard 和她的同事推出了智能腕帶 Embrace，內置 EDA 模塊，能準確監測癲癇患者的狀態。Embrace 已獲得歐盟的醫療設備認證，并正在申請美國的許可。
Embrace
Embrace 發布之后，Rosalind Picard 收到一個患者家庭的感謝信。事情是這樣的：該家庭的媽媽給患有癲癇的女兒買了 Embrace，24 小時佩戴。出事時，媽媽正在家里洗澡，但她的智能手機突然發出 Embrace 發來的警報。她拿起手機看了一下，不確實是否該相信，但猶豫一下后就沖出浴室，發現女兒臉朝下趴在地面上，呼吸停止，臉色變成了藍紫色。她把女兒翻過來，實施簡單的刺激，女兒重新開始呼吸，臉色慢慢變紅。她十分感謝 Embrace 救了女兒一命。
被媽媽和 Embrace 拯救的小女孩
我們正在做一些更具深遠意義的事情。
在美國15-44歲的人群中，重度抑郁癥是造成殘疾的主因。下面是 CDC 搜集的橫跨15年的數據，反映出一個非常嚴肅的社會趨勢：
在 1999-2014 年間，美國自殺率增長了 24%
45-64 歲白人男性人群自殺率上升 59%
45-64 歲白人女性人群自殺率上升 80%
5-14 歲年輕女孩自殺率翻了三倍
抑郁癥不僅在美國，在全世界范圍內都將成為人類的重大生存威脅：發展中國家的自殺率更高且仍在增長。
WHO （世衛組織）的預測是：
到 2020 年，每 20 秒就有一人自殺。
而到 2030 年，抑郁將超越癌癥、交通事故、戰爭和中風，成為人類死亡和殘疾的首要誘因。
當然這個數據只是預測，我們不希望這成為現實。所以在麻省理工的 MediaLab，我們在思考：“為什么不開發一些預防措施呢？”今天，我們已經能很容易地從手機、可穿戴等設備里獲得情緒焦慮數據、睡眠數據、社交數據和其它情緒數據。我們每年從參與研究的用戶身上，搜集超過 10 億樣本數據，包括睡眠波、運動、光照（lightning exposure）、自主神經系統焦慮、發信息行為、打電話行為、地理位置、社交網絡互動 、移動出行等等數據。
結合機器學習技術進行因果推理，我們或許能預測情緒變化。如果我們能預測出部分心情變化，那么就能避免一些對自己不利的事，提高生活品質。舉個例子，當你工作到凌晨，不確定是要去睡覺，還是多花點時間把工作完成。機器學習算法可根據過去的數據，推算出如果你熬夜工作，第二天身體狀態會很不好、心情很差的概率，再根據推算結果給出建議。
但現在的數據規模還遠遠不夠，需收集更多。若有了足夠的數據，如果我們能為每個城市做天氣預報，為什么不能給每個人做心情預報？如此一來，我們或許能幫助很多人避免一些焦慮、抑郁情緒，甚至是抑郁癥。目前抑郁癥治療的主要障礙是診斷：不少患者從來沒有去醫院看過醫生，絕大多數人只在情況變得嚴重時才看醫生。很多人直到被家人、朋友拽去醫院神經科才意識到自己出現了問題。
如果我們能通過機器學習技術分析數據，提供早期預警呢？如果我們能通過及早發現、采取措施，預防 80% 的抑郁癥呢？
得到預警之后，人們可以及時處理導致其抑郁狀態的導火索，避免病情惡化；然后通過一系列社交、運動、睡眠、飲食、焦慮來改善生理、精神狀態。這是我的研究小組正著手挑戰的難題之一，這會是一個長期的研究課題。
相關文章：
李飛飛：“情緒”和“情感”，是人工智能的下一個春天 | 未來論壇2017
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
