2
現在已經有人開始利用人工智能研究動漫里萌萌噠的視覺語言了。加州大學圣迭戈分校的Neil Cohn和Sean Ehly兩位學者對日式視覺語言中的“詞素”進行了描述與分類，并且分析了1997年到2012年最受歡迎的10本男生向漫畫和10本女生向漫畫，包括《火影忍者》、《進擊的巨人》、《妖精的尾巴》等。他們發現，視覺語言在男生向漫畫與女生向漫畫并無顯著差異。
那些生活在漫畫二次元世界中的人，他們的生活是怎樣的？色迷迷盯著美女時，他們的鼻子會流血；安穩睡覺時，他們的鼻子上又會出現氣泡。一旦二次元漫畫人物情緒高漲，他們就會迅速變得異常“卡通化”，就像下圖這樣——
（日本漫畫中的代表性情緒“視覺語言” | 圖片來源：Visual Language Lab）
即便不認識圖中的英文，看過日式動漫的人想必也一定能理解這些卡通圖像的含義。這些長久以來約定俗成的漫畫元素被稱作“視覺語言”，流血的鼻子和鼻子上的氣泡等則被視為“視覺詞素”。
人類使用口頭或書面語言來交流，同時也會使用視覺圖像，例如繪畫。但運用視覺進行交流有其特殊性。首要的一個問題是，我們說口語，那么我們畫（）?
當代的語言與認知理論給出的答案正是“視覺語言。”實證也表明，人們在處理視覺信息時，大腦的神經反應與處理口語句子相似。和口語一樣，視覺語言也分為多個語種，這與各地區的文化差異有關。
在東亞流行的日式漫畫建立在“日式視覺語言”上，它們與美式漫畫或法式漫畫差異極大。“日式視覺語言”只是一種統稱，中國與韓國的許多動漫也具備這些元素。另外，“日式視覺語言”也并非只出現在動漫中，它早已滲入到東亞青少年的日常生活，你在QQ或微信上一定被類似下圖中的表情萌到過。
（視覺語言萌萌噠 | 圖片來源：千圖）
現在，有學者開始研究生活中的這種視覺語言了。
為了研究這種視覺語言，加州大學圣迭戈分校的Neil Cohn和Sean Ehly兩位學者對日式視覺語言中的“詞素”進行了描述與分類。為此，他們分析了1997年到2012年最受歡迎的10本男生向漫畫和10本女生向漫畫，包括《火影忍者》、《進擊的巨人》、《妖精的尾巴》等作品。
運用人工智能領域的圖像識別與自然語言處理技術，他們分類了日本漫畫中約定俗稱的73個圖形模式，下面便是其中的12種。他們還發現，視覺語言在男生向漫畫與女生向漫畫并無顯著差異，只有10種只出現在某一類漫畫里。他們的論文將發表在2016年新一期的《語用學雜志》（Journal of Pragmatics）上。
（雷鋒網萌萌噠二次元記者友情備注：男生向就是后宮向，男主自帶主角光環，所有女孩子都喜歡他一個人，其他男二男三都沒人愛；女生向就是耽美番，里面全是男的，各種搞基賣腐，或者像月刊少女野崎君那樣的純愛番，男主蠢萌，女主各種追。這種狗血劇跟韓劇有些類似，但是沒有那些要死要活的，只有賣萌。）
（日本漫畫中的圖形模式 | 圖片來源：黑匣）
從自然語言到視覺語言
長久以來，人工智能研究者的夢想便是讓電腦等機器“懂”人類的語言。人工智能和語言學交叉，形成了自然語言處理這一分支。現在，機器已經能夠基本“聽懂”人類的語言，自然語言處理早已滲入普通人的生活。
以語音搜索與識別為例，根據德勤的報告，Google在2014年將語音識別的精準度從2012年的84%提升到如今的98%，移動端Android系統的語音識別準確性提高了25%。而在2015年5月，微軟宣布實時翻譯工具Skype Translator面向所有用戶開放預覽版，它能自動翻譯不同語言的語音通話和即時通信消息。未來，科幻電影《星際迷航》中的“萬用對講機”很可能變為現實，各個地區之間的語言障礙將不復存在。
但是人類還同時使用其他“語言”溝通，例如面部表情。雖然圖像識別發展迅速，理解人類的表情或情緒對于機器來說仍然困難。
人工智能也“看臉”
現在，機器已經能夠識別人臉等圖像，近年逐漸興起的深度學習技術更是讓圖像識別有了巨大飛躍。
2014年，4位Google深度學習科學家發表了一篇題為“Show and Tell: A Neural Image Caption Generator（NIC，神經圖片標題生成器）”的論文，展示了神經網絡為圖片自主擬出標題的技術。NIC堪與圖片編輯相比，是一項包含視覺和語言要素的大型實驗。其非凡之處在于，它將可視化圖片的學習系統建立在神經網絡的基礎上，而后者可以用自然語言造句。
（NIC根據圖像生成完整的自然語言句子 | 圖片來源：arXiv）
下一步，憑借著人工智能的發展，機器或許將可以很好地理解人類的面部表情等情緒表達。許多學者認為，要將自然語言處理拓展到視覺語言，首先要弄懂這種“語言”的基本“詞素”。
運用各種視覺元素來展現情節與情緒的漫畫無疑是個很好的載體。如何機器能夠預先知道漫畫的典型視覺“詞素”，也能識別出對話等文本，那么“看懂”漫畫就指日可待。最終，人類的各種表情與情緒也難逃機器法眼，一個能看懂你的小冰或者Siri難道不更聰明可愛嗎？
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
