1
王琦深鞠一躬，臺下掌聲回蕩。
【王琦】
受訪、演講 | 王琦，花名大牛蛙，GeekPwn 創辦人。
文 | 史中，雷鋒網主筆，希望用簡單的語言解釋科技的一切。
GeekPwn，這個中國最著名的黑客大賽落幕。中國頂尖的黑客用一場場破解秀填滿了劇場，而劇場坐落在這艘游輪中，游輪飄蕩在南中國海。
黑客王琦曾經一手創辦了微軟中國應急響應中心，又拉起了名震江湖的 KEEN Team 安全研究團隊。四年前，他立志要做中國最酷的黑客大賽，要讓那些曾經因為買不起車房而遭受岳母白眼的黑客們找回尊嚴。為此，他改組了如日中天的 KEEN Team。
在智能硬件炙手可熱的時候，黑客在 GeekPwn 上一次黑掉數十枚攝像頭，讓他們隨著口令擺動窺探。這些攝像頭的舞蹈如一個淺顯的寓言，然而卻一語成讖——兩年之后的2016年，黑客控制幾十萬攝像頭攻擊了美國沿海地區，半壁國土斷網數小時，造成20億美元損失。
被無視幾乎是先驅的宿命。更何況，他們只是在硬件廠商眼里的一幫搞“雞鳴狗盜”的黑客。
但這不要緊，你在各種媒體上看到的王琦，永遠是雙眼放光，嘴唇微張，一手持話筒，一手指向空中，不激動也不潦草。他似乎還遠沒有氣餒，而就在今天謝幕之前，王琦不急不緩地走上舞臺，說出了也許是這次 2017 GeekPwn 年中賽最精彩的一個預言。
AI 將會成為黑客攻擊的對象，AI 將會成為黑客攻擊的武器。
我們先做這樣一個測試（看PPT圖片）。左邊是一只貓，右邊有兩句話。如果你看到這張圖你會怎么理解？你問一個人還是一個機器會得出不一樣的答案。
小明：我不是很確定，但是我認為碗里是一只貓。
小花：乍一看，我以為是一杯卡布奇諾。
右邊這兩句話分別是我們輸入這個圖片以后，人和人工智能機器說的。你們認為小明是機器人，還是認為小花是機器人？
我公布一下答案，其實小明是機器人。因為在這個判斷里面，小明沒有經過圖靈測試。
為什么要提到這一點呢？我們 GeekPwn（極棒）現在在AI 領域，主要是視覺這一塊做了一些事情。本來今天的項目里面有一個“無人駕駛汽車攻擊”——如何讓無人駕駛汽車識別一個錯誤的東西，不過很遺憾這個項目在比賽前兩天選手選擇了退出。
我想跟大家說，我們現在提出的 AI 安全挑戰是面臨爭議的。
計算機視覺發展了這么多年，很難。到現在來說也發展得并不好。為什么計算機視覺這么難？
▲上圖為一家人躺在沙發上的圖片
從1956年開始，最早人們做計算機圖片識別的時候，機器只是懂得0和1，讀像素還是用數字。比如說這張圖，我們看到旁邊是沙發的邊緣，但是當時對機器來說就很難；讓機器標注出來這是一只狗而不是沙發靠墊，更難。正常人看到這個圖片是一家人看電視，但是 AI 理解不到這一點。如果我們提一個問題，計算機你看到什么了？你看到前面的小屁孩衣服是什么顏色？它就更難去做了。
現在計算機視覺識別在標注方面不錯了，發展得非常迅速。知道哪個是狗，哪個是人了。之所以計算機視覺在 AI 發展里面扮演這么重要的角色，因為人的大腦70%的信息都是來自于視覺。
▲谷歌貓
這其中必須要提到一點的是谷歌貓的事情。借助“谷歌大腦”，在沒有任何培訓和指令的情況下，就可以利用內在算法從海量數據中自動提取信息，學會如何識別貓。也就是說，2012 年谷歌計算機已經實現了無標簽的輸入。2012年到2014年這個時期內，計算機視覺識別率也一直提升，2012年27%的錯誤率，2014年只有3.5%的錯誤率，而同樣條件下人的錯誤率是4%。也就是說現在 AI 識別圖象的能力基本和人相當。
這其實就是完全借助了深度學習的方式。深度學習這是一個統稱，包括像阿爾法狗，卷積神經網絡都用了深度學習其中的一個模型。
谷歌貓使用了深度學習技術
這是特斯拉最新的自動駕駛，它標注車、物體都非常地準確，這是非常令人興奮的應用。但是站在黑客的角度，我們想到了一些事情。大家知道在極棒現場，包括我們安全領域都是在黑掉汽車方面做過一些事情的。
但是，我們黑掉一個 ATM 機和黑掉一個 PC 沒有什么區別；我們黑掉無人機和手機也差別不大。我們能否有更酷的方法？你可以看到這輛車行駛的過程中旁邊有一個穿白衣服的人。成熟的系統當然認為那是一個人，但是不是我們能夠欺騙它，讓它認為是一個樹樁或是消防拴？如果有人能這樣黑掉的話，我特別歡迎。2016年的時候，極棒美國硅谷專場的時候有專家在這方面做了一些研究。
我們調查的時候發現，做 AI 的人對安全的了解不太多，做安全的了解 AI 也不太多。我們去年找到了在谷歌工作的Ian Goodfellow，他驗證了我們的想法，他現在做出的這個結果和我們想要的結果類似。我們發現其實人工智能的模型都非常類似：通過大量的學習樣本，深度學習作出決策，這是人工智能的學習方法。于是我們挖漏洞的過程就是：
生成大量的樣本，交給軟件，改變數據流程，最后導致一個錯誤的決策。
通過這樣一個模型，Ian到我們的現場展示了另外一個東西。他在一個離線的狀態下，利用了猜測機器學習的過程。
人眼看到的這是一只狗，隨便掌握人工智能的系統都可以把它識別成一只狗。
但是這個圖經過修整，就騙過了很領先的識別系統，很多系統堅持認為這是一只鴕鳥。
還有一個這張噪點圖片，識別系統堅持認為它是一只熊貓。
除了圖像識別之外，語音識別同樣有這樣的威脅。
去年微軟推出了人工智能聊天機器人。但是，剛推出一天它就開始說臟話。在它學習了半天的時候，看到很多人跟它說臟話，它認為這是人跟人之間正常的交流溝通方式。
▲微軟的聊天機器人 Tay
所以我覺得，到了人工智能時代，人人都可能成為黑客。互聯網時代的代表是搜索引擎，搜索結構被污染還是需要技術的，但微軟機器人被污染不需要技術和代碼，只需要你對它說臟話。
我一直把現在攻破的智能設備很不客氣定義為偽智能，它只是替代了我們的手和腳，還不能代替思考。弱智能時代總有一天會變成強智能、超強智能時代。那一天來臨的時候，是不是要讓它安全的為人類服務呢？
剛才我說了圖象和語音，其實我還想再舉個例子。
▲上圖為人打掉機器狗正在搬運的東西， 通過各種“虐待”來提高機器狗的運輸可靠性和反應能力。
大家知道這個波士頓動力出的機器狗。波士頓動力是不同于圖象和語音的智能，這是一種行為智能。行走的過程中學習生物保持自身平衡。
看看這個機器狗是怎么被訓練的。用腳踹讓它維持平衡，為難它。大家也許覺得這個人很惡心，機器狗很可憐。但我們從黑客的角度看到了就脊背發涼。如果這個機器人覺得踹一腳或是給別人一拳是正常的呢？
▲超能查派
有一個電影《超能查派》，這個小機器人剛做出來就被劫匪搶了，他出來以后覺得戴著粗金鏈子拿著這槍搶錢是正常的工作。我希望如果時代的發展，從偽智能到弱智能到強智能。真的走到哪一天，我們有義務讓 AI 為我們安全地服務。
也許有人認為我是杞人憂天，但我認為恰恰相反。
AI 的決策錯誤現在通常被理解為僅僅是錯誤。但是安全領域里的經驗告訴我們：現在的安全漏洞在很多年前也僅僅是錯誤，用黑客思維理解，就會明白很多錯誤其實就是可以利用的漏洞。
有人認為黑客思維對 AI 沒有實質性幫助，我認為恰恰相反。
AI 之父圖靈在二戰的時候，也就是提出“機器會思考嗎”的十年前，也是一名典型的黑客角色。黑客的逆向思考可能會幫助當前 AI 正向模擬神經網絡中遇到的困難。
今年10月24日極棒大賽的時候，我們會公布新規則。有兩個部分，一個是PWN AI，一個是AI PWN。左邊是把人工智能干掉，也就是欺騙；右邊是用人工智能干掉一些東西。
2014 年有個人在美國 Blackhat 上公布一個技術，在幾十米外看到一個人輸入密碼鍵盤，從行為上就可以判斷出他輸的密碼是多少。他的論文沒有用到人工智能的部分，于是我們和人工智能的專家進行了溝通，如果輸入一堆密碼，通過機器學習的方法判斷我輸入的是什么密碼——無論是單指是雙指輸入——去破壞掉安全，我們也歡迎這樣的黑客。
如果我們利用自己的特長，能夠未雨綢繆提前做一些事情，幫助 AI 正常的發展，非常有意義。這一步可能走得有點早，但我覺得只要走得早，一定有大收獲。
王琦覺得，“腦洞大開”是黑客大賽的使命。
為此，他已經把戰場搬到了在公海飄蕩的游輪之上。
王琦回憶起第一屆 GeekPwn 破解秀，在彼時用各種姿勢攻破智能硬件可謂奇思妙想。但他坦誠地告訴雷鋒網：
近些年 GeekPwn 上的項目確實創新不足。中國黑客在智能硬件上最 Low 的漏洞都可以超越美國人一大截，但大多都局限在“命題作文”。如果不去提示，很多人就不會去嘗試新的破解領域。所以，十月的 GeekPwn 大賽我準備把主場放到美國，在中國我也要去主動劃定新的研究目標。
帶領一幫本身就領先于時代的黑客們去嘗試，未嘗不是一件辛苦的事。但這幾乎是他唯一的使命和選擇。
據此，AI 可能就是 GeekPwn 的下一個靶心。
本文作者史中（微信：Fungungun），雷鋒網主筆，希望用簡單的語言解釋科技的一切。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
