MIT：人工智能+分析師直覺 網(wǎng)絡安全的友誼小船永不翻

如今的網(wǎng)絡安全系統(tǒng)，要么是人來監(jiān)控可疑信息，要么是由機器來進行判斷。對前者來說，所謂“分析驅(qū)動的解決方案”依賴于現(xiàn)有專家建立的規(guī)則，因此不符合規(guī)則的任何攻擊都會被錯過；同時，現(xiàn)在機器學習的方法依賴于“異常檢測”，這往往會引發(fā)誤報，無論如何兩者都會導致系統(tǒng)的不信任，人們不得不進行調(diào)查。

但是，如果有合并這兩種方式的解決方案，將會是什么樣的？

最近一篇新論文討論了這一可能性。在麻省理工學院計算機科學與人工智能實驗室（CSAIL）和機器學習創(chuàng)業(yè)公司PatternEx共同研發(fā)了叫做AI2（這個名字來源于合并人工智能AI和人稱“分析師直覺”Analyst Intuition。）的人工智能平臺，該平臺通過不斷整合人類專家的輸入，預測網(wǎng)絡攻擊顯著比現(xiàn)有系統(tǒng)更好。

研究小組發(fā)現(xiàn)，AI2可以檢測85％的攻擊，這大概是以前基準的三倍，同時減少了五分之四的誤判。該系統(tǒng)在36億的日志數(shù)據(jù)進行測試，由數(shù)百萬用戶用時三個多月產(chǎn)生的日志。

為了預測攻擊，AI2會梳理數(shù)據(jù)和檢測可疑活動，其通過聚類分析的方法，再加上自主機器學習，把數(shù)據(jù)變成有意義的模式。然后呈現(xiàn)給人類分析師，以確認哪些事件是實際的攻擊，并把反饋集成模式，為下一組數(shù)據(jù)服務。

“你可以想象該系統(tǒng)為一個虛擬的分析師，”CSAIL科學家Kayan Veeramachaneni說，他與PatternEx首席數(shù)據(jù)科學家阿納爾多·伊格納西奧一起研發(fā)了AI2。 “它不斷產(chǎn)生新的模式，它可以在短短的幾個小時里優(yōu)化，這意味著它可以顯著并迅速提高其檢測率。”

Veeramachaneni在上周紐約召開的IEEE大數(shù)據(jù)安全國際會議中，呈現(xiàn)了關(guān)于該系統(tǒng)的論文。

創(chuàng)建一個融合人類和計算機為基礎的網(wǎng)絡安全系統(tǒng)十分棘手，部分原因是手動標注網(wǎng)絡安全數(shù)據(jù)算法是一個挑戰(zhàn)。

例如，假設你要開發(fā)一個識別精度高的計算機視覺算法。給這樣的數(shù)據(jù)加標簽很簡單：只要招募少數(shù)志愿者標記照片為或者“物”或“非物”，并且把數(shù)據(jù)融入到算法中。

但對于網(wǎng)絡安全的任務來說，在眾包網(wǎng)站如亞馬遜Mechanical Turk，一般人根本沒有辨別“DDOS”或“發(fā)現(xiàn)攻擊”這樣的技能，Veeramachaneni說， “你需要安全方面的專家。”

這就引出了另一個問題：專家都很忙，他們不可能整天審查大量被標記為可疑的數(shù)據(jù)。大家都知道，公司會棄用工作太繁雜的平臺，所以有效的機器學習系統(tǒng)，必須在沒有給人類帶來工作負擔的情況下，能夠提高自身。

AI2的秘密武器就是它融合了三個不同的自主學習方法，然后把頂級的事件交給分析師來標簽。然后，它構(gòu)建一個不斷優(yōu)化的監(jiān)管模型，團隊稱其為“不斷主動學習系統(tǒng)”。

具體而言，在其訓練的第一天，AI2采集了200件最異常的事件，并把它們交給專家。隨著時間的推移，它不斷提高，越來越能清楚識別真實攻擊，這意味著不久的將來，分析員可以每天只需要審核30或40宗事件。

“這篇論文匯集了分析師的直覺和機器學習的優(yōu)勢，并最終壓低了錯判和誤判的數(shù)量，”計算機科學教授Nitesh Chawla說， “這項研究有可能成為抵御諸如欺詐、濫用服務和盜用帳戶等攻擊，這些攻擊對面向消費者的系統(tǒng)來說都是挑戰(zhàn)。”

該小組說，AI2可以擴展到每天數(shù)十億的日志，將數(shù)據(jù)轉(zhuǎn)換成不同的“類別”，或?qū)⑿袨榉诸悶椤罢！被颉爱惓！薄?nbsp;

“系統(tǒng)檢測到越多的攻擊，其接收到分析師的反饋就越多，反過來又提高了未來預測的準確度，”Veeramachaneni說， “這樣的人機交互創(chuàng)造了一個美麗又級級滲透的效應”。

via MIT

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。