0
雷鋒網(wǎng)消息：據(jù)南大周志華微博，微眾銀行首席人工智能官楊強教授擔任國際人工智能大會AAAI 2021大會主席。楊強教授的此次任職亦是AAAI大會歷史上第二位大會主席，同時屬華人首次。
周志華教授在微博中提到，2020年前AAAI僅設程序委員會主席（Program Committe e chair），沒有大會主席（ General chair）。由于近來投稿量劇增，為了使程序委員會主席能把精力集中在稿件學術質量把控上，2020年起才開始設置大會主席。
楊強教授是人工智能業(yè)界的國際專家，在學術界和工業(yè)界做出了許多貢獻，尤其近些年為中國人工智能和數(shù)據(jù)挖掘的發(fā)展做出了重要的貢獻。楊強教授是國際人工智能界“遷移學習”（transfer learning）領域的發(fā)起人和帶頭人，同時也是國際“聯(lián)邦學習”（Federated Learning）的發(fā)起人之一及帶頭人。
他于2013年7月當選為AAAI Fellow，這也使他成為第一位獲此殊榮的華人；之后又于2016年5月當選為AAAI執(zhí)行委員會委員，是首位AAAI華人執(zhí)委，2017年8月當選為國際人工智能聯(lián)合會（IJCAI）理事會主席，是第一位擔任IJCAI理事會主席的華人科學家。
由此可見，擔任 AAAI 2021 大會主席，也是順理成章之事。
比較巧合的是，不久之前，雷鋒網(wǎng) AI 科技評論恰好聆聽了楊強教授做的一場報告。1月11日，在《清華-中國工程院知識智能聯(lián)合研究中心年會暨認知智能高峰論壇》上，楊強教授做了《機器學習的幾個前沿問題》的報告，針對人工智能算法方面的限制，在機器學習層面對幾個前沿問題做了總結。在報告中，楊教授指出，在機器學習流程中的大多數(shù)環(huán)節(jié)都可以進行自動化設計；面對小數(shù)據(jù)集的困境，遷移學習是很好的解決方案；在隱私保護越來越重視的今天，聯(lián)邦學習可以實現(xiàn)利用多方數(shù)據(jù)進行訓練，還能夠很好的保護每一方的數(shù)據(jù)隱私。
AI 科技評論藉此機會，將楊強教授的觀點分享給大家，如下——雷鋒網(wǎng) AI科技評論做了有刪改的整理，未經(jīng)楊強教授本人確認。
雖然人工智能現(xiàn)在發(fā)展的非常火熱，但是人工智能面臨巨大的挑戰(zhàn)，首先是人才的挑戰(zhàn)，培養(yǎng)一個人工智能的人才，包括在學校里的培養(yǎng)，在實踐當中培養(yǎng)，前后加起來需要耗費近十年的時間。那么人工智能技術本身是不是可以用來設計人工智能？在人工智能的具體應用環(huán)節(jié)，有的環(huán)節(jié)是否能夠讓人工智能來進行？換句話說，AI的算法是不是可以自動化的進行設計？要解決這個問題需要全面考慮AI算法，尤其是機器學習算法整個流程的每個環(huán)節(jié)，哪個環(huán)節(jié)適宜用自動化，哪個環(huán)節(jié)不能用自動化。
機器學習的整個流程包括問題的定義、收集數(shù)據(jù)、建立特征工程、模型的訓練和測試、應用，最后再將應用的結果反饋到第一步。所以這個循環(huán)的過程非常繁雜，有很多的環(huán)節(jié)需要人工智能的專家，這也是為什么一個人工智能落地的項目非常昂貴的原因。所以哪個步驟可以用自動化來解決？例如從定義問題出發(fā)，定義問題不僅僅是從過去知識學習的問題，還能夠有意識的提出新穎的想法，甚至有些想法沒有過去的經(jīng)驗可參考。
因此我們斷定在定義問題的環(huán)節(jié)很難引入自動化，但是后面的環(huán)節(jié)，例如數(shù)據(jù)的收集、數(shù)據(jù)聚合，然后形成特征工程，包括模型的訓練其實都是可以自動化。
在數(shù)學模型的概念上，機器學習目的在于使訓練數(shù)據(jù)和模型之間的差別變得越來越小，整個過程是一個優(yōu)化的過程，也是一個概率的過程。我們在尋找模型的時候，實際上是在配置的參數(shù)空間里面尋找。但是參數(shù)的數(shù)量，尤其是在深度學習里面的參數(shù)數(shù)量非常多，維度可以達到上億。這些參數(shù)一般是機器學習專家來調(diào)節(jié)，那么如果使用機器，效果是不是更好？
第二個環(huán)節(jié)，是性能的評估，即評估模型和訓練數(shù)據(jù)差別，這個環(huán)節(jié)也可以部分的由機器來解決，雖然這個差別本身的定義還是由人來解決，即由數(shù)學家來定義一個模型和訓練數(shù)據(jù)之間到底有多大的差別。所以，最近的一些分析，人工智能的基礎是不是應該是數(shù)學，就體現(xiàn)在：數(shù)學家對距離的定義，即各種各樣的在不同的空間，轉化空間之間的距離的定義。那么如何高效的求解，在這個空間里面找到最佳的配置是一個優(yōu)化的問題，所以總結起來為：數(shù)據(jù)的預處理、特征處理和模型訓練。這幾個方面都可以形成一些搜索空間，可以在這樣的空間里面形成優(yōu)化函數(shù)，例如上圖左邊是三個空間，那么在這三個空間就包括在右邊的那個性能的空間里面。
自動化的特征工程已經(jīng)有非常好的平臺，例如第四范式公司推出了AutoCross平臺，他會把不同維度的特征自動的組合篩選，最后推出最優(yōu)化的組合。同時現(xiàn)在比較困難的是在自動化機器學習里如何找到一個最優(yōu)的網(wǎng)絡結構，這也是拓撲空間的搜索問題。
上圖的右上角展現(xiàn)的是一個深度學習的拓撲結構，也即從一個神經(jīng)元到另外一個神經(jīng)元之間的連接，這種連接千變?nèi)f化，而且影響是巨大。那么如何找到一個最佳的拓撲結構？這是比較難的問題，這個問題現(xiàn)在也在嘗試自動化的方式解決，具體來說是引用了強化學習的概念，如上圖左側所示。首先在深度學習的過程中，右邊展示的是如何不斷地尋找一個更好的配值，即網(wǎng)絡拓撲空間的一個配值參數(shù)，然后再返回到設計，由此得到反饋。這就像AlphaGo下棋一樣，不同的是把棋盤定義成網(wǎng)絡的連接。
現(xiàn)有深度學習的各種各樣的算法，都有一個重要的假設：存在足夠的數(shù)據(jù)。如果數(shù)據(jù)不夠，可以用遷移學習來解決。
具體方法是：先看上圖紅色模型，假設我們要訓練的模型是上圖這種目標模型，需要很多的數(shù)據(jù)。如果假設數(shù)據(jù)有限，就需要在上圖左側尋找藍色領域，藍色區(qū)域的特點為：具有大量的數(shù)據(jù)、有非常可靠的模型、模型效果非常好。那么遷移學習是：從上圖藍色成熟的模型遷移到紅色領域。這類似于人類的類比學習，舉一反三。
結果是：如果原數(shù)據(jù)量非常巨大，把它遷移到一個小數(shù)據(jù)，效果會很好。而且當原數(shù)據(jù)的數(shù)據(jù)數(shù)量和數(shù)據(jù)質量不斷提高的時候，遷移學習的效果也是不斷提高。那么就可以把其落地到一個深度學習的遷移學習上。在上圖中紅色可以遷移到藍色，紅色已經(jīng)有一個從左到右的流程，從左邊是輸入，右邊是輸出，已經(jīng)可以達到很好的分類。
但是和領域特別相關，特別具體的部分，則存在于深度模型的上端，也就是在右邊輸出的那一部分，那部分盡量的讓它不要參與遷移。這便涉及到遷移策略，類似于退火模型。隨著時間，我們把這個遷移的重點逐漸推向底層，那么這樣就使得下面的這個藍色的模型的遷移效果變得越來越好，
這種遷移方式現(xiàn)在也在業(yè)界大量的實施，例如汽車金融的風險控制上，大額的汽車貸款往往是很少的，那么就需要遷移學習的解決方案，具體做法是是通過小額貸款，大量數(shù)據(jù)，通過在兩個數(shù)據(jù)之間遷移得到很好的效果。
例如城市計算，假設在一個城市已經(jīng)獲得了很好的交通出行的預測模型，那么可以把它遷移到一個新的城市，那么在這個新的城市不用收集很多的數(shù)據(jù)，就可以獲得很好的結果。上面提到的自動化的遷移學習，就是用機器學習來學習遷移學習的策略。策略的要點是：對原領域的選擇，對遷移學習算法的選擇。那么在右邊的優(yōu)化空間里面再找最佳的優(yōu)化解，把這個問題變成數(shù)學的問題，然后便可解決。
越來越多的聲音告訴我們，在做人工智能的時候也要做有道德的人工智能。首先一定要保護人的利益，人的利益最大體現(xiàn)就是隱私。大數(shù)據(jù)一方面可以提高效率，另一方面會涉及到很多人的隱私。現(xiàn)在各種法律法規(guī)也頻繁出現(xiàn)，例如歐洲的GDPR的保護法，中國也有相應非常嚴格的個人隱私保護法，并且遍布在游戲、金融、互聯(lián)網(wǎng)各個方面。過去的情況是：不同的機構把數(shù)據(jù)聚合到一個大數(shù)據(jù)公司，同時發(fā)揮大數(shù)據(jù)公司的力量，從而有足夠的樣本和維度；缺點是會暴露隱私。
現(xiàn)在有沒有別的辦法把模型高質量的建立起來呢？聯(lián)邦學習（Federated learning）是一種新的做法。意思是：假設有兩個數(shù)據(jù)擁有方，A方和B方，A方是上面的矩陣，B方是下面的這個矩陣，他們之間可能有數(shù)據(jù)上的重疊。現(xiàn)在的目的是讓A方看不到B方，B方也看不到A方，同時要建立一個共有的模型，這個模型把兩方的數(shù)據(jù)都用上。舉例來說：假設一個農(nóng)夫在養(yǎng)一只羊，他需要把各地的草收集到農(nóng)莊來喂羊，類似于把數(shù)據(jù)聚合到中心服務器。但是假設草不能移動到外地，現(xiàn)在能做的是領著羊到各地吃草。也就是讓模型先到A方來加以訓練，再把模型帶到B方加以訓練，幾次之后，模型就壯大了，而數(shù)據(jù)不用流出本地，這就是聯(lián)邦學習的思想。
聯(lián)邦學習需要很多計算機領域的跨領域的知識，例如多方計算、隱私加密、加密技術、數(shù)學、分布式的機器學習、分布式計算。具體怎么做呢？例如要在兩個領域之間做遷移學習模型，從A遷移到B，不讓A看到B的數(shù)據(jù)的同時不讓B看到A的數(shù)據(jù)。這可以以通過邏輯回歸的辦法，把數(shù)據(jù)的參數(shù)、權重等等進行加密，然后把加密的包給運到B，然后加密包會參與到B端的模型訓練，然后再把模型加密運到A，如此循環(huán)往復多次之，模型也成熟了。上述過程有兩點：第一沒有泄露任何一方面的數(shù)據(jù)，第二個達到的效果和用兩邊數(shù)據(jù)之和訓練出來的是一樣的。
電商和視頻里大量使用的推薦系統(tǒng)會產(chǎn)生大量的數(shù)據(jù)，不同的推薦方擁有的數(shù)據(jù)不同，為了保護隱私，不能粗暴的把所有的手機點擊產(chǎn)生的數(shù)據(jù)上傳，所以要采用聯(lián)邦學習的做法。具體做法如下：
首先認識到數(shù)據(jù)有兩個部分，一部分是描述用戶，就是上圖右側U1~UN。另一部分是對產(chǎn)品的描述，用線性代數(shù)里面的矩陣描述。對矩陣分解以后，然后認識到雖然有不同的用戶，但是產(chǎn)品本身矩陣是共有的，這個矩陣可以用聯(lián)邦邦學習來學習。具體學習過程是：
每一部分在迭代的過程中，都在貢獻自己學到的那一部分的特征值，然后把它傳到服務器上，在這里面要特別關注的是上圖右邊紅色加密步驟：在上傳和下傳時用模塊加密，同時包裝產(chǎn)品矩陣的參數(shù)包，使每一方都相互看不到彼此的數(shù)據(jù)，同時模型不斷壯大。
同時可以把此過程遷移學習化，即兩個數(shù)據(jù)方的用戶和參數(shù)的維度都重疊很少的情況下，可以退一步把其映射到一個子空間來進行學習，如此便可得到很魯棒的學習效果。在具體的電影推薦數(shù)據(jù)集實踐結果如上圖所示，右邊代表錯誤率，錯誤率隨著訓練的次數(shù)急劇的下降。
同時在新聞推薦方面，在財新的新聞推薦中使用的就是聯(lián)邦學習和遷移學習的推薦引擎。如今此項技術已經(jīng)開源，并放在了Linux Foundation上，而且最近已經(jīng)有所突破。
金融機構AI的落地應用特別關心的一個議題是如何做到反欺詐。人工智能的發(fā)展有一種技術：Deepfake，可以來模擬一個完全虛擬的人，虛擬和真實的之間不僅人看不出，現(xiàn)在很多人工智能算法也不能區(qū)分。
當前AI造假主要集中于以下幾點：第一個是對數(shù)據(jù)的造假；第二是對模型的造假；第三是對結果的造假。針對上面三個方面，研究者們展開了針對性的研究，例如對于訓練的過程，在考慮原本訓練目標的基礎上，同時考慮加入對抗的樣本，來增強模型的魯棒性。不僅要考慮一個模型，而且我們要考慮多個模型，從不同的角度來對樣本進行分類。假設壞人用了兩個模型，我們要用四個模型，假設壞人也學會用四個模型，我們就要用八個模型。
最后總結一下，人工智能的成功方面在于：第一能把一個環(huán)節(jié)給自動化，例如剛開始講的自動化機器學習。第二分布式的大數(shù)據(jù)，即怎樣能夠在保護隱私的前提下，讓不同的數(shù)據(jù)擁有方合作。第三則是高性能計算能力的提升，這一點我沒有太多研究，清華在這方面做了非常多的研究，我就不再贅述。謝謝大家！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
