依圖科技CTO顏水成：算法即芯片 | CCF-GAIR 2020

2020 年 8 月 7 日，第五屆全球人工智能與機器人峰會（CCF-GAIR 2020）于深圳正式拉開帷幕。

CCF-GAIR 2020 峰會由中國計算機學會（CCF）主辦，香港中文大學（深圳）、雷鋒網聯合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協辦。

從 2016 年的學產結合，2017 年的產業落地，2018 年的垂直細分，2019 年的人工智能 40 周年，峰會一直致力于打造國內人工智能和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資平臺。

8 月 7 日下午，依圖科技 CTO 顏水成為人工智能前沿專場做了題為《芯智能，新基建》的主題演講。

顏水成從新基建的產業大規模應用出發，首先探討了學術界和工業界在人工智能探索方面的差別；以紅燒獅子頭作比喻，認為學術界追求算法的可復制性、新穎性和公平性，而工業界的最終面向對象是客戶，而客戶是并不關心過程的。

所以，顏水成認為，工業界要想讓人工智能走向落地，一個非常重要的點是要讓人工智能的成本降低，讓用戶用得起；這時候就需要把算法的效能和芯片的效能，通過協同開發的方式去形成人工智能的解決方案，而不是純粹的算法——這種解決方案稱之為芯智能。

值得一提的是，顏水成在演講中也談到了 "算法即芯片" 的理念，他表示：

要想打造一款有競爭力的芯片，要清晰明白這個芯片典型的使用場景，它的主要算法以及這些算法在未來幾年里可能的發展趨勢，然后根據這些信息再去對芯片架構進行優化，以及對工具鏈做相應的優化，最后實現它們相互的優化，但同時也要保障芯片和算法能夠分層解耦。

以下是顏水成大會現場全部演講內容，雷鋒網作了不改變原意的整理及編輯：

顏水成：今天想跟大家分享依圖在人工智能解決方案和人工智能的基礎設施維度的一些觀點和進展。

人工智能在學術界和工業界的探索之差

今年新基建被提出來，在新基建的概念里面，一共定義了 7 個核心領域，其中有 4 個領域都跟人工智能和芯片有密切的聯系，如果仔細分析這四個方向，就會發現其跟產業大規模的應用是非常相關的，但是當我們去探索人工智能的時候，在學術界和工業界的差別是非常巨大的。

下面我想用一個類似“紅燒獅子頭”這樣的比喻來說明在工業界和學術界研究人工智能本質的差別。我們暫且從深度學習的角度出發，把紅燒獅子頭當做是學術界或者工業界訓練出來的最終的模型，在學術界，我們要得到這樣一個模型或者寫一篇論文，一般我們會說“請廚師在這個廚房用這些食材，當面給我做一個紅燒獅子頭”為什么是這樣呢？因為在學術界評判的對象是行業的專家，我們追求算法的可復制性，追求它的新穎性、公平性。公平性就意味著你要用同樣的數據，要用同樣的算力來做工作。新穎性就是這個廚師在做的過程中有什么新穎的地方，如果新穎的話，我就會覺得這個工作非常好。

但是工業界不是這樣的，我們的評判對象是最終的客戶，它的場景就類似于我就要一個紅燒獅子頭，請給我上來。我們的最終客戶并不會關心我們到底是用什么樣的食材做的，用了什么樣的制作工具，以及到底是誰烹飪的，我們都不管，他關心的就是最后他的這個紅燒獅子頭的味道是什么樣子的。

正是因為這些差別，有很多的學術界的教授到工業界并不能很好地適應這種變化。所以在工業界里面當我們去研究人工智能的時候，一個非常優秀的人工智能的模型，它的精度和速度在某種意義上已經可以開始被解耦。

在工業界如果要想打造一個非常不錯的人工智能的模型，一般有兩種方式，一種是數據和迭代的執行力，一種是在算法上的創新。

如果我們要提升一個模型的精度，在當前這個大背景，也就是很多算法已經被開源的情況下，從算法角度能提升的精度和用大數據能提升的精度相比，往往大數據能提升的要大非常多。

但是如果我們想從速度的角度來提升，這個時候純粹靠速度和執行力，它的價值就相對來說會小很多，算法的價值就會變得非常大。

也就是說在工業界，在算法已經給你的情況下，你從數據的角度能快速提升精度，當然是對速度的提升相對有限。

但是從算法創新的角度，可以把這個速度提升得非常多，但是精度的提升是非常弱的。如果我們要想讓人工智能落地的話，首先是要讓用戶用得起人工智能，同時，需要把算法的效能和芯片的效能，通過協同開發的方式形成人工智能的解決方案，而不是純粹的算法，我們把這種解決方案叫做芯智能，而這也是依圖在過去這幾年作為服務于新基建的核心和根基。

那么，為什么要做芯片和算法的協同開發呢？下面我們從三個維度的關系來做一個分析，一是算法模型的效能，二是芯片計算的效能，三是算法模型效能和芯片計算效能合并之后能分析的數據的規模。

如果我們只是一個算法開發者，當一款算法開發出來之后，把它用在具體的芯片上，姑且認為它們能處理的速度規模就是它們的線段交叉的部分，當我們用更高效能的芯片，也就是說我們會用更好制程的芯片提升它的效能，我們能處理的數據的規模會不斷提升。但是因為算法和芯片兩個是分開的，所以它只能起到一個線性連接的作用。

假設我是一個芯片開發者，我們要解決一個具體場景的應用，比如說城市大腦，當我們用不同的模型，隨著模型的效能提升，我們能夠讓這個分析的規模逐步的提升。但是如果我們協同開發，它就完全不一樣了，它會帶來一個額外的增量，它不再只是說連線上能處理的數據的規模，協同開發會帶來一個額外的增量，這個增量會極大地提升最終解決方案的效能，從而讓我們提供的解決方案更具核心競爭力。

具體來說就是“算法即芯片”的理念，你要想在當前芯片非常多的背景下，打造一款有競爭力的芯片，你要清晰明白這個芯片典型的使用場景，它有哪些主要的算法，以及這些算法在接下來幾年里面可能的發展趨勢，然后根據這些信息再去對你的芯片架構進行優化，以及工具鏈做相應的優化，最后實現它們相互的優化，但要保障芯片和算法能夠分層解耦。

依圖做的兩個工作

接下來跟大家分享依圖在過去這段時間里面在高效能的算法和高效能的芯片里面做的一些工作。

在高效能算法里面分享兩個，第一個工作是想跟 bottleneck structure  （音）做一個正名，它也可以用來設計低資源、低功耗的深度學習的模型，自從 MobileNetV2 被提出來之后，Inverted Residual Block(IRB) 一直被用來設計所有低資源、低功耗的深度學習的模型，但是 IRB 有一個特點，它的連接的部分是在窄的部分，在這個部分有一個比較大的問題，當信息通道變少了以后，也就是說它窄了的話，從不同的隨機數據樣本獲取的梯度差別就會很大，它會有很大的抖動，當不同數據樣本里面產生的梯度互相矛盾的時候，優化的速度就會大大的降低。盡管在 MobileNetV2 里面有實驗表明: IRB 這種反漏斗模型的效率比 bottleneck structure 要好很多，但是并沒有太仔細地講它這個漏斗模型到底是怎么樣設計的。

于是我們做了三組非常詳細的實驗，一組實驗是在 IRB 的1×1卷積之后，第二個是在 3×3 這個寬的地方有 ReLU 的情況，第三種是把 ReLU 去掉去做直連。如果我們從 1×1 的卷積上直連，它的性能確確實實比 IRB 差不少，但是我們把它連接的位次上升到 3×3 的卷積的時候，效率就提升了，一個經驗上的解釋是因為 1×1 卷積缺少 Special information，或者它的 Complex 比不上 3×3 卷積之后那么好。（這部分不太確定）

就第三種情況來看，當我們把這個 ReLU 去掉之后，它的模型就比 IRB 有更好的效能，從 72.3% 上升到  73.7%，從這些實驗說明，bottleneck structure如果純粹從結構上說，會增益網絡梯度更新，增加收斂速度，進而用來設計低功耗的深度學習的模型是沒有問題的。

我們到底如何設計一個非常通用的適合于低功耗的場景的模型呢？

我們直接從 bottleneck structure 開始肯定是比較難，因為 3×3 的卷積是放在非常窄的地方，Spatial context 考慮得太少，于是我們把 3×3 卷積從它原來的位置放到了比較寬的位置，同時我們把它 copy 兩份，這樣即使在 Depthwise 這種情況下，這個模型 Spatial context 還能考慮得非常充分，于是我們就得到了右邊這樣一個 bottleneck structure，用來設計低功耗深度學習的模型。

但是還有一個問題，如果從寬的地方直連，一個現實的情況是在現在的算力平臺上，Element wise 這種加法計算的效能是相對來說比較差的，同時跳躍鏈接可能會引起額外的內存訪問，這對于計算效能的影響也是不可忽略的。所以減小跳躍鏈接的Tensor 尺度可以有效的提高硬件效率。這也是當時 IRB 提出的一個主要原因，于是我們提出一種思想叫Partial connection，這恰好是我們在 2017 年打 ImageNet 競賽里面提出的一個核心的思想，這個實驗的結果非常有意思，我們把它從原來百分之百的直連降成 50% 的直連，一般而言它的性能不但沒有下降，還會上升，這也證明原來這種思想也是非常合適的，這樣我們就得到了非常適合做低資源、低功耗、深度學習的模型設計的網絡。我們把 MobileNetV2 的 IRB 的結構替換成新的 SG Block  的模型，把模型的性能從 72.3% 上升到 74%，加上一些其它的優化，可以上升到 77.3%，在這種情況下，說明我們用 bottleneck structure 已經跟當前幾乎是最好的低資源的深度學習模型可以媲美。

我們看一下這個模型的結構，是不是有足夠的泛化的能力，于是把它放到了現在大家在深度思考的 NAS的思想里面，我們用 Darts 的算法，把原來的 search space 加入SG block，我們做了三組不同的實驗，一種用原始的 search space，一種把 IRB放進去，SG Block在參數一定降低的情況下，還能把精度提升，而且Darts會自動地在它的網絡里面大量選用 SG Block，也就是說 SG Block 是通用的，可以在很多場景使用，來提升低資源、低功耗、深度學習設計的網絡。

第二個工作是希望去提升在 Language model 或者 Training model 的 Training Efficient。前面幾位講者介紹的模型，哪怕最原始的模型，都會有一個顯著的問題，跟通用的計算機視覺模型相比，它的參數要大很多，它差不多是4倍以上的參數、60 倍以上的計算量，這樣帶來的后果就是，除了大公司有能力去探索這個領域，在學校里面的研究者基本上沒有太多的機會深入地對這些方向進行探索，我覺得這肯定不是最好的，于是我們思考，能不能有辦法把基礎的速度大幅提升。在 self-attention 使用的時候，我們發現一個比較大的問題，它這里面存在非常多的冗余的信息。

Attention 的機制是希望動態確定一個 token，跟其它的 token  之間的Dependency，self-attention是說所有的 token 產生對所有 token 的 Dependency，如果用 Fix convolution kernel 的話，這種  Dependency是固定的，如果用最簡單的Dynamic，就是從一個 token 去產生一個肯定的結果肯定是非常難的，因為語義上有很多歧義，比如說一個 Apple，它有可能是一個品牌，也可能是一個真實的水果，如果純粹從一個 token  出發，它非常難把真正的Dependency 展示出來，我們用 一個token 和一個周圍的token去預測 Local Dependency，于是就得到了新的這種結構。

實驗表明，Fix convolution kernel肯定是最差的，我們這種效果有很好的提升。

另外一個維度，如果兩者融合，它的效果肯定會更好。于是我們把它融合在一起，融合在一起之后會發現一個很有意思的事情，在有 Convolution 的情況下，在新的模型里面，self-attention模塊就會轉向真的去刻畫 Global Dependency。把它們真正地用更細致的實驗去跑這些模型，你會發現正因為有這種 Global 和local模塊 的加入，我們能夠用 1/10 的訓練的時間和 1/6 的參數，就能獲得跟原來的模型獲得一樣的精度，這種機制就可以讓更多的學者用更少的時間能夠去探索 Language model 的訓練，對于這個領域的發展來說，我覺得也是非常重要的。

在芯片這個維度，我們主要想分享幾個我們的觀點和最近的進展。

有很多人最近經常要回答的一個問題是，算法、算力和數據在工業界來說到底哪一個是最重要的，毫無疑問，如果從科學的角度來說，肯定只有算法是最重要的，沒有它的不斷地探索，我們不可能讓整個領域往前推動。

但是從工業界來說，特別是在當前這個階段，算力已經變得越來越重要，一方面是因為智能密度的提升，更多的傳感器和數據是要被處理。這時候需要的算力會大幅度增加。另外一個非常重要的原因是我們處在一個從感知智能向決策智能躍遷的階段，我們會對感知智能的精度要求更高，我們要對解釋對象的數量大幅的提升，以及對象之間的關系也會大幅的提升，這時候合在一起，對算力的要求會是一個指數級的增加。

另外一個維度，大家都探索過對模型的訓練，它所需要的算力，已經不是原來的摩爾時代的那種速度，已經是每三個多月的時間就會翻一番。很顯然，我們已經進入到一個算力霸權的時代，GPT-3 前面已經講過，我們就看計算機視覺這個領域，最近一個方向是自我訓練，當我們想要得到一個非常有效的模型，已經需要用 2000  多塊 TPU core 訓練 6 天的時間，用網上的報價來算，需要 13 萬美金才能訓練一個模型，這對學術界來說也是一個非常巨大的挑戰。

當我們把訓練和價格放在一起思考的時候，需要考慮如何大規模的降低算力的成本。在算力霸權的情況下，我們真的要回答 AI 的終局是什么，比如說自然語言能達到什么樣的程度，這時候一定要打造自己的AI芯片。

前面提到依圖 AI 芯片設計的理念是“算法即芯片”，在這里我想再用一個齒輪的圖形給大家清晰理解“算法即芯片”的意義是什么。當我們確定了幾個典型的應用場景，它足夠大、足夠消化這款芯片，我們就會知道有哪些算法，以及這些算法就能夠拆解出它的算子出來，如果我們的 AI 芯片對于這些算子的頻率做了一個分析，然后做了一個設計上的優化和設計之后，當一個算法跑起來，AI 芯片里面相應的算子就會被啟動，當另外一部分算法跑起來，另外一部分算子就會被啟動，這樣它的算子的冗余和利用率，就會根據我們的場景和算法有一個相互的優化和協同的開發，它的效能肯定是最好的。

依圖基于這種理念，在 2019 年 5 月份發布了第一款芯片叫求索芯片，這款芯片發布即商用，發布這款芯片的時候，直接就在現場拉了 200 路視頻，把我們的 AI 芯片做成 AI 服務器，實時的做推理和分析。

這款芯片是由云端和邊緣端視覺推理的芯片，它具備了 AI 的端到端的能力。具體來說，跟發布時市面最典型的解決方案相比，單路視頻的功耗能降到 1/5 到 1/10，單位面積芯片也有相應的優勢，這樣對于大大地降低用戶最終的購買和使用成本，這個價值是非常不錯的。

基于依圖的高效能 AI 的算法，大家可能理解的比較多的是依圖的人臉識別的算法，其實依圖在 Re-ID 維度落地也非常不錯，再加上依圖的求索芯片在一起，我們打造 AI 的解決方案，相應的硬件包括云端的服務器和邊緣盒子，分別應用于不同的場景，對應剛才陳老師的說法，右邊的放在邊緣計算，左邊的放在云端計算。

這些一體化的解決方案，已經用來解鎖不同的場景，依圖解鎖場景有兩種方式，一種方式是用精度的極限，比如說在福州和貴陽用刷臉乘地鐵的方案，是因為人臉識別的精度已經非常高，能夠滿足這種場景的應用。

另外一些場景要解鎖是要解鎖用戶買得起，比如說城市級的智慧城市解決方案，在這種情況下，你可能要處理的視頻路數是 10 萬到 50 萬路，只有當 AI 的芯片和 AI 算法柔和在一起，才可能打造出一個可用的解決方案。

最后做一個簡短的總結，依圖會在芯智能這條路上不斷地深耕，不斷地提升算法的效能和芯片的效能，通過協同開發的形式，我們期望為新基建提供更高效能的芯智能的解決方案。謝謝大家。

問答環節

主持人：謝謝顏水成的精彩演講。下面是提問環節。

提問：你說算法和硬件你是聯合考慮的，如果說把硬件和算法解耦出來，讓其它公司的算法跑進去，也能有這么高的效率嗎？這是第一個問題。第二個問題，你剛才講 AI 芯片的設計，你是面向具體的應用場景的，你的 PPT 里面講了有語音的，也有視覺的，是不是你們的芯片在語音和視覺方面都做了很好的優化？

顏水成：第一個問題，我們講了要對不同場景常見的算法以及它未來的趨勢做預測，意味著我們在預測的時候，其實已經把其它的算法廠商可能的算法的特點考慮進來了，所以這款芯片是能保證算法和芯片是解耦的，也就是說這款芯片也能夠讓第三方廠家的算法在上面能夠跑得不錯。為了保障它跑得不錯，因為我們有一些算子肯定是優化得比另外一些算子更好，所以一般的情況下，我們都會提供一個平臺，讓第三方的廠家可以根據這個平臺去Re-Design，或者是用NAS的方式自動搜索它的模型的結構，以便更好地適應芯片上的特點。

第二個問題，我們這款芯片最初的目的是用于云和邊的視覺推理，但是因為我們有相應的算子的支持，其實依圖也做語音識別，而且做得也不錯，落地的地方也不少，我們發現對我們的語音識別的算法，對有些算子稍作調整，語音識別的算法也是可以跑在這款芯片里面。

提問：這兩個應用完全不一樣，單比特的算力，視覺類和語音類差距比較大。

顏水成：是，所以我們定的目標是視覺類的，但是當語音的數據量并不是非常大的時候，當然我們也希望有，在這里面跑也是可以的。

提問：視覺類的算法邊界也是很大的，場景也是很多的，是不是像檢測、跟蹤、語義分割，包括行為分析都可以？

顏水成：這是肯定的，因為你是用幾個場景來定義這款芯片的，在幾個場景下，你所用到的常規的算法肯定是一定要全部包含的。

主持人：再次謝謝水成。

溫馨提示：

大會現場票已罄，應觀眾強烈需求，現新增少許第三天 7 個專場通票，請于 8 月 8 號 23:00 前申請搶座：微信打開https://gair.leiphone.com/gair/free/s/5f28d5ae607bf  一鍵獲取。

雷鋒網雷鋒網雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。