為什么AI加速芯片還很少獲得有意義的采用？

雷鋒網按，目前市場上已經有許多初創公司都提供了AI加速器，然后得到大規模應用的非常少，這其中算法的遷移、初創公司能否提供開發套件都是很關鍵的原因，另外，供應商和芯片公司之間深層次的理解差異也是造成芯片規模沒有獲得大規模采用的原因。Codeplay的Andrew Richards給出了自己的見解。

對于AI芯片初創公司來說，將重點放在芯片的峰值性能以及Benchmark（基準性能測試）上，可能會吸引那些在尋找深度學習訓練或推理硬件的人。不過，開發人員可能會遇到數周甚至數月開發的程序，無法高效地運行，甚至遇上根本無法在新設備上運行的情況。這并不令人意外，因為將算法移植到芯片上超越了編譯器的能力。

這并不是缺乏工具、時間或資源這些常見的問題，而是有一些深層次的原因，包括AI芯片的設計方式，開發人員如何嘗試新架構，以及如何生產都存在一些基礎漏洞。

Codeplay的Andrew Richards解開了一些長久以來的疑惑，以及解答了為什么很少有AI加速器獲得有意義的采用的原因。

讓我們從關于這種意識形態，技術上的不匹配的一些觀察開始。而且它扎根于大多數著名的AI加速器公司。

幾乎所有AI芯片初創公司的團隊都來自DSP和嵌入式設備領域（比如，Graphcore的首席執行官曾任職于PicoChip和XMOS；Wave Computing的團隊主要也是做嵌入式系統）。從工作負載或者市場的角度來看（尤其是對推理而言），這幾乎是完美的專業知識，但對于AI加速芯片，這是一種全新的計算思維方式。在DSP中，幾乎所有信號處理都在設備上進行，設計也專門圍繞它進行，主控CPU只是在不進行復雜控制的時候打開或關閉。

Richards說：“對于這些AI硬件供應商而言，雇用看起來能解決所有問題的人會有用得多。” 他指出，HPC社區聚集了大量人才，因為他們花了多年的時間讓大型超級計算機使用GPU執行復雜、大規模并行的應用程序，這些應用程序通常具有非常獨特的軟件環境。

簡而言之，他們從開發人員的角度了解了工作負載的分配及其含義，將合適的工作負載轉移到合適的設備上并非易事，并且可能需要一年甚至更長的時間才能在新的體系結構上建立工作負載。游戲領域的開發人員也是如此，他們是第一個為GPU上的游戲解決卸載問題的人。

這把我們帶到了第二個關鍵點，要進行驗證、測試到AI芯片最終投入生產時，已經過去了一年的時間。為此，芯片初創公司需要強大的商業模式來實現目標。因為開發人員可能會創建一個新的體系結構，這意味著他們必須提供devkit（開發套件）和Demo硬件。這是嵌入式背景的員工無法為AI加速器初創公司服務的另一個領域。

Richards說，GPU這么快起步的原因之一是因為Nvidia能夠提供芯片，然后讓開發者們圍繞它開發自己的程序。隨著時間的推移，Nvidia所做的令人難以置信的工作是，為幾乎所有可以通過GPU加速的工作負載開發了一個豐富的生態系統，使開發人員更容易移植自己的代碼。

讓開發人者只購買一兩個或四個芯片是理想的選擇，但這無法成為初創公司的業務模式，這不適用于昂貴的加速器。因此，這是一個先有雞還是先有蛋的問題。

“如果你是AI軟件開發人員，那么你的工作就是嘗試。而且，當你這樣做時，你將購買少量的芯片用于開發。現在，AI芯片公司創立不是只為銷售一兩個芯片。對于AI初創公司而言，做到這一點非常困難，這需要通過分銷的模式才能只能銷售一個處理器。”

如果開發者無法擁有devkit和測試設備，即使是他們團隊中最具架構意識的硬件人員，也可能無法讓應用程序在硬件上運行。同時，如果沒有時間進行測試，開發周期可能需要一年甚至更長的時間。

所有這些都意味著，對于開發人員而言，使用GPU 和CPU以外的任何東西都將是一件很難的事。

“這是一個快速發展的領域，開發人員需要能夠自己編寫軟件以及運行現有框架。對于開發人員來說，使用TensorFlow或PyTorch并進行修改是很常見的，嘗試新的東西也是很常見的。當軟件開發商考慮嘗試不同的方法時，他們已經知道可以在Nvidia GPU或Intel CPU開箱即用地運行PyTorch或TensorFlow，AI初創公司也可能這么說，但情況可能并非如此。” Richards說。

“在許多情況下，AI硬件公司的軟件人員會假設API函數在CPU上運行，并異步卸載到其加速器。但是硬件供應商假定軟件API功能在其處理器上運行，這是完全不同的思維方式。他補充說，他與一些AI芯片供應商合作，討論他們為AI軟件人員提供接口方式，發現了這些深層次的分歧。

“關于AI芯片人們需要記住的最重要的事情之一是，盡管他們認為自己在出售處理器，但該芯片必須與具有CPU主機的系統配合。還需記住的是，最終的Benchmark與單個芯片的數據關系不太大，因為它只是系統的一部分。”

考慮到所有這些， Richards允許我們使用下面的圖表來展示所有遺漏的部分。至少可以說，如果你要使用AI加速器，需要深思。

Richards說，如果你是這個領域的硬件供應商，那么每個項目都會帶來一個棘手的問題。除了漫長的開發時間之外，他們必須在板上投入一個芯片，并等待一年的時間才能知道是否成功，“任何AI處理器供應商還必須說他們的第一個版本只是一個devkit，其產品是會下一個版本將投入生產。從他們的角度來看，這很艱難的，甚至不可能成為商業模式。”

Richards在他分享的第二張圖表中告訴我們，AI芯片的市場多樣化且不斷擴大。如果從AI芯片初創公司的業務模型角度考慮這一點，這將令人大開眼界。

Richards說，許多開發人員將在上述三個部分中購買演示機。但是之后他們所做的工作卻完全不同，并決定了AI加速器的成敗方案。請記住，AI開發人員想要的是編寫自己的軟件并使他們選擇的工具與體系結構相結合的能力。而且，如果看圖表最右邊的大型數據中心，這一主張變得更加困難，尤其是在超級計算站點或超大規模數據中心中，自定義代碼或舊代碼至關重要。

許多AI軟件開發人員都有HPC或者游戲的背景，他們固有地理解，對延遲敏感的任務應該在CPU上運行，而對計算敏感的任務會給加速器。因此，Richards總結說，真正重要的是整個系統。

實際情況是，很多重點都放在Benchmark的單芯片性能上，因此很明顯，除軟件人員外，其他所有人都忘記了用于AI的數據中心設備中的每一個都是系統中的一個部分。

雷鋒網編譯，via The NextPlatform 雷鋒網

相關文章：

這群清華學霸創業一年，就憑借Sticker AI芯片創造了數千萬銷售額！

能效比提高10倍且應用遷移僅需1-2周 天數智芯的AI芯片將改變什么？

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。