0
| 本文作者： 包永剛 | 2020-11-14 08:56 |
曾經統治手機GPU IP市場的Imagination，歷經變動之后，目前在移動GPU IP市場占有率有36%，汽車GPU IP市占率43%。近來，Imagination近期發布的一系列新品不僅是其實力的展現，也足以讓同行們增加對這位老對手的關注。
11月13日，Imagination發布了耗時兩年研發的最新的第三代神經網絡加速器（NNA）產品IMG Series4，其全新的多核架構可提供600 TOPS（每秒萬億次操作）甚至更高的超高性能，主要面向先進駕駛輔助系統（ADAS）和自動駕駛應用。
以低功耗產品見長Imagination推出高性能的終極AI加速器，會給在自動駕駛汽車芯片市場占有領導地位的Nvidia多大的沖擊？
耗時兩年打造的終極AI加速器
Imagination在AI火熱的2017年推出首代神經網絡加速器（NNA）PowerVR 2NX，單核性能從1TOPS到4.1TOPS。緊接著，2018年PowerVR 3NX發布，單核性能從0.6TOPS到10TOPS，多核產品性能從20TOPS到160TOPS。
性能增強的同時，Imagination的NNA主要面向的市場也從2NX時的移動設備和汽車市場，進一步拓展到智能相機監控、消費電子（尤其是數字電視）、低功耗IoT智能設備領域。
時隔兩年之后，Imagination才推出第三代NNA產品4NX。4NX系列的單核性能進一步提升，每個單核能以不到1瓦的功耗提供12.5TOPS的性能。相比前兩代NNA，新一代產品強調的是全新多核架構，這個新的多核架構支持在多個內核之間對工作負載進行靈活的分配和同步，從而實現更高性能。
Imagination Technologies產品管理部門總監Gilberto Rodriguez介紹，“我們的軟件提供了精細的控制能力，并通過對多個工作負載進行批處理、拆分和調度而提高了靈活性，可以在任意數量的內核上使用。Series4可為每個集群配置 2個、4個、6個或者8個內核。1個8內核的集群可以提供100TOPS的算力，配有6個8核集群的解決方案就可以提供600 TOPS的算力。”
據悉，在AI推理方面，Series4 NNA的性能比嵌入式GPU快20倍以上，比嵌入式CPU快1000倍。
至于為什么要推出如此高性能的AI加速器，Gilberto Rodriguez表示，“ADAS和自動駕駛對芯片有很高的算力需求，比如L2+的駕駛員檢測或語音/手勢控制需要10TOPS的性能，L3-L4級別的自動駕駛有50-100TOPS的性能需求，L5級別的自動駕駛性能需求超過500TOPS。”
“雖然市場上已經有滿足自動駕駛需求的AI芯片，但功耗不夠理想。所以，我們花兩年時間去了解和評估客戶需求，基于我們的前兩代低功耗的產品，推出了高性能低功耗的4NX系列產品，并且將自動駕駛作為主打市場，也可以應用于數據中心和桌面級GPU。” Imagination Technologies視覺和人工智能部門高級總監Andrew Grant表示。
600TOPS的高性能如何兼顧低功耗？
需要指出的是，4NX系列的8內核集群要實現100TOPS的性能，超過30 TOPS/Watt 的性能功耗比，以及超過12 TOPS/mm^2 的性能密度是要在5nm節點實現。Gilberto Rodriguez也提到，如果要用多個集群實現更高算力，Imagination可以提供多集群的協同機制，但也需要客戶在應用層進行一些設計。
多核靈活架構帶來的可擴展性讓4NX可以實現高性能，但對于高性能芯片而言，功耗的控制也非常關鍵，特別是AI芯片。AI芯片需要處理大量的數據，并且數據的搬運耗費的功耗遠大于數據處理，因此，高性能AI芯片必須想辦法盡量減少數據的搬運，同時降低延遲和節省帶寬。
對于延遲的降低，Imagination采用的方法是單核組成2核、4核、6核或8核的多核集群中，所有內核可以相互協作，并行處理一個任務，降低處理延遲，縮短響應時間。當然，集群中和多核既可以共同執行一個批處理任務，也可以分別運行各自不同的網絡，也就是各個內核能夠獨立運行。
核數的增加帶來性能提升的同時降低延遲
不同的核獨立運行
4NX更大的亮點在于其節省帶寬的Tensor Tiling（ Imagination’s Tensor Tiling，ITT）技術，這是Imagination正在申請專利的技術，也是4系列中新增的功能。Tensor Tiling技術利用本地數據的依賴性將中間數據保存在片上存儲器中，最大限度地減少將數據傳輸至外部存儲器，相比上代產品，將帶寬降低多達90％。
具體而言，神經網絡的多層以融合內核的形式運行在加速器的硬件流水線里，融合內核之間的特征圖（Feature Map）需要通過外部存儲進行交換。Tiling技術是充分利用緊耦合的 SRAM 來融合更多的層，更多的層被融合之后，就減少了需要通過外部存儲交換的特征圖，進而達到提升效率，節省帶寬的目的。
還需要說明一下Tensor Tiling技術中的批處理和拆分，批處理是分配適合批處理的大量的小型網絡任務到每個獨立工作的NNA單核，能夠提升并行處理能力。拆分則是任務在多個維度被拆分，所有NNA單核共同執行一個推理任務，減少網絡推理延遲的同時，在理想情況下協同并行處理的吞吐量與獨立并發處理的相同，非常適合網絡層很大的網絡。
當然，Tensor Tiling的拆分是通過Imagination提供的編譯器來完成，不需要開發者手動完成，并且利用NNA的性能分析工具能夠對AI任務進行更好地調度和分配。
那Tensor Tiling在節省帶寬的同時能否減少數據的搬移？Gilberto Rodriguez對雷鋒網表示，“答案是肯定的。一方面，Tensor Tiling讓待處理數據通過內存帶寬的傳輸減少，另一方面，重復利用的神經網絡權重給處理器核的傳輸次數也減少，這讓就可以有效減少數據搬運。”
硬件上層的工具鏈方面，Imagination的離線和在線工具組成的工作流程可以讓開發者更快實現部署。
Nvidia在自動駕駛領域將迎來新對手？
Nvidia在2015年就推出了車載計算平臺，此后持續迭代，目前在自動駕駛芯片市場已經處于優勢地位。不過，擅長桌面級GPU的Nvidia能夠提供高性能，但功耗可能對于電池供電的電動汽車不夠友好。這也是在對功耗要求比較嚴格的移動端有優勢的Imagination的機會所在。
與Nvidia有所不同，Imagination是IP提供商，并不會直接提供芯片。因此，Imagination可以與領先的汽車行業顛覆者、一級供應商、整車廠（OEM）和汽車系統級芯片（SoC）廠商合作，推出有競爭力的產品。為了幫助合作伙伴更好進入這一市場更快推出車規級產品，此次推出的NX4還包含IP級別的安全功能且設計流程符合ISO 26262標準。ISO 26262是旨在解決汽車電子產品風險的行業安全標準。
新推出的4系列NNA可以在不影響性能的情況下，安全地進行神經網絡推理。硬件安全機制可以保護編譯后的網絡、網絡的執行和數據處理管道。
Andrew Grant透露，已經開始提供授權，并將于2020年12月在市場上全面供應。授權的客戶目前已經不止一家。
這就意味著，自動駕駛芯片市場將會迎來更多有競爭力的產品。雷鋒網認為，Imagination更強的GPU和NNA產品組合將會幫助更多想要進入這一市場的公司推出更有競爭力的產品。上個月，Imagination發布了最新一代的IMG B系列高性能GPU IP，這款多核架構GPU IP 4個系列內核有33種配置。
更通用的GPU和更專用的AI加速器，顯然可以給高性能計算帶來更多的選擇。有意思的是，Nvidia目前也擁有性能強勁的GPU和AI加速Tensor Core的組合。
ABI Research預計，到2027年左右，對ADAS的需求將增長兩倍，但汽車行業已然將目光投向了更遠的全自動駕駛汽車和自動駕駛出租車，從L2和L3級ADAS向L4和L5級全自動駕駛演進的過程中，高性能、低延遲和高能效的結合將是關鍵所在。
巨大的市場機會之下，兩家芯片產品優勢類似的公司，會如何競爭？
注：文中配圖來自Imagination Technology 雷鋒網
相關文章：
一款多核架構GPU IP有多達33種配置！Imagination要守住移動市場攻向云端
Imagination第二代神經網絡加速器和第九代GPU推出，AI應用如何影響芯片設計？
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
