0
| 本文作者： 任然 | 2018-09-25 19:13 |
雷鋒網(wǎng)消息，Cadence是一家AI行業(yè)參與者，他們的Tensilica IP產(chǎn)品仍然非常引人注目，并且出現(xiàn)在流行的SoC中，如HiSilicon的Kirin陣容或MediaTek的芯片組。隨著業(yè)界試圖將基于云的AI推理轉(zhuǎn)移到邊緣端設(shè)備本身，設(shè)備內(nèi)神經(jīng)網(wǎng)絡(luò)推理的市場正在爆炸式增長，以實(shí)現(xiàn)更低的功率和更低的延遲。
雷鋒網(wǎng)了解到，Cadence于本周展示了從物聯(lián)網(wǎng)、移動(dòng)、AR/VR到智能監(jiān)控和汽車應(yīng)用等各個(gè)領(lǐng)域的廣泛性能需求，并公布了更多有望加速邊緣端神經(jīng)網(wǎng)絡(luò)推理的產(chǎn)品，并宣布推出一種新的專用“AI”IP，專注于滿足各種各樣需求的性能和擴(kuò)展，擴(kuò)展比以前更高，性能有望達(dá)到100 TMACs（萬億矩陣積累操作）。
Cadence表示，在汽車動(dòng)力等應(yīng)用中將擁有大量傳感器，包括攝像頭，激光雷達(dá)和超聲波等，對(duì)于推理性能的需求非常急迫。 標(biāo)準(zhǔn)DSP將處理信號(hào)處理的主要任務(wù)，但實(shí)際上對(duì)數(shù)據(jù)有意義的任務(wù)將被移交給神經(jīng)網(wǎng)絡(luò)加速器，例如處理感知和決策制定任務(wù)的DNA 100。
Cadence宣稱與具有類似尺寸的MAC引擎的競爭解決方案相比，DNA 100具有高達(dá)4.7倍的性能優(yōu)勢。Cadence通過它的稀疏計(jì)算架構(gòu)實(shí)現(xiàn)了這一點(diǎn)，這意味著它只計(jì)算非零激活和權(quán)重，并實(shí)現(xiàn)了比競爭對(duì)手更高的硬件MAC利用率。
“神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是固有的權(quán)重和激活的稀疏性，這會(huì)導(dǎo)致其他處理器中的MAC通過加載和乘零而不必要地消耗性能。DNA 100處理器的專用硬件計(jì)算引擎消除了這兩個(gè)問題，允許利用這種稀疏性來提高效率和減少計(jì)算量。神經(jīng)網(wǎng)絡(luò)的再訓(xùn)練有助于增加網(wǎng)絡(luò)的稀疏性，并通過DNA 100處理器的稀疏計(jì)算引擎實(shí)現(xiàn)最大性能。”
在架構(gòu)方面， DNA 100與其他推理加速器看起來很相似，其最重要的處理能力在于Cadence稱之為“可擴(kuò)展稀疏計(jì)算引擎”的MAC引擎，它們處理卷積階段以及完全連接的分類層的任務(wù)。
MACs是本地的8位整數(shù)，能夠在全吞吐量的量化模型上操作，但它也提供了半速率的16位整數(shù)和四分之一吞吐量的16位浮點(diǎn)操作。單個(gè)MAC引擎/稀疏計(jì)算引擎在256/512/1024 MAC中都是可伸縮的，之后IP可以通過添加更多引擎進(jìn)行擴(kuò)展，最多可達(dá)4個(gè)。這意味著最大配置的單個(gè)DNA 100硬件塊最多包含4096個(gè)MAC。
Cadence仍然非常清楚，有些應(yīng)用場景或神經(jīng)網(wǎng)絡(luò)模型可能無法由固定函數(shù)IP處理，并且仍然提供了將DNA 100與現(xiàn)有DSP IP耦合的可能性。這兩種產(chǎn)品緊密耦合，DSP可以有效地處理更多特殊的的NN層，將內(nèi)核傳遞回DNA 100，從而使解決方案具有未來的可擴(kuò)展性，并可擴(kuò)展到客戶希望的定制層。
帶寬是神經(jīng)網(wǎng)絡(luò)推理硬件中的一個(gè)關(guān)鍵瓶頸，因此為了獲得最佳性能并且不受平臺(tái)限制，壓縮是必不可少的。DNA 100除了通過壓縮權(quán)重和激活來提供帶寬減少功能，在原始帶寬方面，IP還提供1到4個(gè)AXI 128或256位接口的非常寬的接口選項(xiàng)，這意味著在最寬的配置中最高可達(dá)1024位總線寬度。
要將IP擴(kuò)展到4096MACs以上，只需將多個(gè)硬件塊并排放置到SoC上，就可以大大提高理論計(jì)算能力。軟件在這里扮演了一個(gè)關(guān)鍵角色，因?yàn)樗軌蛟诓煌膲K之間正確地分配工作負(fù)載。Cadence解釋說，這種方式也可以用來加速單個(gè)內(nèi)核/推理，此外他們還設(shè)想通過芯片到芯片通信實(shí)現(xiàn)可能的多芯片擴(kuò)展。
就DNA 100的性能而言，Cadence再次強(qiáng)調(diào)其架構(gòu)的實(shí)際性能明顯高于具有相同數(shù)量MAC的等效競爭架構(gòu)。這里的“有效TMACs”是一個(gè)奇怪的指標(biāo)，以雷鋒網(wǎng)獲取的信息來看，根據(jù)權(quán)重和激活數(shù)據(jù)是否經(jīng)過編譯器和培訓(xùn)的修剪，有效性能也在2倍到3倍之間浮動(dòng)。
Cadence展示了ResNet50的性能，其DNA 100配置為最大4K MAC配置，具有4TMAC的原始硬件性能。根據(jù)官方數(shù)據(jù)，DNA 100的性能比競爭解決方案高出4.7倍，它的性能達(dá)到了2550fps，而競爭對(duì)手的性能為538fps。在能耗比方面，DNA 100相比競爭解決方案也具有2.3倍的優(yōu)勢。當(dāng)然，測試中的網(wǎng)絡(luò)經(jīng)過了修剪，以在DNA 100上達(dá)到最好結(jié)果。
在軟件方面，Cadence提供了一個(gè)完整的軟件棧和神經(jīng)網(wǎng)絡(luò)編譯器來充分利用硬件，包括網(wǎng)絡(luò)分析器和優(yōu)化器以及所需的設(shè)備驅(qū)動(dòng)程序。Cadence最近還宣布，它將支持Facebook的Glow編譯器（一個(gè)跨硬件平臺(tái)的機(jī)器學(xué)習(xí)編譯器）。
DNA 100的硬件IP將在2019年初獲得許可，產(chǎn)品最早將在2020年底左右面世。
via：Anandtech
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
