0
智能手機推動了AI的普及，AI美顏、AI夜景、AI語音助手等功能也讓眾多消費者感受到了AI的樂趣，雷鋒網此前的文章《拯救拍照手殘黨，告別選擇困難！手機AI還有這么多新奇玩法》曾介紹過。
動圖主要展示效果，畫質有壓縮
隨著手機AI引擎的快速提升，旗艦移動平臺的AI體驗也達到了新的高度。
以旗艦移動平臺高通驍龍8系列為例，去年推出的驍龍865的AI性能已經達到了每秒15萬億次運算（15 TOPS），是驍龍855的2倍，相比驍龍845提升達5倍。本月最新推出的驍龍888，AI性能高達26 TOPS，同時每瓦特性能相比驍龍865提升了3倍。
手機需要高達26 TOPS的AI性能嗎？這么高的AI算力能玩出什么新花樣？
高通技術公司產品管理副總裁Ziad Asghar的答案是：“AI性能大幅提升的主要來自客戶的需求，他們期待看到AI在新領域實現應用，比如視頻、游戲、安全等。”
26 TOPS頂級AI性能讓4K視頻也能再創作
更高的AI性能自然要讓拍照體驗再上一個臺階，特別是驍龍888已經將雙ISP升級為三ISP，Qualcomm Spectra 580 ISP就讓智能手機的圖像質量達到全新水平。
比如，在低環境光下，Spectra 580的速度結合驍龍888集成的第六代高通AI引擎，僅0.1Lux的照度，也拍攝出細節驚人的照片。以往，在近乎黑暗的場景下，即便找到可用的光源，保持手機穩定，拍攝的效果也未必理想，有了驍龍888的三ISP加上高性能AI，就能拍出清晰明亮的照片。
相比極端環境下的拍照，根據場景自動對焦、自動曝光和自動白平衡的3A算法日常使用的頻率更高。同樣是最新推出的高通第十代3A算法，首次融合了AI，能基于特征分析更快、更準的自動對焦和自動曝光。
沒有融合AI的3A算法對焦
驍龍888融合AI 3A算法的快速對焦
更方便的是，虹軟基于Spectra 580和第六代高通AI引擎推出的“傻瓜相機”，可以自動跟蹤人物，自動縮放帶來真正的“傻瓜相機”體驗。
虹軟“傻瓜相機”
能夠讓手機拍照如此智能的第六代高通AI引擎，非常關鍵的組成部分是Hexagon 780處理器。Hexagon 780延續了高通AI引擎標量、張量和向量加速器的異構架構，同時又進行了升級，讓加速器之間的物理距離幾乎消失。
不僅如此，高通還讓三個加速器擁有了一個很大的共享內存，讓數據可以更快、更高效的共享和移動。由此帶來的是，在某些用例中，數據交互時效最多提高上千倍。
加速器間更小的物理距離和很大的共享內存，無論對AI性能提升還是降低功耗都非常有利。這是因為，在AI計算中，數據搬運的耗能遠大于計算。而電池供電的手機對于用最少能耗實現最高性能有更迫切的需求。
Hexagon 780的標量加速器性能相比前代提升50%，張量加速器速度是前代的2倍。作為第六代AI引擎的一部分，最新的Adreno 660 GPU AI性能也提升了43%。另外，通過新的指令集，如4輸入混合精度點積，以及波浪矩陣乘法，能夠加快浮點運算。
最終，第六代高通AI引擎的性能大幅提升至26 TOPS，并且，每瓦特性能比前代提升3倍。這意味著，第六代高通AI引擎兼顧了高性能和低耗能。
26 TOPS的第六代高通AI引擎，在提升AI拍照體驗之余，已經能夠再創作4K視頻。無論是從原始視頻中刪除一個任務、重建一個背景，還是將新的人物插入到視頻場景中，一切看起來都很自然。
高通與Tetras.AI公司的合作，實現了以30fps的速度在每一幀畫面中實時去除背景，分辨率最高可以達到4K。
借助Super Movie應用，無論是想和擊劍冠軍對抗，還是T臺走秀都變得輕而易舉，還能先預覽再開始表演和錄制。
傳感器中樞讓手機更智能
26 TOPS的AI性能能讓4K視頻的再創作也變得輕松，也能讓游戲也變得更加流暢。但并非所有的AI功能都需要超強的AI性能，那些隨時待命的AI功能，像語音助理，對性能的要求不高，但對功耗要求苛刻。
去年，驍龍865首次集成了傳感器中樞，今年驍龍888的傳感器中樞升級到第二代。高通第二代傳感器中樞中集成的專用低功耗AI處理器性能提升達到5倍，但功耗不到1毫安。傳感器中樞額外的AI性能可以分擔Hexagon 780處理器80%的工作負載，滿足各種AI性能需求應用的同時，兼顧低功耗。
一個很好的例子是，利用高通第二代傳感器中樞，能夠減少Hexagon處理器上“Ok，Google”偵測算法38%的負載。
高通第二代傳感器中樞還是讓手機更加智能的關鍵所在，因為新一代的傳感器中樞可以從手機所有部分，包括麥克風等傳感器以及連接功能實時收集數據，并創建情境感知的應用。
有兩個例子，高通與Audio Analytic的合作讓手機可以識別周圍的聲學場景，根據所處的環境調節鈴聲音量，這樣從嘈雜的咖啡廳切換到安靜的會議室就不會再出現尷尬的情況。
另一個例子是高通與Mobilize Solutions合作，讓手機可以根據所處的位置，推薦適合特殊場景的社交媒體濾鏡。
傳感器中樞還有更多潛能，在沒有信號的停車場通過手機追蹤停車的位置，或者通過手機上的紅外傳感器檢測皮膚狀態獲得合適的護膚品推薦都是很好的探索。高通第二代傳感器中樞還可以結合5G、Wi-Fi、藍牙等新增的數據源，創造更多智能應用。
這就需要更加靈活和易用的軟件。
手機AI創新的大時代到來
高通是首個將終端側AI SDK推向市場的公司，高通的神經網絡處理SDK已經在全球超過5億臺安卓終端上為AI功能提供支持。第六代高通神經網絡處理SDK不僅支持更多模型，對搭載驍龍平臺的筆記本的AI用例也實現了支持。
當然，為了讓開發者能夠輕松訪問高通的AI引擎，高通與谷歌就最新的TensorFlow Micro框架合作，針對Hexagon處理器和高通傳感器中樞進行優化，通過軟件充分發揮第六代AI引擎的硬件優勢。
不止于此，此前與驍龍865同時發布的Hexagon NN Direct可以讓開發者從應用程序直接訪問Hexagon，這種讓AI應用充分利用硬件加速的做法受到廣泛認可。
驍龍888時代，這個解決方案也升級為AI引擎Direct，為整個移動平臺帶來統一的Direct應用程序接口的能力。也就是說，高通AI引擎Direct軟件為開發者提供的直接訪問硬件的途徑，不僅針對Hexagon 780處理器，還包括高通Adreno GPU和Kryo CPU。
降低AI開發難度的同時，高通也在不斷滿足AI應用的定制化需求。去年，“用戶定義算子”是第五代高通AI引擎的一部分，開發人員能夠在OpenCL中或使用Hexagon軟件開發包編寫自定義算子，然后將其插入到高通神經網絡處理SDK中。
但這對有經驗的開發者也是一個復雜冗余的過程，為了更容易實現定制化，如今Hexagon處理器已經支持開源編譯器TVM，可以用幾行簡短的Python代碼編寫自定義算子，為Hexagon編譯，直接插入AI引擎Direct框架。
軟件優化除了易用性和自定義，針對AI模型的優化也能帶來顯著提升。高通在去年公布了AI模型增效的成果，Snapchat使用這個AI模型增效工具包，量化一系列AI鏡頭模型，提高了人臉識別的準確性和性能。
今年，高通增加了更多支持以實現更好的網絡量化，還增加了循環神經網絡（RNN）和長短時記憶神經網絡（LSTM）的支持，這有助于在保持準確性的同時最大限度提高功耗與性能的平衡。
高性能的硬件和靈活易用的軟件都已經準備好，接下來AI創新的核心無疑是開發者。在AI生態的建設上，高通的態度也是開放，包括計劃與開源社區在TVM編譯器方面，以及在GitHub上開源AI模型增效工具包。
今年，高通也在中國舉辦了首屆AI創新挑戰賽。
隨著AI生態的發展和繁榮，會有哪些讓人意向不到的應用？5G+AI又會給哪些領域帶來革新？
注：文中配圖來自高通雷鋒網雷鋒網
相關文章：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
