0
作者｜包永剛
編輯｜王 川
最近一兩個月發布的新一代的旗艦手機，散發著全新的AI味。
10月29日，首款搭載全新驍龍8至尊版的小米15/15 Pro發布，語音助理小愛同學變身為AI超級小愛。
緊隨其后發布的搭載驍龍8至尊版的旗艦手機，榮耀Magic 7系列的YOYO助理搖身一變成了YOYO智能體。一加13的小布助手進化成為超級小布助手。
就像鼠標的誕生改變了計算機界面的交互方式，智能手機的誕生帶來了全新的觸控交互界面，如今生成式AI也正在帶來一場新的終端交互變革。
“我想給大家展示這一愿景：生成式AI將從根本上改變應用程序和用戶體驗，而這正是驍龍現在以及未來的核心關注點之一。”高通公司總裁兼CEO安蒙（Cristiano Amon）在2024高通驍龍峰會上分享，“我們所熟悉的體驗即將發生變化，并且將轉變為更加容易接受和理解的方式。這不是某一個殺手級應用，而是每一個應用的體驗都將改變。”
在11月的科技盛會Web Summit上，安蒙也再次強調了高通公司對生成式AI未來的看法，他強調，生成式AI就是新的UI，它將作為新的交互方式服務于我們周圍所有的計算終端，AI賦能的智能體將成為行業應對和把握機遇的關鍵。正如觸控界面的變革讓手機成為了新的計算空間，在生成式AI的變革里，汽車、XR等更多邊緣終端也將成為新的計算空間，迎接生成式AI的時代，這也是高通已經明確的戰略方向。“AI是新的UI，以APP為中心的體驗正在改變”，安蒙表示。
深入了解驍龍8至尊版以及驍龍數字底盤強大的AI引擎正在自下而上，從硬件到軟件革新終端的體驗，將會對混合AI的未來更加期待。
AI讓手機開始「更具人味」
全新旗艦手機上智能助理的集體升級，可能會被視為營銷噱頭，但具體看看常用功能的新升級，就能品味到生成式AI時代手機的“AI味”。
先看小米AI超級小愛的改變，全新的AI字幕功能支持全局實時翻譯，看國外影片有實時字幕，開國外會議有同聲傳譯。還有AI識音支持全局聲音轉錄，能夠區分不同說話人并生成摘要。AI寫作是一個全局文字工具，支持一步潤色改寫。
常用功能有了新玩法，并且全局可用，這些都得益于手機系統層級支持了AI。
榮耀YOYO智能體同樣是平臺級AI，比如只需要一句“關閉應用通知”、“點杯奶茶”，以往手動需要好幾步的操作，一句話就能讓手機自動從系統底層調動不同應用，完成任務。
手機的AI功能更智能，應用范圍更廣，手機變得越來越有生成式AI的味道。
“人們現在已經習慣于以應用程序為中心的體驗。”安蒙說，“現在每個應用程序和用例都可能面臨改變，AI的出現讓機器可以理解人類的語言，所以我們熟悉的使用體驗將被徹底重新定義。”
那什么樣的生成式AI殺手級應用可以顛覆手機體驗？
安蒙對此表示，“很多頗具殺手級潛力的應用還未出現，但當下的轉變正在發生。我堅信生成式AI就是未來，只是沒有人能給出具體的時機。”
手機朝智能體進化的過程，就可能出現殺手級應用。
“目前已發布的智能手機中，還尚未實現真正的智能體處理，市場上現有的應用是比較優秀的智能語音助手。”高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉（Durga Malladi）在驍龍8至尊版剛發布時表示，“兩者的區別在于，智能體能夠執行更加復雜的任務，尤其是那些指令不明確的任務。例如，智能體需要自行選擇合適的模型執行處理任務。”
手機智能體實現的核心——多模態和異構計算
手機智能體的實現，就需要手機自下而上，從硬件到軟件的全面革新。
多模態大模型是實現智能體的關鍵
馬德嘉分享了一個例子，拿起手機說“今晚幫我訂一個墨西哥菜餐廳，距離不要太遠，評分要高，到店時間預計晚上7點30到8點30之間，還得是我過去三個月沒有去過的餐廳。”
要回答這個問題，智能體會要調用各種不同的模型來進行處理。首先，理解所提出的問題。其次，如果要挑選一家距離不遠的餐廳，要知道現在的位置信息。最后還要滿足“過去三個月內沒去過的餐廳”，需要基于用戶的個人知識圖譜，存儲在終端側的用戶情境信息（例如喜歡的飲食、鍛煉習慣、過往偏好等）作為個人知識圖譜，幫助手機更好地理解用戶意圖。
“智能體本質是一個能處理非常復雜任務的規劃器，與智能體交互的方式要結合語音、文本、圖像等等。”馬德嘉進一步表示，“要進行智能體規劃，多模態能力將起到非常大的幫助，所以智能體必須要有多模態的支持。”
早在今年2月，高通AI研究就演示了全球首個在Android手機上運行的多模態大模型。同時還演示了搭載驍龍X Elite的Windows PC上運行超70億參數的多模態大模型，可接受文本和環境音頻輸入（如音樂、交通環境音頻等），并基于音頻內容生成多輪對話。
上個月，高通推出了高通AI規劃器。通過理解與本地情境信息相融合的個人偏好，高通AI規劃器能夠將這些知識整合進生成式AI助手中，為用戶提供有意義的個性化回復和行動。
當然，借助多模態模型，高通AI規劃器支持多種終端交互模態，包括文本、視覺和語音。
高通技術公司手機、計算和XR事業群總經理阿力克斯·卡圖贊(Alex Katouzian）說，“智能手機助手可以支持多模態和智能體功能，意味著它可以見你所見，聞你所聞，理解你周圍的世界。這確保它能夠在不提示其他應用程序的情況下處理滿足用戶的個人需求、完全在終端上運行以保證數據安全和隱私，并即時響應用戶請求。”
高通AI規劃器將成為高通AI軟件棧的重要部分，軟件的進化也需要硬件全面升級實現更好支持。
計算效率和內存大幅升級的高通AI引擎
2015年推出的驍龍820集成了首個高通AI引擎，這是一個異構計算引擎，此后高通的AI引擎緊跟AI技術的發展和市場需求持續升級。
2018年高通Hexagon DSP升級成為Hexagon NPU，早于行業對于NPU的關注，高通的異構AI引擎也升級為CPU、GPU、NPU的組合。
今年推出的驍龍8至尊版，高通AI引擎再次全方位升級。
特別值得關注的是被稱為高通自研芯片最后一塊拼圖的高通Oryon CPU首次集成到移動平臺。
高通的首代自研Oryon CPU搭載在PC平臺驍龍X Elite上，在今年Microsoft Build上首批搭載高通Oryon CPU的Windows 11 AI+ PC宣布之后，高通便迅速成為了一匹黑馬，成為了AI PC領域的標桿，Oryon CPU幫助高通在從一家無線連接公司轉型為連接+計算公司的道路上實現了進一步的飛躍。
驍龍8至尊版上的高通第二代自研Oryon CPU，室溫環境下相比第三代驍龍8，CPU的單線程和多線程基準測試中性能有高達45%的大幅性能提升，能效提升也高達44%。第二代Oryon CPU跨代際的性能提升，對多任務處理、時延關鍵型任務、生產力應用、初始化AI工作負載都有顯著的提升。
將第二代Oryon CPU引入高通AI引擎，就像交響樂團加入了一位出色的指揮家，負責啟動所有AI工作負載，處理繁重負載任務，讓AI引擎的其他組件可以專注于特定的AI任務。
全面升級的Hexagon NPU就像是交響樂團里令人驚嘆的小提琴手。全新架構的Hexagon NPU性能提升45%，能效提升45%。
為了支持生成式AI和多模態模型，實現更快推理，Hexagon NPU增加了更多內核，更多標量內核可以支持更長內容，達到4k上下文窗口，更多的向量內核可以加強對大語言模型和傳統AI的支持。
處理效率大幅提升還不足夠，內存也是限制生成式AI在終端運行的主要因素。
“要在手機上直接運行一個100億參數的模型，不進行任何壓縮，至少需要占用20GB內存，所以模型的壓縮和量化都非常重要。”馬德嘉表示，“我們現在已經支持不同數據精度的量化技術，通過多種量化技術可以縮小模型。去年在端側運行大模型還是一個挑戰，今天對我們而言就變得相對簡單，并且我們還在持續改進。”
第二代Oryon CPU大幅改進的內存架構也讓驍龍8至尊版能符合邊緣AI的需求。
全新的Oryon CPU每個叢集都擁有12MB的二級緩存，總計24MB緊密耦合的專用緩存是智能手機領域最大的CPU緩存。同時，在每個超級內核和性能內核中，高通還大幅提升了一級緩存。另外，考慮到生成式AI高度依賴內存，驍龍8至尊版配備目前最高速的10.7Gbps LPDDR5x內存。
高通AI引擎的內存并發性，讓AI和計算機視覺工作負載可以同時訪問一個內存空間，也將端側AI的性能和可能性進一步提升。
還有首創的切片架構Adreno GPU，性能將提升40%，功耗降低40%，也是全新AI引擎中重要的組成部分。
驍龍8至尊版AI引擎的全面升級，讓驍龍8至尊版的大模型處理性能全面超越第三代驍龍8，基礎大語言模型的token生成速率提升高達100%，在目前業界流行的一些大語言模型上，驍龍8至尊版的處理速度達到超過70 tokens/s，是業界的領先水平。
當然，將全面升級的高通AI引擎與驍龍8至尊版全新設計的AI-ISP，GPU相結合，也讓新一代旗艦手機突破了影像和游戲性能的上限，并帶來了更多智能手機AI應用的可能。
比如榮耀Magic 7系列上的AI消除、AI擴圖、AI風格、人臉修復的魔法修圖功能。還有小米15系列上的告知拍攝內容就能自動匹配功能模式或參數，告訴修圖方向就可以自動調整圖像。以及一加13上AI去反光、AI消除、AI去拖影的AI拯救廢片功能。
同樣搭載驍龍8至尊版的真我GT7 Pro上的AI大神輔助2.0功能，讓AI成為游戲里全隊的最佳輔助。
汽車是新的計算空間
生成式AI是計算領域的一次重大變革，它將改變智能手機時代的布局，改變操作系統和應用商店的角色，改變計算的角色。
安蒙說，“汽車行業正經歷前所未有的重大變革。當前汽車成為了全新計算空間。我們除了為汽車帶來全新屏幕和數字座艙，生成式AI也為汽車帶來變革。”
驍龍數字底盤解決方案已經成為汽車行業的重要資產之一，高通與幾乎所有的汽車制造商都有合作關系。
全新發布的驍龍座艙至尊版平臺和Snapdragon Ride至尊版使驍龍數字底盤的性能也全面升級。
驍龍座艙至尊版集成的NPU，性能比上代旗艦驍龍座艙SoC提升高達12倍，支持transformer加速和端到端網絡架構而設計，能支持大型基礎模型。
利用其中的基礎模型之一，通過檢索增強生成（RAG）可以實現車輛預防性維護等用例——AI助手可利用在汽車手冊上進行訓練的模型，針對屏幕上的未知圖標進行答案檢索。
“我們將見證一場由AI驅動的革命。”正如安蒙所說，這也是為何許多企業也在著眼于并深信這一充滿變革的未來，并基于驍龍平臺與高通合作的原因。
高通一直致力于推動平臺AI能力的開放化，確保所有開發者都能基于高通和驍龍平臺面向不同終端打造AI應用和能力。今年年初，高通推出了高通AI Hub。高通AI Hub上目前已經有數百個面向高通和驍龍平臺優化的前沿開源AI模型，已經獲得領先的開發者生態的認可。
驍龍峰會期間，高通還宣布了與OpenAI、Meta、騰訊混元、智譜、Mistral AI、Tech Mahindra等一系列業界領先AI企業的進一步合作，以共同打造一個繁榮的邊緣側AI生態，加速生成式AI為廣泛終端帶來的體驗變革。雷峰網(公眾號：雷峰網)
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
