0
剛剛結束的SIGGRAPH 2025上，Arm詳細介紹了可以在移動設備上的Arm神經技術 (Arm Neural Technology)及其原理。
這是一個罕見的舉動，因為集成Arm神經技術的Arm GPU要在2026年才會推向市場。
“Arm之所以選擇在搭載這項技術的GPU正式上市前進行發布，是因為若要這類技術能真正釋放潛力，需要游戲開發者基于它們進行創新。”Arm 終端事業部產品管理總監 Steve Steele表示。
Arm會首先推出Arm神經超級采樣 (Arm Neural Super Sampling, Arm NSS)引擎，Arm NSS能夠以每幀四毫秒的耗時，將分辨率從540p優化升級至1080p，且畫質幾乎與原生質量無異。
實際上，神經技術已經在桌面端和主機端相繼普及，Arm是業界首個將神經技術帶到移動端的公司，這得益于Arm能夠在實現性能提升的同時滿足手機端苛刻的功耗要求。
對比于傳統的全幀渲染方法，開發者可通過Arm NSS減少多達50%的GPU工作負載，從而靈活選擇如何利用這些節省的資源，既可用于降低游戲的整體功耗，也可用于提升幀率或增強視覺效果。
這將成為2026年手游愛好者值得期待的一項新技術。
什么是Arm神經超級采樣？
要解釋Arm神經超級采樣技術，最直觀的方式就是通過效果的對比。
Arm在SIGGRAPH大會上展示了全新演示項目“魔法城堡”。下圖為畫面中兩個高難度區域的放大效果。左側是真實標簽 (Ground Truth)，即全分辨率渲染的效果。ASR就是Arm超級分辨率技術實現的效果，Desktop是桌面級的超級采樣技術的效果，最右側的Arm NSS在“性能”模式下，達到與主流桌面級神經優化升級技術同等的畫質。
“Arm NSS成本更低，每幀可節省 50% 的工作負載。”Steve Steele指出。
通過效果對比可以發現，雖然桌面級的超級采樣技術和Arm NSS與真實標簽 (Ground Truth)依舊有差距，但考慮到可以用更低的成本實現如此逼真的效果，已經讓人驚嘆。
同時可以看到，與相對普及的超級分辨率技術ASR相比，Arm NSS可實現更高效和高質量的優化升級效果，這是因為Arm ASR 是基于傳統算法的方案，其性能提升只能達到一定程度。
Arm NSS是一個基于Arm ASR的升級方案，能夠通過較低質量的輸入生成同等質量的輸出，或以相同的輸入生成更高質量的輸出，且運行時間僅需四毫秒。
Arm NSS 的最終目標無疑是帶來更流暢的游戲體驗和更豐富的移動端體驗。更具體的說，該技術能讓游戲以540p分辨率進行渲染，并通過兩倍性能優化升級，輸出超高質量的畫面。這意味著，對比于傳統的全幀渲染方法，開發者可減少50%的GPU工作負載。
Arm如何實現高達50%的GPU工作負載節省？
Steve Steele解釋，“我們先通過只對場景中約25%的像素進行渲染，節省了大量的算力、能耗及時間。隨后，借助Arm NSS算法，來實現圖像的優化升級，比如從 540p 優化升級到 1080p。但是只對場景中約 25% 的像素進行渲染，為何不是節約 75% 的工作負載？那是因為在圖形中還有幾何體等其他因素需要納入考量，所以總體上可以節省多達 50% 的 GPU 工作負載。
注意，Arm NSS加速器將深度嵌入到 Arm Mali GPU 中，像是給每個GPU著色器都增加了“迷你”NPU。
Arm神經技術的另外兩個用例
除了Arm NSS，Arm神經技術還有兩個新用例在開發中，一個是神經幀率提升 (Neural Frame Rate Upscaling, NFRU)，這一用例通過采集連續兩幀畫面并生成中間幀，直接提升幀率。該神經網絡與Arm為其GPU新增的硬件緊耦合，可加速運動向量的生成，用于追蹤像素在場景中的移動軌跡。
NFRU這項技術可通過較低成本，將30 FPS的內容優化升級至 60 FPS。
另一個新用例是神經超級采樣與降噪 (Neural Super Sampling and Denoising, NSSD)，這是一套面向光線追蹤內容的Arm NSS的擴展技術。
全路徑追蹤內容要求每個像素向場景發射數百甚至數千條光線，經過反彈后最終抵達光源，從而讓圖形引擎精確計算該像素的亮度。然而，這種路徑追蹤技術的成本極高，即便是桌面系統也難以承受。如果將路徑追蹤與NSSD這類神經網絡相結合，每個像素只需發射少量光線，再借助神經技術重建缺失細節，不僅能從相鄰像素推斷數據，還能利用歷史幀信息進行補充。
NSSD實際能從根本上破解光線追蹤技術普及的難題。
“我認為目前阻礙光線追蹤技術普及的原因之一，是其昂貴的計算成本。”Steve Steele說，“神經技術則能使不同類型的光線追蹤以更低的成本得以實現，比如隨機投射的光線，或是較少數量的光線，使得光線追蹤能夠在移動設備上實現。但隨之而來的問題是如何對圖像進行深度降噪，而這正是神經技術可以發揮其價值的地方，它能智能降噪光線追蹤圖像。”
所以包含Arm NSS、NFRU、NSSD的Arm神經技術實際上是Arm給手游帶來革命性體驗的一套組合技術，通過這些技術的組合，能在使用更少計算資源的情況下獲得更清晰的畫質或者更高幀率，或者在使用相同計算資源的前提下獲得更高的畫質和更流暢的游戲體驗。
革命性手游技術普及關鍵——軟件生態
正如神經技術在桌面端和主機端的相繼普及，它必將成為移動端圖形技術的演進方向，但需要確保的是，這一進程不會割裂技術生態系統，或給開發者增加額外負擔。
為此，Arm推出了新的套件，Arm NSS 可通過神經圖形開發套件 (Neural Graphics Development Kit) 啟用，該套件的核心是虛幻引擎 (Unreal Engine) 插件，開發者只需點擊幾下，就能將 Arm NSS 集成到游戲中；同時還包含開放格式的模型，這些模型將被推送至 Hugging Face，也會納入開發套件。
由于全新的GPU硬件尚未問世，套件中還包含了面向Vulkan的Arm ML擴展的完整PC模擬器。這樣一來，開發者就能在桌面端運行整個技術棧，驗證模型在其內容上的表現。
此外，Arm的性能工具中包含熱門開源工具RenderDoc的Arm版本，且均已提升適配面向 Vulkan的Arm ML擴展。
傳統Vulkan 支持圖形管線 (Graphics Pipeline) 和計算管線 (Compute Pipeline)，為了讓開發者將AI直接引入熟悉的渲染管線，Arm ML擴展還引入了第三種管線，即專為神經網絡推理而打造的圖管線 (Graph Pipeline)。
與圖管線 (Graph Pipeline)配合，Arm還引入了VkTensor概念，它允許將現有圖像重新解釋為張量，即神經網絡的輸入和輸出形式，省去數據在輸入神經網絡前的復制開銷。
Arm還定義了一種名為 VGF 的開放數據格式，通過 SPIR-V 的擴展來描述神經網絡的運算。Arm 的目標是推動全行業采用。
“如果 Arm 豐富的硬件多樣性因不必要的軟件碎片化而受限，對任何人都毫無益處。”Steve Steele 說，“這些面向 Vulkan API 的 ML 擴展可被任一家圖形技術供應商采用。Arm 正與多家行業合作伙伴積極探討，推動這些技術在移動端生態系統及其他領域落地生根。”
Steve Steele指出，雖然上述這些技術與桌面端和主機端神經技術存在相似性，但向開發者提供技術的方式卻大相徑庭。與桌面端和主機端不同，Arm 的所有神經技術都將全面開放，這意味著游戲工作室重新訓練模型所需的模型架構、權重以及工具，全部可供使用。
雷峰網(公眾號：雷峰網)了解到，Arm 神經技術已得到了來自業界的積極反饋。其中，Arm 神經圖形開發套件已得到 Enduring Games、Epic Games（虛幻引擎）、網易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。
由于NFRU和NSSD兩個用例暫時缺少Arm ASR那樣的技術生態作為支持，因此Arm也宣布了早期訪問計劃，積極招募游戲工作室加入開發。
2026年將是Arm給手游帶來全新體驗的開端，游戲開發者們會基于Arm神經技術帶來哪些革命性的體驗？
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
