1
雷鋒網按：6DoF追蹤帶給AR眼鏡怎樣的體驗飛躍？如何在設計一款AR眼鏡時，實現六自由度追蹤？Rokid R-Lab研究科學家霍志宇從成本和性能角度出發，對目前流行的四種6DoF追蹤解決方案進行了比較。
好的增強現實體驗首先要是一種互動體驗，實現現實環境和虛擬世界的結合，而這種體驗離不開6 DOF追蹤（Six degrees of freedom tracking）的加入。
6DoF追蹤為用戶提供了前所未有的互動體驗和對虛擬世界的控制，可以說，6DoF追蹤是虛擬世界與現實世界建立聯系的基礎，是AR實現顛覆式體驗的前提。近年來，隨著技術的指數級的增長，這種新型的AR互動體驗正在以超出我們想象的態勢發展。
AR領域六自由度（6DoF）追蹤的應用，最早可以追溯到2003年, 由ARToolKit所支持的首個移動端AR應用就出現在了WinCE平臺上，但早期運體驗并沒有那么優秀。
早期的AR利用標識圖來跟蹤攝像機的位置和姿態，實現6DoF追蹤。使用者必須將標識圖保留在視野范圍內，虛擬內容也只能覆蓋在標識圖上，使用者稍微移動便會失去對標識物的追蹤，虛擬內容便無法對現實進行覆蓋，虛擬與現實的融合停留在比較淺層的階段，無法給予使用者沉浸式的體驗。
3DoF與6DoF技術對比圖
隨著SLAM (simultaneous localization and mapping)技術的普遍應用，6DoF追蹤與SLAM相結合，沉浸式的AR體驗時代終于來臨了。使用者可以擺脫標識圖的束縛，進行實時定位與地圖構建，從而在虛擬內容上產生更加沉浸和逼真的體驗。
微軟Holoens設備的SLAM功能演示
早期的AR眼鏡，為了在任意場景下都能提供最為精確和可靠的追蹤體驗，需要裝備由多個魚眼攝像頭、深度攝像頭和其他傳感器驅動的高性能追蹤系統。不過這會讓設備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的AR眼鏡,也會因為其高昂的成本和糟糕的佩戴體驗而遭到市場拒絕。
2016年面世的Meta 2 AR眼鏡
因此，想在輕量級AR設備領域取得成功，產品需要結合舒適性、經濟性和技術可行性來進行研發。很多AR眼鏡研發公司，正在嘗試通過有限的視覺設備和更少的算力來實現6DoF追蹤。
讓我們從成本和性能出發，比較以下四種流行的6DoF追蹤解決方案：
● 硬件成本低
● 易于集成到多種眼鏡設計中
● 需要更專業的優化和定制
● 適用于偏靜態場景
單攝像頭
視頻攝像頭是AR眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀和可用性方面，將單個相機安裝在眼鏡上相對簡單。
但是，視頻攝像機通常以低頻率（<60fps，大多數<30fps）運行，無法在運動中捕捉的高質量圖像。 “果凍效應”和其他扭曲使得位置追蹤失敗。
● 為6DoF追蹤所預留的傳感器
● 持續高頻刷新6DoF追蹤結果
● 會出現尺度漂移，使得虛擬物體會在場景中意外移動
單魚眼攝像頭
一些AR眼鏡會配備用于6DOF追蹤的單個魚眼鏡頭。此解決方案會產生一些額外的功耗，但通常會為設備提供更好的6DOF追蹤效果。魚眼攝像頭的高相機幀更新率（> 90fps）和全局快門功能，可以使得SLAM系統在運動場景中保持可靠的追蹤位置。但單個魚眼攝像機應放置在眼鏡前面，這會產生一些設計限制。
單魚眼攝像頭比較不足的的地方在于它所支持的場景規模有限。一旦移動范圍過大，SLAM系統就容易產生尺度漂移，導致虛擬對象在場景中意外移動。
● 高功耗
● 追蹤、尺度估算準確
● 眼鏡的工業設計會面臨挑戰
基于雙目魚眼的6DoF追蹤系統已被不同的AR / VR頭戴式設備制造商證明是一種可以量產的解決方案，高通已經使用雙目魚眼視覺在其VR頭盔上展示了高質量的6DoF位置追蹤功能。
雙目魚眼攝像頭模組
由于它提供實時的地圖初始化、強大的追蹤和對環境尺度的準確測量，因此額外增加攝像機所產生的功耗和成本是值得的。與單眼解決方案相比，雙目魚眼攝像頭可以更快地擴展場景，并能更準確的測量環境尺度從而防止漂移。即使傳感器數量加倍，計算復雜度也不比單眼視覺系統高很多。但該方案的實現需要高質量優化和定制工作，并且功耗高、發熱大，需要更強的系統和硬件支持。
● 成本高昂
● 能實現高質量的6DoF追蹤
● 穩定性高，可兼容不同平臺
英特爾推的定位追蹤實感攝像頭T265 可在邊緣執行計算任務
邊緣計算在AR設備中變得越來越流行，例如，Hololens已經通過邊緣計算來運行其SLAM功能，使CPU和OS在用戶應用程序上更高效地工作。對于輕量級AR眼鏡，通過邊緣計算來運行SLAM不僅可以減少計算負荷，還可以使AR眼鏡兼容不同類型的主機平臺。
這個解決方案的最優之處就在于，它可以在任何主機平臺上均衡性能，無需定制優化算法。然而，輕量級AR眼鏡通過邊緣計算運行6DoF并不容易。這些類型的AR眼鏡上的芯片通常僅設計用于驅動顯示器并傳輸傳感器數據而無剩余資源用于其他計算工作。因此可行的解決方案是將成熟的6DoF追蹤模塊集成到AR眼鏡板上。
目前還沒有關于哪種解決方案對于輕型眼鏡“完美”的結論。設計人員需要根據AR眼鏡的應用場景，來定義其產品的功能和預期用途，以便做出最佳的軟硬件選擇。
隨著輕量級AR眼鏡的逐漸普及，具有6DoF追蹤功能的產品是能夠給消費者帶去優質體驗的基礎，也是AR產品走向千家萬戶的關鍵技術之一。
作者：霍志宇，美國密蘇里大學計算機和電子工程系博士畢業，研究機器人及人機交互方向。現就職于位于美國舊金山的Rokid R-Lab，擔任研究科學家。
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
