22
【編者按】本文作者朱韜，VR行業科技研究員。
業界各路人馬和玩家對旗艦Oculus Rift 正翹首以盼，期待驚喜。 眾多國內廠家更是磨刀霍霍, 心想著明年600億美元的大餐啊。相較而言大家對實現輸入/手部跟蹤的 Touch 多觀棋不語，冷清得很。 究其原因大概是，能上臺面可資借鑒的有關干貨實在太少。相關的消息多來自YouTube 上 Palmer Luckey專門接受記者采訪談Touch的一段視頻。因而難以滿足大家的好奇。
本文作者依個人對幾位Oculuser個性特長的了解，試圖從一個新的角度，解析Touch的技術難點并討論其實現方法，以饗讀者。
（Palmer Luckey）
首先，讓我們先回憶一下 Palmer談話的要點。Touch 的原型研制從DK1時代就開始了，顯然是在Palmer 的領導下。 目標定位是一款虛擬世界中的手，而你漸忘了正在使用手柄。在位于拇指搖桿和食指開關上，還有中指的抓取鍵上，都裝有能感應你手指的傳感器，內置的傳感器陣列跟蹤手指自然社交動作，比如，伸食指指著某個地方，抓東西，揮舞以及豎大拇哥等姿勢。
在初步原型階段（應該是指接受采訪的時刻），拇指和食指的動作假設是二元的（要么握住，要么打開）。但目標并不僅僅能感應二元狀態，然而千人千手，算法如何適配是難題。對于產品最終形態，廣大網友在Palmer的推特上窮追。于是Palmer 隔天主動表示并不希望先說大話，賣了個關子，給人期待和想象空間。
（Oculus Touch）
DK1 誕生后被Facebook收購的好運氣就不在這里多講了。Oculus 這幾年迎來了 Steven M. LaValle（2012年9月）, Christoph Bregler （2014年12月-2015年11月）, Tom Forsyth (2013年5月），還有一大幫Andrew Davison的學生，包括 Richard Newcombe， Renato Salas-Moreno，和Steven Lovegrove （2015年5月）。Andrew有個清華本科畢業的學生現也在Oculus。
從純學術成就角度看，個人認為Oculus 里頭首位大師當推 Christoph Bregler。Chris 是計算機視覺與圖形專業，曾在Stanford和NYU呆過，與好萊塢關系密切，但畢竟不是科班搞VR的。他的專業強項包括 了人的姿態光學跟蹤（基于Markerless Motion Capture from Video）和機器學習（基于神經網絡）。不過，他在Oculus呆了大約一年時間后，前幾天去了Google。他的離去給我的啟示是，未來Oculus 對姿態跟蹤的技術思路可能是Marker-based Mocap，還可能大量用“不依賴光學傳感”的傳感器及信息融合。
（Christoph Bregler）
第二位Steve LaValle 是科班搞VR的，主要負責 Sensor fusion、magnetic drift correction和kinematic modeling。 在二年多的時間里Steve全職指導一幫算法和軟件工程師實現各種算法優化，包括“星座”跟蹤系統，EKF多傳感器融合，IMU解算，等等。
從技術面看，他應該是Touch（內部名為Toybox）的負責人。這樣的話，Touch的基本技術框架是 - 多模式傳感融合+手勢識別。Steve本身并不十分擅長手勢識別算法，也大概否決了Chris的（純視覺）思路。這部分具體工作就可能交給了Richard Newcombe一班人等， 因為他們擅長用光學 + IMU之類的東東搞（手指/手勢）識別。
不過，這回待處理的可不是圖像數據， Richard一伙不會一帆風順，主要卡在千人千手上。 這也是Palmer 對記者不說大話的原因吧。對于Steve來說，剩下的都是工程性事務，大功基本告成。應該不會再出現像是將在東莞測的重力加速度拿到洛杉磯來用的糗事。于是乎寫起書來了，一本名為《Virtual Reality》的新書。封面都請人設計好了，已完成前面五章（包含虛擬現實的發展歷史,幾何,光學和生理視覺等），至于后七章（包含渲染、運動檢測、跟蹤、接口、評估、語音和前瞻等）還在寫。希望能早日完成全書。
（Steve LaValle）
接下來順便談談 VR界牛人Oliver Kreylos。
其實Oliver從未加入Oculus，而是針對Oculus的“黑客”。很多人都知道那個著名的“星座”位置跟蹤系統，最早就是他在博客上公布的 (GitHub上也有其他人干類似的活，但水平低些)。現在的Touch上也用這套系統。于是乎，有不少磚家又拿Oliver的博文內容來攻擊。說是Touch的光點身份在消失后需要五個時鐘周期才能恢復，導致延時太大。其實這個說法是站不住腳的。
（Oliver Kreylos）
還記得Palmer說過光點的位置是經過多年時間優化安排的嗎? 剛性物體（手柄或頭盔）上的運動光點+有限元分析法相結合，可有效實現在極其短的時間內恢復跟蹤。萬一經常發生手柄在視場外的情況，可通過增加攝像頭的數量來解決問題。拿延時說事是上了Oliver的當。不可否認Oliver Kreylos是很有成就的VR學者, 但世界上沒有人什么都厲害。
簡單談談Tom Forsyth，以前在Valve娛樂，是一名經驗豐富的軟件工程師，現負責SDK。他應該不是很精通Unity。在2014 年十月以前，Oculus都沒有專門的Unity工程師。國內的程序猿口傳很多Oculus在Unity上犯低級錯的段子，真假難辨，所以不好意思在這里講。
剛才談的是領袖級個人。說到團隊， 如果分成軟件，硬件，CV， 和 SLAM 隊伍的話， 個人以為 Oculus 的 SLAM 團隊是史上最強的，名師出高徒哇， 甚至強過微軟和Google的。
CV團隊有一大幫 MIT 的畢業生，強在有創業經驗和三，五年的工程經驗。軟件團隊的基本要求是精通點云庫，State Estimation, 和多模式信息融合。似乎比國內同質的創業公司要求高些。而計算機硬件方面，他們有許多還是 UIUC 的實習生，吃的苦頭不少。硬件畢竟是我們中國的強項。
【關于轉載】每一個有態度和有責任的媒體都會懂得尊重他人作品，我們相信友媒在轉載雷鋒網文章前會取得授權并標明出處和作者，雷鋒網和作者盡管都有權追究責任，但我們并不希望分散大家寶貴的閱讀時間，尊重作品本身就是一種態度。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
