凌海濱：未來AR要實現非平面的識別和跟蹤 | 微軟亞洲研究院院友會 |

11月14日下午，微軟亞洲研究院院友會在微軟大廈成立。活動上，亮風臺的首席科學家凌海濱介紹了關于AR的一些情況，他表示，傳統的AR主要基于較為簡單的平面跟蹤，未來在技術層面上還需要實現非平面的跟蹤。

亮風臺首席科學家凌海濱

凌海濱回憶自己2001年離開研究院，現在已經有15年時間了。他在2012年成立了專注于AR技術的公司亮風臺。今年，關于AR方面，最具有標志性的兩件事是AR游戲Pokemon GO，和騰訊QQ的AR火炬傳遞。以往AR多數應用在 toB 領域，而這兩件事讓AR大規模地應用在 toC 領域。

QQ的AR火炬傳遞由他們提供技術支持，能實現2D平面的相機追蹤，算法精確度很高，但局限于平面上。Pokemon Go用到了類似slam技術，但很弱，還有很多提高到的余地。同時，這兩件事也說明了AR技術還有待提高，不過從市場層面看，AR一定程度上到了爆發點，“好的產品設計和內容，和相對弱的AR技術結合，可能也會非常成功”。

QQ火炬宣傳圖

在他看來，傳統AR基于較簡單的平面，像Hololens、Tango都是基于多模態聯合會更精準。另外，傳統AR上，很多語義沒有接入，主要因為一是發展的慣性，其次是語義理解很大程度上依賴于計算機視覺的發展，計算機視覺近年來發展也很快，可是AR的特點是集中在移動端。而移動端計算能力不夠，如他們參與的QQ火炬傳遞，當時要求在iPhone 4上實現實時，所以語義理解上面還有待提高。

隨后，他介紹到AR算法的基本原理。

先是通過攝像機拍到真實世界的視頻后，加入傳感器，如一些深度傳感器。接著完整的AR系統要做兩方面的理解，一是對環境的理解，二是作為閉環系統，要有交互理解，知道用戶想干什么，才能去做交互。再有就是虛擬世界的3D模型，其實泛指就是內容部分，然后把模型根據理解在合適的地方放上去，也就是做渲染這塊，合成視頻，最后傳到人的感知系統里面。這是AR的一個基本工作原理。

目前的AR項目，包括他們自己做的項目，大部分還是2D平面的識別和跟蹤。跟蹤平面很簡單，但真實世界是3D的，如果對真實世界能有實時、精準的跟蹤，就不需要對2D平面跟蹤。

這也說明，AR技術公司需要努力的一些方向。從2D到3D的突破，他介紹到亮風臺現在主要是做非平面物體的識別和跟蹤，以及對真實環境實時的理解感知。他也介紹到，公司在slam技術上的一些進展。

發布會上的AR演示

不久前，他們在北京剛剛發布了新的AR眼鏡HiAR Galsses，雷鋒網在文中曾寫到他們slam技術上的三個特性。首先，能在移動端如手機上實時運行；保證流暢，因為沒有系統能保證在跟蹤過程中不丟，如果丟了，可以快速重新定位，讓用戶感覺不到；多平面檢測建模。

同時，在非平面物體識別跟蹤方面，由于手機要考慮到速度，模型不能太大，他們現在采用了簡化版的深度學習算法，能實現實時。最后，他解釋到，以前用平面幾何體來承載AR內容，我們對世界的理解不僅是平面立體的東西，還有語義，比如我知道是人臉、臉上的眼角等等。現在他們人臉和手勢上面有一定的進展。人臉方面，最新研發171個定位點，被應用到美圖手機上。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。