0
今年天貓雙11晚會上，一場別開生面的“明星到你家”AR互動活動令人印象深刻。晚會現場，范冰冰、盧靖姍瞬間穿越到了所有觀眾家中。
這場活動不僅有大牌明星助陣，還有大量黑科技：真人動態三維建模與傳輸和SLAM、平面監測等AR技術。核心的真人動態三維重建與傳輸由創業團隊Owlii實現，雷鋒網特意采訪了Owlii團隊，全面解析“明星到你家”背后的技術實現和應用落地。
晚會現場的效果很魔幻。范冰冰走進一個魔術盒子，瞬間就消失在了舞臺上。在現場連線范冰冰時，她已經出現在了觀眾的家里。這不是視頻錄制的效果，因為冰冰同時出現在了成千上萬人的家里。
這是如何實現的呢？
舞臺上的魔術當然只是一個幌子，實際上是手機AR將范冰冰的“動態三維影像”投射到了每個人家里的真實環境中。
觀眾參與的方式是：打開手機天貓/淘寶 App→首頁搖一搖→進入“明星到你家”界面，點擊立即開啟→前后水平移動手機，將光標對準地面或平面。
范冰冰和盧靖姍的3D影像就出現在了“千家萬戶”，更為神奇的是，觀眾可以走進攝像機的拍攝范圍，與范冰冰和盧靖姍一同合影。這可不是和一個平面影像拍照，你甚至可以圍著冰冰繞一圈，拍到冰冰的各個角度。
在幾分鐘的瞬間傳送結束后，盧靖姍還調皮地說，希望下次到觀眾家，能給做點好吃的！
據雷鋒網了解，“明星到你家”活動的技術主要由兩部分構成，真人動態三維重建和傳輸、手機AR技術。整個活動由天貓AR團隊和一家專注“動態三維重建與傳輸”技術的創業公司Owlii合作完成。
Owlii負責生成范冰冰和盧靖姍的動態三維影像。Owlii告訴雷鋒網，他們采用了多個深度攝像頭來拍攝，捕捉真人的外貌、表情和動作，然后再用軟件處理深度圖，點云，網格，合成貼圖，形成三維動態影像。
動態三維重建技術早已不新鮮，之所以說是黑科技在于壓縮和傳輸技術。動態三維影像的體積通常特別大，而要在手機上傳輸則需要壓縮在20M以下，這是非常難實現的。動態三維重建與壓縮正是Owlii的核心技術。
雷鋒網發現，“明星到你家”這個活動可以被稱做是AR互動，但是卻與現在我們通常見到的AR互動有本質的區別，從“全息傳送”來理解這個活動的意義更為合適。
（微軟Holoportation演示)
微軟最先提出“Holoportation全息傳送”這一概念。2016年微軟在Build大會上演示了基于HoloLens的Holoportation全息傳送技術。在Holoportation的演示視頻中，我們看到遠距離對話的兩個人的影像都被傳送到了對方所處的環境中，全息影像還可以被放大、縮小。
大部分的AR應用的內容是由計算機生成的三維虛擬物體。而“全息傳送”以及“明星到家”的關鍵在于對真人進行三維動態重建，把人的動態影像傳送到另一個環境進行交互。即使相隔萬里，也能瞬間以全息影像的方式進行交流，可以說是人類傳播技術的終極目標。“明星到家”這個活動的技術實現方式其實和微軟全息傳送是一樣的，都是依賴動態三維影像重建與傳輸和AR技術。但是微軟的是實時的和多人的，而“明星到家”是離線的和單向的。
目前，國內外有一些專注于動態三維建模和傳輸的公司，除了微軟，還有美國公司8i。8i成立于2014年，專注VR/AR領域的3D人物成像，2017年獲得由時代華納領投的2700萬美元B輪融資。
Owlii CEO 溫子煜告訴雷鋒網，“在實時這個上面，目前只有微軟和Owlii做到了。”今年8月底在硅谷舉行的2017SIGGRAPH計算機圖形學大會上，Owlii展示了其基于手機AR的“全息傳送——三維人物的重建與傳輸技術”。通過手機AR看到身處北京的工程師被“全息傳送”到美國洛杉磯SIGGRAPH現場。
要做到實時傳輸，最關鍵的是三維影像的壓縮技術。“去年，微軟做實時的傳輸需要1Gbps的帶寬，今年他們做到了50Mbps，而我們將實時傳送的全息媒體流壓縮到了10Mbps，離線的僅為2.5Mbps，僅用手機4G LTE的無線網絡就可以實時加載和交互。雖然壓縮的同時要保持圖像質量很難，但是單說壓縮到這么小，就是很難的事情。”
目前動態三維重建需要多個攝像頭的拍攝環境，動態影像合成的工具，壓縮的特殊算法，這些都導致技術在大規模應用上的障礙。溫子煜強調他們的技術全球領先，但是他們也一直在尋找一個合適的應用場景，使得真人三維動態重建與傳輸技術讓人眼前一亮。
天貓雙11晚會對新科技、新玩法一直很大膽。去年天貓雙11晚會上就嘗試了跨屏的AR互動，天貓請來了臺灣女神林志玲，志玲姐姐在晚會現場將她身上穿的風衣脫下來，對著鏡頭扔出去，風衣穿過電視屏幕進入觀眾的手機屏，在手機屏上開展了一場搶風衣的AR游戲。
天貓一直在布局AR/VR技術。在2016年的雙11，天貓推出了VR Buy+平臺，支持VR購物。用戶通過HTC Vive或者手機360度全景視頻可以去到美國第五大道購物天堂，巴黎時尚商店。今年天貓推出了AR Buy+平臺，全面發力AR購物，并且發布了自己的AR技術開放平臺，支持更多開發者利用天貓的技術開發AR應用和內容。今年的雙十一晚會上當然少不了秀一秀他們的AR技術。
Owlii完成對范冰冰和盧靖姍的動態三維重建和壓縮之后，后面的工作由天貓團隊完成。負責此次“明星到你家”活動的是天貓工程師蔡建平。蔡建平介紹到，此次活動采用了蘋果ARKit工具來實現AR功能，而其他無法使用ARKit的安卓機則使用天貓自身的AR平臺的SLAM、平面監測和運動追蹤技術。結合owlii的解碼sdk，和天貓、淘寶的渲染引擎，經過反復的適配和調適，天貓做到了適配全部高、中、低端手機，安裝了天貓/淘寶App的上億用戶都可以參與這場“明星到家”的活動。
據Owlii介紹，由于這場活動是大牌明星、晚會盛宴，天貓對他們的真人三維重建的影像效果要求十分嚴格。盡管天貓因為Owlii領先的技術質量選擇了Owlii作為本次伙伴，但是為了讓消費者能夠體驗到更驚艷的互動效果，雙方對人像質量設定了更高的標準，促使Owlii對軟硬件系統進行了全新的升級，在提升人像質量的同時還將文件壓縮到了更小的體積。Owlii針對不同手機終端壓縮生成了多個內容版本，這些版本中最大的碼率也不超過 5Mbps。
“明星到你家”這場大規模的互動活動正是Owlii想要尋求的令人驚艷的落地應用。同時天貓讓上億用戶直接接觸了“全息傳送”這個黑科技，也熟悉了AR應用的玩法。未來手機AR和真人動態三維重建與傳輸技術或許會擦出更多的火花。
當然“全息傳送”是我們希望實現的目標，而不是止步于這樣的離線式的、單向的互動。8i目前主打的是以真人三維動態重建來記錄人的三維影像，保存記憶。而溫子煜告訴雷鋒網：“三維動態重建和傳送技術是跟照片和視頻一樣等價的媒介，以前照片和視頻能做什么，都可以換成3D的形式，以前拍照片來記錄自己美麗的時刻，現在用3D重建來全方位完整記錄場景，保存回憶，以前視頻可以做遠距離會議，現在3D重建和傳輸可以讓你真的出現在會場。”
相關文章：
照片/視頻/直播都弱爆了！Owlii要以實時全息傳送改變社交
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
