7
Sebastian Marino是一個略微有點陌生的名字，但你肯定看過詹姆斯·卡梅隆的經典之作《阿凡達》。Marino曾憑借在《阿凡達》中出色的特效工作為影片贏得奧斯卡金像獎。
某夜，他化身一名導演，在他的公寓拍攝了一段電影片段。他與他的團隊架起一排攝像機，在一個綠色的熒幕前對兩名女演員進行拍攝。只有其中一人有臺詞，她略帶神秘地說，“我猜你現在心情應該有點像歷險記中掉進兔子洞的愛麗絲，我建議你謹慎選擇”。她指向一個方向，又指指另一個方向。拍攝內容結束后，大家卸掉熒幕回家了。
但Marino的工作還沒有完成，接下來他需要將這個片段進行后期制作。
經過一夜的處理，早上他把生成的文件載入Unity 3D游戲引擎中，并將這兩名女演員置身于一間公寓中。在一個房間中，一面墻上有霓虹燈，另一面墻上的掛燈發出的光芒投射到女演員的右側。在另一間房間中，他使屋內的燈昏暗地發出紅光，使人看不清另一名演員身上的穿著。
事實上，這并不僅僅是個電子游戲，它是一個電影。確切來說，它極有可能是第一部真正加入真人角色的虛擬現實電影。之前講話的女演員看起來一點都不像電子游戲角色，她看起來跟本人一模一樣。她穿著同樣的衣服，臉部動作十分逼真，行為舉止流暢。然而，她正站在一個實際上根本不存在的房間中。
Marino與其初創虛擬現實公司Uncorporeal想要通過現實途徑，解決虛擬電影制作中的難題。更加令人吃驚地是，他與另外兩位聯合創辦人（他們曾在盧卡斯影業，WETA，歐洲太空屬，Google X，微軟和Electronic Arts工作）已經秘密地完成了這項工作。他們獨立完成了公司的種子投資，并從未在現身于任何虛擬現實會議，并且各項對外聯系均利用母公司的電子郵箱，所以沒有任何人捕捉到Uncorporeal存在的信息。Marino說，“知道我們的工作的人數，用手指跟腳趾就能數過來”。
隨著時間駛向2016年，期待已久的虛擬現實技術投入市場的日子也越來越近，但仍有一個現實難題急需解決。這個難題并不是模擬器性能不足，分辨率不高之類；這些硬件問題目前都已被有效解決，雖然仍稱不上完美，但其性能相比于18個月之前，其變化已經超乎想象了。這個難題亦不是輸入問題，即將出現的三種用戶系統（Oculus Rift，HTC Vive和Playstation VR）均有不俗的表現。此難題也無關內容：從開發中的幾十款游戲到Netflix公司的虛擬影院，再到虛擬博物館之旅，這些都保證了其適用性。
Uncorporeal相機抓取實時幾何數據
難題是電影。
具體來說，是真實動作視頻捕捉。消費級虛擬現實依靠外部攝像頭追蹤頭盔的環境，并將其移動和位置轉化成虛擬環境。這稱為位置跟蹤，而在虛擬現實游戲中，正是這項技術讓你可以通過蹲下、斜靠和彎身，在游戲中實現在椅子后蹲伏、障礙物后側窺視以及在桌下巡查這些動作。但，現在還不能將位置追蹤加入到視頻中。
試想一下：你將一系列攝像頭放置于一個中心點周圍，作為頭戴頭盔的人的眼睛，那么你只能看到這點周圍360度的視野。在虛擬現實中最佳的“六自由度”中——左右點頭、轉頭、歪頭，并向三個方向移動——虛擬現實視頻在移動中有極大的限制。換句話說，你可以在即有位置上任意活動，但不管你怎樣蹲伏或者傾斜身體都不能改變位置，這會在使用時造成很大不便。
為了解決位置追蹤這一問題，數個虛擬現實電影公司都選擇制作皮克斯那樣的CGI電影，即使用為虛擬現實優化的游戲引擎，如Unity 3D和Unreal 4，制作像游戲一樣的視頻。（這種奇怪的混合模型正是為什么在虛擬現實界，“體驗”與“敘事”正在逐漸取代“電影”這一詞。）但是實現位置跟蹤和所有六個自由度，你將會同時失去一些東西：現實。在常規的非虛擬現實游戲中制作逼真的人類，已經夠嚇人了，如果再進行虛擬現實的處理，這完全是無用的。
Uncorporeal的幾何數據可被用于游戲引擎制作的虛擬環境
這就是Uncorporeal要解決的關鍵。他們像其他虛擬現實視頻公司一樣，使用一系列相機組合拍攝影片。然而，他們的鏡頭可以捕捉到房間的所有光場，像Lytro相機的視頻版那樣。簡單來說，這意味著該公司擁有如此多的光樣本，足夠通過在亞毫米精度創建幾何模型，處理畫面?！拔覀儾粏螁文芰私馀臄z物體的幾何結構，”Marino說，“也捕捉這些相機所能捕捉到的所有的光，我們能捕捉到每一個像素，無論你在哪個方向看物體?！?/span>
這聽起來可能有點像動作捕捉，但事實上它不是。在動作捕捉時，你制作一個人物的靜態三維模型，然后讓骨骼結構和其他底層動起來，形成動作效果；它可能看起來逼真，甚或是基于一個穿了內置追蹤設備的服裝的演員的動作生成的，但這仍然是CG。Uncorporeal的技術更像是“逐像素動作捕捉”，每個像素都有3D效果，可以完美實現數字化，但它本質上是一個人類演員在做表演。
不過，這只是一個人物而已。所以一旦相機捕捉到了人的動作，Uncorporeal會合成所有數據，生成一個專有的編解碼器u3d，它包含有被捕捉對象的所有幾何信息，以及光場信息。u3d編碼文件能直接用在Unity 3D游戲引擎制作的場景。得到的結果就是，在虛擬環境中出現一個真實的人。光場信息讓兩者的結合變得天衣無縫，Marino將自家技術稱為10DVR——六個自由度加三維信息再加時間。
明確地說，Uncorporeal并不是唯一一家有所行動的公司。在今年早些時候，Lytro籌款五千萬美元，欲用于光場攝影機的虛擬現實應用，目前尚未有成果公布。OTOY公司對一個空房間進行了光場渲染，但沒有人類動作。而Uncorporeal貌似是將圖像捕捉和視覺效果結合起來的第一人。通過捕捉真人舉動和表情，它能為虛擬現實影像保有親密感。通過對人物進行渲染，并引入可進行位置追蹤的虛擬空間中，它又能達到只能在CGI中才能體驗到的臨場感。
好萊塢也對這項研究時時跟進。Marino證實，Uncorporeal正低調地同數個工作室進行密切聯系?！耙驗樵诜N子投資期間，我們是自食其力的，所以我們并不需要大張旗鼓引人耳目。在聯系人方面，我們可以自由選擇”。盡管他們向來避免在虛擬現實活動中露面，他們將參加今天于紐約開幕的Future of Storytelling（未來敘事）大會，并使用DK2向眾人展示真正的電影敘事的未來是什么樣的。
Via wired
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
