2
| 本文作者： 田苗 | 2017-12-11 18:11 |
iPhone X 上市后，相信不少用戶已經(jīng)在朋友圈曬過(guò)一輪“獨(dú)家定制”的 Animoji 了。雷鋒網(wǎng)曾發(fā)文《蘋(píng)果 Animoji 表情背后：面部識(shí)別技術(shù)如何一步步進(jìn)化的？》，文中講到，面部動(dòng)作識(shí)別和追蹤原本常用于電影拍攝中，如大家最熟悉的《阿凡達(dá)》，隨后通過(guò)機(jī)器學(xué)習(xí)，用大量表情訓(xùn)練算法，來(lái)創(chuàng)建 3D 模型，直到今天，蘋(píng)果將其融入到手機(jī)中。
那么，如果把 iPhone X 的前置攝像頭看作是一個(gè)面部捕捉系統(tǒng)，它捕捉的面部表情數(shù)據(jù)能被用在游戲的虛擬角色中嗎？雷鋒網(wǎng)了解到，一個(gè)月前， Kite & Lightning 游戲工作室的創(chuàng)始人 Cory Strassburger 進(jìn)行了一項(xiàng)大膽的嘗試：將 iPhone X 捕捉到的面部表情，植入 Maya 軟件中，從而為虛擬動(dòng)畫(huà)形象快速配上表情。
說(shuō)起 Kite & Lightning，想必一些 VR 愛(ài)好者并不陌生。這家游戲工作室去年發(fā)布了一款沉浸時(shí)迷你歌劇《Senza Peso》，其中也使用到了眼部追蹤技術(shù)。同時(shí)，他們還開(kāi)發(fā)了一款名為《 Beblon Battle Royle》的 VR 游戲。
對(duì)于此次大膽的嘗試，Cory 想看看，能否通過(guò) iPhone X 的面部捕捉系統(tǒng)，可快速、便捷地為游戲中的人物加入個(gè)性化色彩。
經(jīng)過(guò)一番試驗(yàn)后，“我目前的結(jié)論是，iPhone X 生成的面部數(shù)據(jù)精細(xì)程度令人震驚，而且數(shù)據(jù)穩(wěn)定，屬于正常運(yùn)行。它能精準(zhǔn)地步捕捉到非常細(xì)微的動(dòng)作，甚至是很小幅度的抽動(dòng)，數(shù)據(jù)完全可以使用。”
Cory 認(rèn)為，這代表一種相對(duì)較便宜的面部捕捉方式。同時(shí)，手機(jī)移動(dòng)端的形式更容易設(shè)置，以及對(duì)面部捕捉實(shí)現(xiàn)應(yīng)用。看起來(lái)，蘋(píng)果此前所收購(gòu)的 Faceshift 公司，為此貢獻(xiàn)了很大的功勞。盡管，Cory 也注意到，F(xiàn)aceshift 原本的解決方案擁有其他很酷的功能，但 iPhone X 收集的面部表情數(shù)據(jù)已經(jīng)足夠使用。
此外，他還公布了自己在 Maya 中是如何操作的：
在 Unity 中導(dǎo)入《 Beblon Battle Royle》的一個(gè)游戲角色，并將 ARKit 輸出的面部捕捉數(shù)據(jù)混入該角色中。
為了將表情數(shù)據(jù)導(dǎo)入 Maya，增加記錄功能，將面部表情數(shù)據(jù)錄入一個(gè)文檔，本地保存在 iPhone 上。每次開(kāi)始和停止都會(huì)在手機(jī)中生成獨(dú)立的文檔，并且重新命名。
從 iPhone X 中復(fù)制這些文檔，通過(guò) USB 傳輸?shù)阶烂妗?/p>
為了將面部數(shù)據(jù)導(dǎo)入 Maya，需要重新格式化，于是我重開(kāi)發(fā)了一款桌面應(yīng)用，格式化數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)化為 Maya.anim 文檔。
把這些文檔導(dǎo)入 Maya 和 游戲角色中，你在手機(jī)上呈現(xiàn)的表情，便出現(xiàn)在游戲角色上了。
不過(guò)，過(guò)程中在數(shù)據(jù)方面還是出現(xiàn)了一些小問(wèn)題，他認(rèn)為可能是代碼的問(wèn)題。同時(shí)，由于面部表情捕捉時(shí)的刷新率為每秒 60 幀，而導(dǎo)入到 Maya 中，刷新率為每秒 30 幀，這導(dǎo)致效果有些打折扣。
他認(rèn)為，“iPhone X 的 TrueDepth 系統(tǒng)最厲害的地方在于，其表情捕捉簡(jiǎn)單，而且快捷，然后可以了里面將數(shù)據(jù)導(dǎo)入游戲引擎中。手機(jī)捕捉的數(shù)據(jù)完全可以使用。”
雷鋒網(wǎng)了解到，這次嘗試成功后，下一步，Cory 想把 iPhone X 放在頭盔上，然后使用 Xsens 動(dòng)作捕捉系統(tǒng)同時(shí)實(shí)現(xiàn)身體和面部的動(dòng)作捕捉。
他說(shuō)，“對(duì)下一步的嘗試，我非常有信心。通過(guò)加入動(dòng)作捕捉數(shù)據(jù)，游戲人物將會(huì)有很大的提升，我還會(huì)加入帶有皺紋的皮膚，與對(duì)應(yīng)的表情相混合，這會(huì)使動(dòng)畫(huà)人物更鮮活。”
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
