5
| 本文作者： 陳哲 | 2016-06-22 16:41 |
雷鋒網(wǎng)按：本文作者陳哲，現(xiàn)谷歌眼鏡部門高級軟件工程師。
去年的Google I/O上，谷歌神秘的ATAP部門（(Advanced Technologies and Projects)曾經(jīng)展示過非常酷炫的Project Soli。因為當(dāng)時技術(shù)還在早期階段，只是小范圍里給60位開發(fā)者發(fā)放了開發(fā)套件，用于內(nèi)部測試。在今年的I/O 2016里，谷歌除了帶來Daydream，Android N等重磅更新，ATAP也低調(diào)展示了Project Soli的最新進展。我們今天就來扒一扒Project Soli的來龍去脈，讓我們深入了解這項技術(shù)的原理和應(yīng)用。
Soli是一項運用微型雷達(dá)監(jiān)測空中手勢動作的新型傳感技術(shù)。這種特殊設(shè)計的雷達(dá)傳感器可以追蹤亞毫米精準(zhǔn)度的高速運動，然后將雷達(dá)信號進行各種處理之后，識別成一系列通用的交互手勢，方便控制各種可穿戴和微型設(shè)備。
目前谷歌設(shè)計的這些通用交互手勢，是基于人們平時所熟悉的一些物理工具和動作，比如按鈕，轉(zhuǎn)盤和滑桿：
雖然這些動作都是虛擬的，但是因為是多個手指之間的相互動作，它可以給用戶很好的觸覺感應(yīng)和物理反饋。也因為人類有精準(zhǔn)的小肌肉運動技能（fine motor skills），它可以讓這些虛擬工具通過我們手勢運動實現(xiàn)很高的流暢性和精準(zhǔn)度。
谷歌相信這些有物理反饋與觸感的交互方式是比平面的觸摸屏或者語音識別技術(shù)更自然的控制方式，為人機界面引入了新的思維與機會。
目前關(guān)于手掌與手指運動識別與追蹤的技術(shù)，市面上已經(jīng)有好種不同的解決方案：
微軟Kinect為代表的深度感應(yīng)技術(shù)（結(jié)構(gòu)光和飛行時間兩種）
LeapMotion為代表的紅外線投影與成像
uSense為代表的光學(xué)立體成像技術(shù)
相比這幾種常見的解決方案，采用毫米波雷達(dá)的Soli技術(shù)有以下幾種優(yōu)點：
依賴紅外線的深度感應(yīng)和投影技術(shù)在室外紅外線干擾多的環(huán)境可靠性很差，毫米波雷達(dá)則無這方面問題。
基于光學(xué)立體成像的技術(shù)需要相當(dāng)大的計算量獲取深度數(shù)據(jù)，高的分辨率較難實現(xiàn)，功耗不低；同時由于依賴可見光，在低光亮環(huán)境無法使用，毫米雷達(dá)波也無這方面問題。
同時因為毫米波雷達(dá)的頻率遠(yuǎn)低于紅外線和可見光，相比基于紅外線的時間飛行技術(shù)，毫米波雷達(dá)可以計算相移（Phase shift）和多普勒效應(yīng)（Doppler Effect），從而以很低的計算量獲取物體的運動與方向。
毫米波雷達(dá)對于一些材料還有很好的穿透性，不受光路遮擋的影響。
因為天線技術(shù)近年來有不小提高，不到一平方厘米的面積谷歌就可以把傳感器和天線陣集成到一起，這方便了該技術(shù)應(yīng)用到可穿戴設(shè)備和手機上，而其他的解決方案目前還不能如此小巧：
這次I/O 2016大會上，谷歌就帶來了跟LG合作的智能手表，在表帶處繼承了Soli技術(shù)，用于捕捉用戶指尖的微小動作。這樣的體積與功耗，傳統(tǒng)手勢感應(yīng)技術(shù)是無法想象。
在這個demo里，展示著用手指的按鍵與滑動兩種動作可以發(fā)送不同的指令：
在Soli項目的視頻介紹里，也出現(xiàn)了跟智能手表相關(guān)的設(shè)計概念：
是不是很酷炫？智能手表受限于屏幕大小，如果觸控操作直接在屏幕上進行的話，手指就會遮擋屏幕；如果設(shè)計物理按鍵或者撥盤也很難操作。而這種空中手勢有望解決上面這些問題。
目前Soli項目公開的技術(shù)細(xì)節(jié)非常少，目前我們知道的是它可能采取了單發(fā)射，多接收的天線設(shè)計。在天線前面的障礙物會反射電波回到雷達(dá)天線，而反射信號的能量，延時以及多普勒效應(yīng)則對應(yīng)了物體的各項特征，包括物體的大小、形狀、材料、距離以及速度。
谷歌在介紹Soli的時候?qū)ｉT強調(diào)Soli不像傳統(tǒng)的雷達(dá)傳感器，并沒有需要很大的帶寬和空間解析度。事實上Soli的解析度比手指可以實現(xiàn)的精細(xì)動作更低，所以對手指運動的捕捉需要分析反射信號在時間上的動態(tài)變化，這也對手勢識別的算法提了更高要求。
從原始的雷達(dá)信號到最終的手勢控制需要經(jīng)歷下面幾步：
1、捕捉原始反射信號
2、將接收的時序信號處理和轉(zhuǎn)換到Range Doppler Map
3、特征提取，識別，定位與追蹤
4、從提取的特征實現(xiàn)手勢識別
Soli SDK為第三方開發(fā)者提供了上面每一步的程序接口，同時兼容不同類型的雷達(dá)，支持從每秒100到10000的采樣幀數(shù)。
Soli的雷達(dá)采用了調(diào)頻連續(xù)波Frequency Modulated Continuous Wave (FMCW)的調(diào)制格式。這項技術(shù)目前已經(jīng)用在汽車自動巡航等應(yīng)用，可以同時實現(xiàn)對物體距離和速度的感應(yīng)。下面我們結(jié)合NVDIA最近發(fā)表的一篇論文(Short-range FMCW monopulse radar for hand-gesture sensing) 來解釋下這項技術(shù)的原理：
FMCW這種格式是由周期性鋸齒波函數(shù)調(diào)制。雷達(dá)發(fā)射的信號從物體反射回后產(chǎn)生了時間與頻率上的差異。其中時間的延時τ是電波往返的時間，頻率上的變化fd則是物體運動導(dǎo)致的多普勒效應(yīng)。
我們把接收到的信號跟原信號相乘，然后在模擬信號領(lǐng)域進行低通過濾，這樣就可以產(chǎn)生明顯的beat信號。然后把二維的時序信號各自做FFT轉(zhuǎn)換，減去靜止不變的背景環(huán)境，就可以獲得所需的Range Doppler Map (RDM):
RDM的每一格都對應(yīng)著目標(biāo)的目前的距離和運動速度。因為不同的物體可以在不同距離或者在相似的距離但是各自有不同的速度，RDM便實現(xiàn)了同時追蹤多個物體的效果。比如下圖是一個正在移動的手掌，每一個綠框可以是被識別出來的手指。
如果我們有多個接收天線，通過比較每個天線之間RDM的相位差，我們可以計算出每個物體的到達(dá)角度（Angle of Arrival），配合上之前算出的距離，這樣就實現(xiàn)了對物體的空間定位。如果跟傳統(tǒng)的深度感應(yīng)器進行校準(zhǔn)之后，則可以獲得三維深度圖。
我們可以把四維的矢量信號（三維空間位置加上徑向速度）映射到一個手掌模型上，導(dǎo)入后端的手勢學(xué)習(xí)模型中進行識別。
這是五個不同用戶進行四種手勢產(chǎn)生的RDM，可以明顯看出手勢之間的差異是明顯的，而不同用戶在進行同一手勢時是有很多相似點的。
所以FMCW這種格式相比其他雷達(dá)有以下這些優(yōu)點：
1、同時計算速度與距離，距離信息準(zhǔn)確度高。
2、Beat頻率不高，對應(yīng)采樣率也低，降低了模擬電路與數(shù)字信號處理的難度，整個算法可以嵌入在低功耗芯片上實現(xiàn)。
3、最短測量距離跟信號波長相關(guān)，所以物體可以離天線非常近，甚至可以貼到天線上。
由此可見，Soli采用的這種FMCW技術(shù)是它實現(xiàn)微型化雷達(dá)和極低功耗的基礎(chǔ)。谷歌網(wǎng)站上展示的2014年的早期產(chǎn)品原型還是一個巨大的機盒，然后僅僅一年多之后就把系統(tǒng)縮小到了不到一平方厘米的面積，其中包含了多種天線和感應(yīng)器。
谷歌對Soli的目標(biāo)是制造出成本低廉，可以大規(guī)模量產(chǎn)并且功耗極低的微型雷達(dá)芯片，期望可以集成到最小的移動設(shè)備里面。通過這兩年的發(fā)展可以說谷歌離這個目標(biāo)已經(jīng)非常近了。
下面整理了一些過去一年早期開發(fā)者在使用dev kit進行的各種有趣的應(yīng)用：
因為毫米波雷達(dá)對部分材質(zhì)有一定的穿透作用，反射信號也有一些差別，有開發(fā)者據(jù)此設(shè)計出材質(zhì)探測器，不僅可以識別塑料和多種金屬，還能識別水跟牛奶。
車內(nèi)手勢是一項有意思的應(yīng)用，相比可見光和紅外光的技術(shù)，Soli可以完美解決不同光照環(huán)境下傳統(tǒng)技術(shù)不穩(wěn)定的問題，而且雷達(dá)對捕捉細(xì)微運動有很強的優(yōu)勢。
在Soli的幫助下我們對手機觸屏的交互又多了新的一個維度，Hover在屏幕上的手指現(xiàn)在也可以精確地捕捉和預(yù)測了。
既然Soli可以掃描和計算出深度圖，為何不拿來做成3D掃描與成像的應(yīng)用？
這個應(yīng)用很酷炫，手指空中劃出3D密碼，抽屜自動開啟！
利用Soli對手勢的捕捉設(shè)計出一套樂器如何？
一個類似的項目號稱用Soli設(shè)計了全世界最小的小提琴！ 精確捕捉手指的每一點動作然后映射到音符上。
從2014年項目開始，到去年I/O上發(fā)布的初期原型到今年I/O帶來的各種創(chuàng)意應(yīng)用，這兩年Soli進展很快。谷歌宣稱相比去年的版本，目前芯片面積縮小了70%，功耗下降了22倍，從本來就不高的1.2瓦進一步下降到了0.054瓦，算法也得到了256倍的效率提升。
據(jù)媒體報道，谷歌年底或者明年會有全新的dev kit提供給更多開發(fā)者，相信在不遠(yuǎn)的未來我們將會看到采用Soli技術(shù)的智能手表，VR/AR設(shè)備以及智能家電出現(xiàn)在市場中。
另外一個巨大的市場就是可穿戴設(shè)備，事實上ATAP的另外一個神奇項目Project Jacquard正在跟Levi牛仔合作一種可觸摸布料，用于制造智能外套。Soli采用的雷達(dá)技術(shù)正好可以穿透許多傳統(tǒng)的紡織材料，很可能成為來為智能服裝標(biāo)配的交互途徑。Soli這種新穎的雷達(dá)技術(shù)以后也可以跟其他射頻與傳感技術(shù)進行融合，或許可以創(chuàng)造出更多意想不到的應(yīng)用。
雷鋒網(wǎng)此前針對Soli雷達(dá)成像技術(shù)也有解讀：
《解讀英偉達(dá)芯的雷達(dá)手勢識別，我們對Project Soli有了更多了解》
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
