3
| 本文作者： 金紅 | 2016-11-04 23:43 |
“其實，Mavic最核心的地方在于計算機視覺”，Mavic Pro發布后大疆的一名視覺工程師如此向雷鋒網強調著，彼時大家對于這款在很多方面都超越Phantom 4的無人機更多的討論還是圍繞在便攜和巧妙的工業設計上，而作為其中的參與者，Mavic Pro新增的智能功能才是讓他最為興奮的。按照公開資料來看，這些新增的智能功能讓Mavic Pro算得上是全球首款基于深度學習的消費級無人機。
首先我們將Mavic Pro與Phantom 4對比一下，Mavic Pro新增了哪些智能功能：1. 手勢自拍；2. 物體識別；3. 視覺跟隨中的平行跟隨、焦點跟隨、 自動環繞；4.精準降落。
這里面每一個功能的背后，都是在試圖解決計算機視覺和機器人學領域里最核心也是最頭疼的難題，同時也是大疆隱藏最深的秘密。
手勢自拍
如今很多小型無人機都自稱自拍無人機，不過其實都是屬于跟拍，通過跟蹤人或人臉來實現拍攝，大疆在今年3月的Phantom 4已經實現過，如今包括正火的Hover Camera等無人機也都實現了這一功能。而Mavic Pro則是實實在在地實現了脫離遙控器的自拍，也就是通過手勢來進行抓拍。
當你走到畫面里，Mavic Pro會自己識別移動的人，并且你可以向它揮手讓它來跟著你飛行，在跟蹤過程中只要做出拍照手勢，它就會幫你抓拍。如此一來，你就能在拍照過程中完全將遙控器放收在包里。并且即使跟蹤丟失時，也可以在不需要遙控器的幫助時，重新走回畫面中，讓飛機繼續跟隨。值得一提的是，當開啟GPS輔助時，飛機會融合GPS的信息來進行矯正。
對于一般的手勢識別系統而言，整體的步驟大概分為三步，也就是手部的定位、建模和識別。手部建模現在主要有兩種方法，2D和3D，主要是看使用了什么樣的攝像頭，建模好后最后再進行識別，比如你的手是張開的還是握拳的。據悉從這個3D手部模型到手勢識別是有不同的方法的，有的是直接拿3D手部模型去識別，有的是把3D模型轉化成2D圖像，再在這個基礎上利用深度學習進行分類識別。目前在室內環境中，由于距離較近，手勢識別的難度并不大，像微軟的Kinect就在電視游戲上得到很好的應用。但在戶外的場景下，在無人機上用這種攝像頭遠距離識別手勢，大疆應該算是首個嘗試的。
Mavic Pro并沒有使用3D攝像頭，而是通過2D主相機來進行識別的，其難度要比使用3D攝像頭大很多。首先，飛機要在沒有深度信息的前提下準確地識別和定位畫面中的人，其次，要完成一系列手部的定位、建模和動作的識別。
Mavic Pro據稱使用的是深度學習，而深度學習對于計算設備有較高要求，一般研究者需要NVIDIA Titan X這類GPU才能實現。Titan X舊版的處理性能大概在6T的Flops（每秒計算的浮點數），而大疆使用的是聯芯LC 1860，官方給出的總處理能力在8GFlops，相差大概700倍，在這么低的處理平臺上做深度學習，就面臨著神經網絡設計上的突破，訓練的技巧，模型的精簡與壓縮，底層實現的優化等問題。
關于Mavic Pro的手勢自拍，雷鋒網在體驗過程中的感受是，反應還比較及時，大多數情況都能做到準確識別，功能方面比較好。體驗方面，閃爍燈提示在陽光下比較弱，閃爍3秒后開始拍照，如果倒計時開始時加個聲音提示可能會更好。
物體的檢測和識別
物體的識別，是指對于畫面中的主體進行分類判定。其分類方式既可以是粗粒度的類別（比如汽車），也可以細粒度的類別（比如奔馳C200、寶馬X5）。物體的檢測，是指在畫面中自動找出感興趣物體，并標出它們的輪廓。全世界著名的ImageNet競賽，比拼的就是物體識別和檢測的準確性。
Phantom 4的智能跟隨功能的一個痛點是需要用戶手動在屏幕上框出要跟隨的目標，而由于小白用戶常常難以做到，尤其當目標在運動中。一方面會因為框的不準確，而造成智能跟隨表現不理想，另一方面對于正在運動中的物體，很難框中。而物體檢測和識別技術，可以讓用戶實現即點即走，讓智能跟隨的體驗有了質的提升。這次Mavic Pro可以自動檢測識別多種常見物體（人、汽車、卡車、動物、船、人騎自行車或摩托車等），并號稱其跟隨的動作會根據不同的物體有相應的優化。
Mavic Pro對人的跟隨，圖片來自網絡體驗視頻
Mavic Pro對船的跟隨，圖片來自網絡體驗視頻
智能跟隨的模式升級
無人機跟隨主要有兩種方式，一種是依靠GPS，一種是依靠視覺。GPS跟隨需要用戶攜帶額外的遙控接收器，并且依賴于空曠的環境以確保GPS信號足夠強。此外，讓用戶最過頭疼的是，GPS跟隨難以保證拍攝主體在畫面中。視覺跟隨可以很好地克服這些缺點，但是視覺跟隨的難度也比較大。由于視覺跟隨過程中是沒有人類交互的，告訴算法的所有信息都在第一幀的框里，這個框告訴了算法什么是目標，什么是背景，而算法并不知道的是，這個目標在其它視角的樣子是什么，也不知道這個目標如果自身會改變成什么樣的形態。如果目標的姿態變化過大，或者目標在另一個視角下看起來跟一開始的樣子差別很大，算法還需要判斷現在框里的還是不是當初那個目標，或者是不是已經變成另一個物體了。也就是說，第一幀的框，是不是能緊緊框住目標的邊緣，不包含太多背景。也不遺漏掉目標的其它部分，這對于跟隨的算法來說至關重要。
Phantom 4已經實現了視覺跟隨，不過僅限于前方與側前方跟隨，Mavic Pro為用戶帶來了多種跟拍模式，包括焦點跟隨，以及用戶期待已久的平行跟隨和自動環繞。這兩個模式能夠幫用戶拍出一些意想不到的視頻。但在這些模式下，飛機看到目標的視角和樣子也千變萬化，對算法的魯棒性提出了更高的挑戰。要做到低空高空都能任意跟隨的話，在目標跟蹤領域里也是一大難題。而Mavic Pro能夠在低成本低性能的平臺上實現對任意物體的跟隨，并且根據目標的類型而選擇合適的跟隨策略進行控制。
YouTube上這則用戶使用ActiveTrack的自動環繞功能的視頻，其中的目標包含了各種姿勢的形變，包括站起、蹲下、趴下，在水面的遮擋干擾，光線的強弱變化等等干擾因素下，ActiveTrack仍然順利完成了跟蹤任務。
精準降落
與其他大疆無人機產品一樣，Mavic Pro在與地面端失去聯系或低電量情況下將自動返航，并加入全新的“精準降落”功能：兩臺下視相機會在每次起飛時拍攝一組照片，在返航著落過程中通過對下視觀測和起飛記錄照片的匹配來實現厘米級別的精準降落。
Mavic Pro精準降落是用到了SLAM中的回環檢測技術，飛行過程中會記錄視覺傳感器看到的圖像信息，并且根據這些信息來進行精準降落。也就是說，它降落的時候，一直在和當時起飛的時候所看到的圖像進行對比，并且持續調整自己的方向。并且最近Mavic Pro的升級更新，據說增加了識別地面是否平整，以及地面是否是水面的功能，從而很大程度提高了降落的安全性。可以看出大疆對用戶體驗的重視以及對產品精益求精的追求。
“史上最智能無人機”背后是大疆的成功轉型
Mavic Pro發布之時，大疆用了“史上最智能無人機”來概括這些新增功能，而關于更多的細節部分則甚少提及。因此，也很少人注意到，這些功能背后是大疆早已默默地從一家“飛行相機”企業成功轉型為機器人企業。
其實早在今年3月，大疆創始人汪滔曾以“歡迎來到計算機視覺時代”一語點出了Phantom 4的核心所在，同時，大疆默默把自己的描述從以前的”Flying Camera” 變為了”Flying Robot”。Phantom 4面世所帶來的意義，即"機器視覺時代”的到來，以往幾十年全世界人對于計算機視覺的期待僅僅停留在論文和實驗室以及有限的工業場景中，而現在，計算機視覺以一種更好玩、更動感、更直接的表現形式回來了，讓大眾消費者都能感受到它帶來的便利。而這一切，都源自大疆過去兩年中在計算機視覺上所做的準備。
圖片來自大疆官網
計算機視覺的結果要轉化為輔助控制做決策的過程中，要能結合各個模塊傳感器做出實際可用的應用，要涉及到相機、云臺、IMU慣導模塊、氣壓計、GPS、超聲波、前視雙目、下視雙目以及視覺里程計等非常多和復雜的模塊。成熟的SDK架構也貢獻很大，大疆的無人機和飛控都有一套非常規整的SDK（軟件開發套件）提供API給第三方開發者使用。
大疆還主辦各類飛行器及機器人比賽，從與福特汽車合作的SDK開發者大賽，任務是依靠目標識別進行無人機的移動汽車平臺降落，到堪稱最炫酷機器人比賽的全國大學生RoboMasters中的敵方機器人識別和自動瞄準，各個比賽中的視覺功能所占比例也是重中之重，而底層完善的SDK支持都是開發者效率的保障。
Robomasters中機器人正在利用計算機視覺技術對面板上的圖案進行識別并選擇正確的圖案攻擊
大疆籌辦這類比賽一方面是對社會人才培養的回饋和貢獻，另一方面更多也是為了人才儲備，因為贏得比賽往往意味著贏得一張去大疆工作的Offer，為大疆源源不斷地輸送計算機視覺和控制類的頂尖人才。
另外，雖然大疆在業內一向很低調，不過在各大學術會議中則是積極者。CVPR是計算機視覺領域中最頂級的會議，在今年6月末開啟的CVPR 2016上，大疆作為重要贊助商出現在了CVPR的會場，其參展的展位就在Apple、Intel、Microsoft和Google中間，而且還對與會的研究人員們做了演講。
可以說，就在其他無人機企業還在尋找哪個方向才是正道時，大疆早就明確要走哪條路并且知道要干什么。今年大量小型無人機出現在市面上，很大原因是大家以為大疆不會做小型無人機，而Mavic Pro出來后，他們又將面臨曾經跟精靈系列正面競爭的相似局面。而對于大疆來說，做大無人機還是小無人機，或是說做航拍無人機還是自拍無人機，這些并不是最重要的，只要掌握了最核心的技術，做什么樣的無人機只是一個選擇而已。
還記得2015年11月大疆與美劇神盾局特工主演汪可盈合作拍攝的Phantom X概念視頻嗎？里面汪可盈用優美的太極動作來控制無人機在空中作畫。如今也不過一年時間，當時覺著天方夜譚的場景，現在再看看Mavic Pro是不是覺得很近了呢？
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
