0
雷鋒網注：圖自微軟官網
一般來說，人類通過感知來作出相應的決策，比如因為看到障礙物而選擇避讓。
盡管這種“從感知到動作”的邏輯已經應用到了傳感器和攝像頭領域，并成為了當前一待機器人自主系統的核心。但是，目前機器的自治程度遠遠達不到人類根據視覺數據而作出決策的水平，尤其是在處理第一人稱視角（FPV）航空導航等開放世界感知控制任務時。
不過，微軟近日分享的新的機器學習系統這一領域帶來了新的希望：幫助無人機通過圖像推理出正確的決策。
微軟從第一人稱視角（FPV）無人機競賽中獲得啟發，競賽中的操作員可以通過單眼攝像頭來規劃和控制無人機的運行路線，從而大大降低發生危險的可能性。因此，微軟認為，這一模式可以應用到新的系統當中，從而將視覺信息直接映射成實施正確決策的動作。
具體來說，這個新系統明確地將感知組件（理解“看到的”內容）與控制策略（決定“做什么”）分開，這樣便于研究人員調試深層神經模型。模擬器方面，由于模型必須能夠分辨出模擬和真實環境之間細微的差異性，微軟使用了一種名為“AirSim”的高保真模擬器對系統進行訓練，然后不經修改，直接將系統部署到真實場景里的無人機上。
雷鋒網注：上圖為微軟在測試中使用的無人機
他們還使用了一種稱為“CM-VAE”的自動編碼器框架來緊密連接模擬與現實之間的差異，從而避免對合成數據進行過度擬合。通過 CM-VAE 框架，感知模塊輸入的圖像從高維序列壓縮成低維的表示形式，比如從 2000 多個變量降至 10 個變量，壓縮后的像素大小為 128x72，只要能夠描述其最基本的狀態就行。盡管系統僅使用了 10 個變量對圖像進行編碼，但解碼后的圖像為無人機提供了“所見場景”的豐富描述，包括物體的尺寸、位置，以及不同的背景信息。而且，這種維度壓縮技術是平滑且連續的。
為了更好地展示這一系統的功能，微軟使用帶有前置攝像頭的小型敏捷四旋翼無人機進行了測試，試圖讓無人機根據來自 RGB 攝像機的圖像來進行導航。
研究人員分別在由 8 個障礙框組成的長達 45 米的 S 型軌道上，以及長達 40 米的 O 型軌道上對裝載系統的無人機進行了測試。實驗證明，使用 CM-VAE 自動編碼框架的表現比直接編碼的表現要好很多。即便是在具有強烈視覺干擾的情況下，這個系統也順利地完成了任務。
雷鋒網注：上圖為測試場地的側視圖和俯視圖
微軟方面聲稱：
在模擬訓練階段，在無人機從未“見過”的視覺條件下對其進行測試，我們將感知控制框架發揮到了極致。
在通過仿真訓練后，這個系統能夠獨立在現實世界充滿挑戰的環境下進行“自我導航”，非常適合部署在搜索和救援任務中。該項研究的參與者表示，該系統在實際應用中將展現出巨大的潛力——盡管年齡，大小，性別，種族和其他因素有所不同，但自主搜索和救援機器人能夠更好地識別出人類，并幫助人類。
參考資料：
https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
https://www.microsoft.com/en-us/research/uploads/prod/2020/03/1909.06993.pdf
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
