1
| 本文作者： 楊波 | 2016-10-09 16:25 |
什么？谷歌最近又有大動作？他們計劃加速機器人學習進程，讓更多機器人通過分享它們的經驗，獲取更多技能點？
是的！Google Brain team的Sergey Levine以及來自Alphabet的DeepMind和Google X 實驗室的高手們通力合作，在幾天前發了篇博文，說他們接下來要打造一個叫“多機器人通用技能學習”的機制。
眾所周知，指導機器人做一些日常生活中最基本的事情已經困擾所有機器人學家幾十年了。為了解決這個問題，谷歌科學家們決定讓兩大當紅科技創新炸子雞強強聯手，看看能不能搞個大新聞。其一是云機器人——這個概念認為機器人可以在線分享數據和技能；另一個便是機器學習，也就是通過應用深度神經網絡讓機器人實現自主學習。
在科學家們進行的一系列實驗中，獨立的機械臂會不斷重復一個指定的任務。不出意外的是，在長時間的任務執行過程中，每個機器人的技術水平都會得到一定提高，它能學會適應外部環境以及自身運動的輕微變化。但是，谷歌團隊并沒有就此滿足。他們把機器人習得的這些經驗輸進一個大數據庫里，從中建立技能模型，如此一來，機器人就可以更快更好地完成任務。
“機器人學習到的技能（比如推東西、開門等等）還是相對簡單了點，但是通過快速高效的集體學習，在未來機器人的行動會更加豐富，這樣它們就可以在日常生活中為人們提供各種各樣的輔助了。”
早前，Levine和來自Google X 實驗室的同事們展示了深度學習網絡是如何幫助機器人自學抓物的。在那項研究中，一組機械臂不停地抓抓抓，抓了大概八萬多次，簡直喪心病狂。盡管一開始它們總是失敗連連，但是通過神經網絡的不斷訓練，成功率便有了顯著的提高。
在最近的一項實驗中，谷歌科學家們測試了三個不同的場景。
第一個場景中，機器人從試驗和錯誤實踐中直接學習運動技巧。每個機器人從一套神經網絡開始，嘗試一次一次地開門。每隔一段時間，這些機器人們就會把它們性能數據傳輸給中央服務器，這個服務器會利用數據打造一個全新的神經網絡，從而更好地分析運動和成功率之間的關系。接著，這個服務器會把更新完成的神經網絡傳輸給機器人。“因為這個更新了的網絡對動作幅度的估測更加精準，所以機器人們的表現會更好”，科學家們寫道。“這個過程可以無限循環往復，從而不斷提高機器人執行任務的能力。”
在第二個場景中，科學家們希望機器人可以學習如何與物體互動，這個互動的過程不只限于試驗和錯誤實踐，還包括建立內物體、環境以及它們自身行為的內部模型。比如，在剛剛提到的開門任務中，每個機器人都會有自己的一套神經系統，它們會和各種不同的物體互動。這些機器人會分享它們的經驗，然后一起打造科學家們口中所謂的“單獨預測模型”，讓它們更好地了解與它們發生互動的物體。你可以通過單獨一個機器人打造類似的預測模型，但是如果融合了許多機器人的經驗的話，這個過程會快很多。
在第三個場景中，機器人在學習過程中會得到來自人類的幫助。要知道，人類和外界物體以及整個世界互動的過程中，總是有很多直覺。而在一些控制技能的幫助下，我們可以把這些所謂的直覺轉化到機器人身上，讓它們更好地學習這些技能。在實驗中，一個科學家幫助一組機器人，開啟各種不一樣的門，而一個中央服務器控制的單獨的神經系統會對它們的行動進行編程。接著，這些機器人會反復進行一系列的試驗和錯誤實踐，這個實踐的難度會慢慢攀升，好讓神經網絡不斷升級。“試驗和錯誤學習以及人類指導的結合，讓機器人在幾個小時內，可以一起學習如何開門，”科學家們寫道，“因為機器人訓練開了各種外表不一樣的門，所以在決勝局中，機器人們要開一扇它們從未見過的有一個把手的門。”這些科學家，小算盤打得溜溜的。
谷歌團隊認為，它們的機器人的水平目前還是非常有限的。但是他們希望隨著機器人和算法的進步和普及，集體學習能讓機器人執行任務的能力大大提升：
在以上提到的三項實驗中，機器人之間交流、交換經驗的能力讓它們能更好更快地學習。尤其是當我們將機器人學習和深度學習融合到一起的時候，交換經驗的重要性就更不容忽視了。老早以前，我們就知道，在有大量訓練數據的情況下，深度學習的運作會非常棒。比如，IamgeNet標準檢查程序就利用了超過一百五十萬經過分析的數據。而這些大量的數據，是不可能由單獨一個機器人在幾年的時間內收集到的。然而，如果是幾個機器人協同作戰的話，數周內我們就可以獲取等量的數據。
如果你對這個研究方向感興趣的話，可以猛戳此鏈接，讀讀谷歌研發團隊po在arXiv上的文章，其中兩篇他們已經投給了2017年的ICRA了喲。
via IEEE Spectrum
推薦閱讀：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
