編輯 | 叢 末
CMU和FAIR合作開發(fā)了一款語(yǔ)義導(dǎo)航系統(tǒng)SemExp，可以利用常識(shí)來(lái)進(jìn)行導(dǎo)航和執(zhí)行尋物任務(wù)，SemExp還在上個(gè)月的CVPR室內(nèi)目標(biāo)導(dǎo)航挑戰(zhàn)賽中贏得了冠軍。如果SemExp事先知道沙發(fā)在客廳，冰箱在廚房，它在尋找沙發(fā)或冰箱時(shí)會(huì)更有效率，即使是在一個(gè)陌生的地方。也就是說(shuō)，SemExp可以使用類似于人類常識(shí)的知識(shí)來(lái)找東西。上個(gè)月，名為SemExp的機(jī)器人在CVPR上贏得了室內(nèi)目標(biāo)導(dǎo)航挑戰(zhàn)賽（Habitat ObjectNav Challenge），險(xiǎn)勝三星中國(guó)研究院。這是CMU團(tuán)隊(duì)在年度挑戰(zhàn)賽中連續(xù)第二次獲得第一名。SemExp（即目標(biāo)導(dǎo)向的語(yǔ)義探索）使用機(jī)器學(xué)習(xí)方法來(lái)尋找目標(biāo)物體。SemExp能夠區(qū)分茶幾和廚房桌子，從而推斷出它位于哪個(gè)房間。CMU機(jī)器學(xué)習(xí)系博士生Devendra S. Chaplot說(shuō)，SemExp可以戰(zhàn)略性地思考如何搜索事物。也就是說(shuō)，SemExp理解物體和房間布局之間的語(yǔ)義關(guān)系。相比之下，傳統(tǒng)的機(jī)器人導(dǎo)航系統(tǒng)通過(guò)構(gòu)建顯示障礙物的地圖來(lái)探索空間。機(jī)器人最終能成功找到目標(biāo)，但是路線可能是迂回曲折的，會(huì)進(jìn)行很多不必要的探索。過(guò)去使用機(jī)器學(xué)習(xí)來(lái)訓(xùn)練語(yǔ)義導(dǎo)航系統(tǒng)的嘗試效果不佳，因?yàn)樗鼈儍A向于記住目標(biāo)及其在特定環(huán)境中的位置。這些環(huán)境不僅復(fù)雜，而且系統(tǒng)通常難以將其學(xué)到的知識(shí)泛化到不同的環(huán)境。一旦到了新環(huán)境，系統(tǒng)就很難利用已有的經(jīng)驗(yàn)執(zhí)行類似的任務(wù)。SemExp采用領(lǐng)域無(wú)關(guān)的模塊化方法解決了這個(gè)問(wèn)題，它不僅能夠適應(yīng)新的虛擬環(huán)境，還能遷移到現(xiàn)實(shí)世界中。SemExp：要找烤箱（oven）？烤箱不也在廚房里嘛。這項(xiàng)研究由Chaplot、CMU Robotics Institute副教授Abhinav Gupta、CMU機(jī)器學(xué)習(xí)系教授Ruslan Salakhutdinov和FAIR的Dhiraj Gandhi共同完成。
論文地址：https://arxiv.org/pdf/2007.00643.pdf
項(xiàng)目地址：https://www.cs.cmu.edu/~dchaplot/projects/semantic-exploration.html
參考內(nèi)容：https://www.cmu.edu/news/stories/archives/2020/july/robot-navigation.htmlChaplot說(shuō)，該系統(tǒng)利用其語(yǔ)義洞察力來(lái)確定尋找特定物體的最佳位置。“一旦決定要去哪里，就可以使用經(jīng)典規(guī)劃方法來(lái)達(dá)到目標(biāo)。”事實(shí)證明，這種模塊化方法在很多方面富有成效。SemExp的學(xué)習(xí)過(guò)程專注于目標(biāo)與房間布局之間的關(guān)系，而不是學(xué)習(xí)路線規(guī)劃；應(yīng)用語(yǔ)義推理確定最有效的搜索策略；最后，應(yīng)用經(jīng)典的導(dǎo)航規(guī)劃使機(jī)器人到達(dá)目的地。語(yǔ)義導(dǎo)航將使人們與機(jī)器人的交互變得更加容易，人們能夠簡(jiǎn)單地告訴機(jī)器人在特定位置取回一件物品。學(xué)習(xí)“餐桌在哪里”的常識(shí)
在尋找“餐桌”的任務(wù)中，就語(yǔ)義理解而言，涉及目標(biāo)檢測(cè)，即“餐桌”的外觀。研究者利用了現(xiàn)有的預(yù)訓(xùn)練目標(biāo)檢測(cè)和語(yǔ)義分割模型來(lái)構(gòu)建語(yǔ)義圖，而不是從頭開始學(xué)習(xí)。此外，還涉及對(duì)更可能在哪里找到“餐桌”的場(chǎng)景的理解。這需要長(zhǎng)期的情節(jié)記憶以及學(xué)習(xí)場(chǎng)景中目標(biāo)相對(duì)位置的語(yǔ)義先驗(yàn)。學(xué)習(xí)語(yǔ)義先驗(yàn)，即目標(biāo)和區(qū)域關(guān)聯(lián)的常識(shí)，可以使智能體使用情節(jié)記憶來(lái)決定下一個(gè)要探索的區(qū)域，以便在最短的時(shí)間內(nèi)找到目標(biāo)。長(zhǎng)期的情景記憶使智能體可以跟蹤去過(guò)和未去過(guò)的區(qū)域。SemExp由兩個(gè)模塊組成，即語(yǔ)義映射模塊（Semantic Mapping）和面向目標(biāo)的語(yǔ)義策略模塊（Goal-Oriented Semantic Policy）。語(yǔ)義映射模塊用于構(gòu)建明確的語(yǔ)義圖，面向目標(biāo)的語(yǔ)義策略模塊使用可理解語(yǔ)義的長(zhǎng)期策略來(lái)學(xué)習(xí)語(yǔ)義先驗(yàn)。 語(yǔ)義映射模塊接收RGB（It）和景深（Dt）圖像序列，并生成自上而下的語(yǔ)義圖。 
面向目標(biāo)的語(yǔ)義策略根據(jù)當(dāng)前的語(yǔ)義圖確定長(zhǎng)期目標(biāo)，以達(dá)到給定的目標(biāo)（G）。研究者使用神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)語(yǔ)義先驗(yàn)。神經(jīng)網(wǎng)絡(luò)以語(yǔ)義圖、智能體的當(dāng)前和過(guò)去位置以及目標(biāo)作為輸入，并預(yù)測(cè)自上而下的地圖空間中的長(zhǎng)期目標(biāo)。如此，就能將目標(biāo)類別和通常所處的區(qū)域關(guān)聯(lián)起來(lái)。智能體看不到目標(biāo)時(shí)，就先以區(qū)域?yàn)榫€索。比如智能體在找餐桌時(shí)，所處位置看不到餐桌，就會(huì)先以餐桌可能在的區(qū)域?yàn)榫€索（餐桌一般放在客廳吧）。面向目標(biāo)的語(yǔ)義策略使用強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，將以目標(biāo)與智能體的距離減小作為獎(jiǎng)勵(lì)。下圖展示了Gibson測(cè)試集場(chǎng)景中SemExp的示例軌跡。智能體看到的采樣圖像顯示在上行，預(yù)測(cè)的語(yǔ)義圖顯示在下行。SemExp的目標(biāo)是“床”。面向目標(biāo)的語(yǔ)義策略選擇的長(zhǎng)期目標(biāo)以藍(lán)色顯示。帶有智能體軌跡的真實(shí)地圖（智能體看不到）顯示在右側(cè)，以供參考。 下圖展示了SemExp尋找椅子的第一人稱視角、語(yǔ)義圖和軌跡圖。 如下表所示，與Gibson和MP3D數(shù)據(jù)集的基線相比，SemExp的性能均達(dá)到最佳。 
SemExp沒有使用覆蓋率最大化探索策略（目標(biāo)不可見），而是訓(xùn)練面向目標(biāo)的語(yǔ)義探索策略，該策略學(xué)習(xí)語(yǔ)義先驗(yàn)以進(jìn)行有效導(dǎo)航。如此，可以節(jié)省不必要的全面探索的時(shí)間。下圖展示了使用面向目標(biāo)策略（圖左）和不使用面向目標(biāo)策略（圖右）的探索軌跡，前者使用了81s找到目標(biāo)，后者使用了332s才找到同一個(gè)目標(biāo)。下圖展示了SemExp遷移至真實(shí)世界的表現(xiàn)，SemExp的目標(biāo)是“盆栽”，它成功找到了。 CMU在官網(wǎng)報(bào)道中宣稱SemExp利用了常識(shí)執(zhí)行尋物任務(wù)，但實(shí)際上這種常識(shí)還是非常有限的，它只是建立了某個(gè)物體和通常存在區(qū)域的統(tǒng)計(jì)關(guān)聯(lián)。沒錯(cuò)，冰箱大概率存在廚房，但在辦公室場(chǎng)景里，冰箱一般而言會(huì)有，但廚房就很少見了。一般而言，常識(shí)是無(wú)法窮盡的不成文規(guī)則，無(wú)法用邏輯以有限的方式進(jìn)行壓縮，何況常識(shí)之間甚至可能是互相沖突的（例如印度人的搖頭表示肯定，和大多數(shù)國(guó)家相反）。常識(shí)是人類對(duì)世界運(yùn)作方式的印象，由數(shù)不清的知識(shí)片段構(gòu)成。常識(shí)對(duì)于人類的預(yù)測(cè)能力很有幫助，可以幫助人類在日常生活中保證生存以及便利地解決問(wèn)題。要理解常識(shí)，語(yǔ)言通常是不夠的，需要結(jié)合人的感覺和理解，并且要融入統(tǒng)一的場(chǎng)景，這必然涉及到多模態(tài)數(shù)據(jù)的處理。要解決常識(shí)問(wèn)題，還有很長(zhǎng)的路要走。即便是強(qiáng)大如OpenAI開發(fā)的GPT-2那樣的語(yǔ)言模型，也經(jīng)不住常識(shí)問(wèn)題的考驗(yàn)（它不知道木柴+火柴=火）。Douglas Lenat于1984年設(shè)立的Cyc知識(shí)庫(kù)不可能通過(guò)編寫條目窮盡所有的常識(shí)，也無(wú)法克服脆弱性問(wèn)題（常識(shí)應(yīng)用中的模棱兩可現(xiàn)象）。艾倫人工智能研究所提出的自動(dòng)知識(shí)圖譜構(gòu)建模型COMET，將常識(shí)推理想象成對(duì)新輸入生成即便不完美也是合理的響應(yīng)過(guò)程，作為融合深度學(xué)習(xí)和符號(hào)推理的嘗試，在一定程度上緩解了覆蓋性和脆弱性問(wèn)題。CMU的這項(xiàng)研究值得稱道的地方在于，將視覺信息轉(zhuǎn)換為語(yǔ)義知識(shí)構(gòu)建導(dǎo)航系統(tǒng)的常識(shí)，將多種模態(tài)的數(shù)據(jù)進(jìn)行了關(guān)聯(lián)，而沒有局限于語(yǔ)言知識(shí)。SemExp在構(gòu)建常識(shí)的路上，走出了穩(wěn)健的一步。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
