ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

本文作者：我在思考中

2021-09-06 14:30

導(dǎo)語(yǔ)：該工作由北京大學(xué)前沿計(jì)算研究中心陳寶權(quán)課題組與斯坦福大學(xué)/北京大學(xué)王鶴等合作完成，論文共同一作翁伊嘉為2021屆圖靈班學(xué)生。

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

導(dǎo)讀：本文是計(jì)算機(jī)視覺(jué)領(lǐng)域頂級(jí)會(huì)議 ICCV入選論文《基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤（CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds）》的解讀。該工作由北京大學(xué)前沿計(jì)算研究中心陳寶權(quán)課題組與斯坦福大學(xué)/北京大學(xué)王鶴等合作完成，論文共同一作翁伊嘉為2021屆圖靈班學(xué)生。

項(xiàng)目主頁(yè)：
https://yijiaweng.github.io/CAPTRA/

論文地址：
https://arxiv.org/abs/2104.03437

1

引言

物體位姿包含相機(jī)坐標(biāo)系下物體的三維平移與三維旋轉(zhuǎn)，在計(jì)算機(jī)視覺(jué)與機(jī)器人學(xué)中有著廣泛應(yīng)用，如指導(dǎo)機(jī)器人抓取與操縱物體，在增強(qiáng)現(xiàn)實(shí)中將虛擬內(nèi)容疊加在真實(shí)物體上等。

不同于只能應(yīng)用于已知物體的實(shí)例級(jí)別位姿估計(jì)，[1] 提出的類(lèi)級(jí)別物體位姿估計(jì)問(wèn)題要求對(duì)來(lái)自已知物體類(lèi)別、與訓(xùn)練物體存在幾何差異的未知測(cè)試物體進(jìn)行九自由度的位姿估計(jì)，即估計(jì)物體的三維尺寸、三維平移、三維旋轉(zhuǎn)，更適用于實(shí)際應(yīng)用中形狀外觀各異的真實(shí)物體。[2] 進(jìn)一步將對(duì)剛性物體的位姿估計(jì)拓展到帶關(guān)節(jié)物體（如筆記本電腦、抽屜、眼鏡）上，為理解和模仿人類(lèi)與帶關(guān)節(jié)物體之間的復(fù)雜互動(dòng)奠定了基礎(chǔ)。

目前，大部分類(lèi)級(jí)別物體位姿估計(jì)的工作聚焦于單幀位姿估計(jì)，而我們希望能對(duì)連續(xù)多幀觀測(cè)進(jìn)行時(shí)序上平滑的物體位姿追蹤，從而更好地服務(wù)于增強(qiáng)現(xiàn)實(shí)、基于實(shí)時(shí)反饋的閉環(huán)控制等應(yīng)用。

我們提出了首個(gè)可以同時(shí)應(yīng)用于剛性物體和帶關(guān)節(jié)物體，運(yùn)行在類(lèi)級(jí)別場(chǎng)景下的九自由度位姿追蹤框架。給定當(dāng)前幀的深度點(diǎn)云與上一幀的物體位姿估計(jì)，本文提出的框架能通過(guò)端到端的訓(xùn)練，準(zhǔn)確地更新位姿估計(jì)，在估計(jì)準(zhǔn)確率與運(yùn)行速度上都超過(guò)了已有的最好方法。

2

方法簡(jiǎn)介

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

圖1. 類(lèi)級(jí)別物體位姿追蹤任務(wù)

如上圖，給定包含實(shí)例

O

的實(shí)時(shí)深度點(diǎn)云流

\{X_t\}_{t\geq 0}

，其逐部件初始位姿估計(jì)

\{{\mathtt{P}^{(j)}_o\}}_j

，我們希望在線地追蹤其各部件位姿

\{{\mathtt{P}^{(j)}_t\}}_j

。具體來(lái)說(shuō)，我們逐幀進(jìn)行位姿估計(jì)，在

t+1

幀，基于第

t

幀的各部件位姿估計(jì)

\{{\mathtt{P}^{(j)}_t\}}_j

與第

t+1

幀的深度點(diǎn)云觀測(cè)

X_{t+1}

，估計(jì)第

{t+1}

幀的各部件位姿

\{{\mathtt{P}^{(j)}_{t+1}\}}_j

。

仿照[1]，我們將九自由度位姿

\mathtt{P}^{(j)} = {d^{(j)}, R^{(j)}, T^{(j)}}

進(jìn)一步分解為七自由度相似變換

\mathcal{T}^{(j)} = {s^{(j)}, R^{(j)}, T^{(j)}}

與三維長(zhǎng)寬高比例

\hat{d^{(j)}} = d^{(j)} / s^{(j)}

，以下主要討論

\mathcal{T}^{(j)}

的估計(jì)，細(xì)節(jié)請(qǐng)參見(jiàn)論文。

位姿估計(jì)存在兩類(lèi)主流方法，基于坐標(biāo)預(yù)測(cè)的方法首先為觀測(cè)點(diǎn)預(yù)測(cè)其對(duì)應(yīng)物體點(diǎn)在歸一化物體坐標(biāo)系中的坐標(biāo)，利用觀察坐標(biāo)與歸一化物體坐標(biāo)之間的對(duì)應(yīng)關(guān)系，使用 RANSAC 擬合物體位姿，得益于 RANSAC 對(duì)離群點(diǎn)的有效移除，該方法通常能獲得更為準(zhǔn)確與魯棒的預(yù)測(cè)，但 RANSAC 算法中的假設(shè)采樣較為耗時(shí)，其過(guò)程也不可微，無(wú)法直接針對(duì)位姿進(jìn)行優(yōu)化。

基于位姿回歸的方法進(jìn)行端到端可微的直接預(yù)測(cè)，能夠達(dá)到很高的運(yùn)行速度，但容易產(chǎn)生更大的預(yù)測(cè)誤差。我們希望結(jié)合兩類(lèi)方法的優(yōu)勢(shì)，建立一個(gè)端到端可微、精度與速度兼?zhèn)涞奈蛔俗粉櫹到y(tǒng)。

如下圖所示，我們的模型由位姿正規(guī)化（Pose Canonicalization）、旋轉(zhuǎn)回歸網(wǎng)絡(luò)（RotationNet）與坐標(biāo)預(yù)測(cè)網(wǎng)絡(luò)（CoordinateNet）組成。

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

圖2. 我們的位姿追蹤框架

位姿正規(guī)化（Pose Canonicalization）

為了簡(jiǎn)化將輸入點(diǎn)云坐標(biāo)

X_{t+1}

映射到輸出相似變換

\mathcal{T}^{(j)}_{t+1}

的學(xué)習(xí)問(wèn)題，我們將前一幀位姿估計(jì)

\mathcal{T}^{(j)}_t

的逆變換與輸入點(diǎn)云

X_{t+1}

相乘，得到位姿正規(guī)化點(diǎn)云 ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

作為模型輸入，令模型輸出

Z_{t+1}^{(j)}

中部件

j

的位姿

\hat{\mathcal{T}}^{(j)}_{t+1} =\{ {\hat{s}^{(j)}_{t+1}, \hat{R}^{(j)}_{t+1}, \hat{T}^{(j)}_{t+1}}\}

，再間接計(jì)算

\mathcal{T}^{(j)}_{t+1}

。

由時(shí)序連續(xù)性，可以推出 ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

，這意味著

Z_{t+1}^{(j)}

中部件

j

總是接近正規(guī)位姿（canonical pose），

\hat{\mathcal{T}}^{(j)}_{t+1}

接近恒等變換，原問(wèn)題的輸入與輸出被同時(shí)正規(guī)化，從而大大降低了網(wǎng)絡(luò)預(yù)測(cè)位姿的難度。

旋轉(zhuǎn)回歸網(wǎng)絡(luò)（RotationNet）

以位姿正規(guī)化的點(diǎn)云

Z_{t + 1}^{(j)}

為輸入，我們訓(xùn)練旋轉(zhuǎn)回歸網(wǎng)絡(luò)，直接對(duì)

\hat{R}_{t+1}^{(j)}

進(jìn)行回歸，再計(jì)算原始旋轉(zhuǎn) ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

總在恒等變換附近，直接回歸就能實(shí)現(xiàn)準(zhǔn)確估計(jì)。

坐標(biāo)預(yù)測(cè)網(wǎng)絡(luò)（CoordinateNet）

由于點(diǎn)云

Z_{t+1}^{(j)}

不完整，存在平移與尺寸上的歧義（舉例來(lái)說(shuō)，當(dāng)一支鉛筆的一端被遮住時(shí)，鉛筆的長(zhǎng)度無(wú)法確定，其中心的平移也無(wú)法確定），直接回歸

\hat{s}_t^{(j)}

和

\hat{T}_t^{(j)}

仍然很困難。我們轉(zhuǎn)而訓(xùn)練坐標(biāo)預(yù)測(cè)網(wǎng)絡(luò)，從

Z_{t+1}^{(j)}

預(yù)測(cè)部件在歸一化坐標(biāo)系下的坐標(biāo)

Y_{t+1}^{(j)}

，這一稠密的預(yù)測(cè)目標(biāo)要求網(wǎng)絡(luò)能捕捉到類(lèi)級(jí)別的物體幾何先驗(yàn)知識(shí)，包含了更為準(zhǔn)確的有關(guān)物體平移、物體尺寸的信息。

基于歸一化坐標(biāo)

Y_{t+1}^{(j)}

與原始點(diǎn)云

X_{t+1}

的對(duì)應(yīng)關(guān)系與旋轉(zhuǎn)回歸網(wǎng)絡(luò)的預(yù)測(cè)

R_{t+1}

，我們解析地計(jì)算物體的平移與尺寸。在位姿正規(guī)化模塊的幫助下，我們預(yù)測(cè)的

Y_{t+1}^{(j)}

相當(dāng)準(zhǔn)確，無(wú)需 RANSAC 就能達(dá)到高精度的位姿估計(jì)，從而實(shí)現(xiàn)一個(gè)快速、端到端可微，能直接以 9DoF 位姿準(zhǔn)確度為優(yōu)化目標(biāo)的計(jì)算框架。

3

結(jié)果展示

我們的方法在類(lèi)級(jí)別剛性物體位姿估計(jì)數(shù)據(jù)集 NOCS-REAL275 [1]、基于 SAPIEN [3] 的類(lèi)級(jí)別帶關(guān)節(jié)物體位姿估計(jì)數(shù)據(jù)集、BMVC [4] 上均超過(guò)了已有方法，以下展示部分定性結(jié)果，詳細(xì)實(shí)驗(yàn)設(shè)定與定量結(jié)果請(qǐng)參見(jiàn)論文。

剛性物體位姿追蹤

我們?cè)?NOCS-REAL275 真實(shí)世界數(shù)據(jù)集上與類(lèi)級(jí)別剛性物體追蹤算法 6-PACK 進(jìn)行比較，使用三維包圍盒表示九自由度位姿估計(jì)，綠色表示追蹤誤差≤5o5cm，紅色表示追蹤誤差>5o5cm。我們產(chǎn)生的追蹤結(jié)果更加準(zhǔn)確。

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

圖3. NOCS-REAL275上的類(lèi)級(jí)別剛性物體位姿追蹤

帶關(guān)節(jié)物體位姿追蹤

由于沒(méi)有現(xiàn)成的類(lèi)級(jí)別帶關(guān)節(jié)物體位姿追蹤數(shù)據(jù)集，我們基于 SAPIEN [3] 生成了一個(gè)合成數(shù)據(jù)集，并在其上對(duì)比我們的方法與類(lèi)級(jí)別帶關(guān)節(jié)物體位姿估計(jì)算法 ANCSH [2]。我們的追蹤結(jié)果更加準(zhǔn)確、平滑，對(duì)自遮擋更加魯棒。

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

圖4. SAPIEN合成數(shù)據(jù)集上的類(lèi)級(jí)別帶關(guān)節(jié)物體位姿追蹤

我們進(jìn)一步在真實(shí)世界的帶關(guān)節(jié)物體數(shù)據(jù)上測(cè)試我們的模型。在 BMVC [4] 數(shù)據(jù)集的筆記本電腦序列、我們采集的剪刀序列、機(jī)械臂操縱抽屜序列上，我們僅在合成數(shù)據(jù)上訓(xùn)練的模型均能成功泛化，達(dá)到對(duì)物體的準(zhǔn)確追蹤。

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

圖5. 上：BMVC數(shù)據(jù)集中的筆記本電腦序列；下：我們采集的剪刀序列

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤

圖6. 機(jī)械臂操縱抽屜序列

4

結(jié)語(yǔ)

本文提出了一個(gè)端到端可微的位姿追蹤框架，能同時(shí)處理類(lèi)級(jí)別剛性物體與帶關(guān)節(jié)物體九自由度位姿追蹤問(wèn)題，在多個(gè)數(shù)據(jù)集上達(dá)到了 SOTA 效果。未來(lái)可能的研究方向包括對(duì)關(guān)節(jié)限制的進(jìn)一步利用，向部件個(gè)數(shù)不固定、部件連接關(guān)系不固定的帶關(guān)節(jié)物體類(lèi)別拓展等。

參考文獻(xiàn)

[1] He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. CVPR 2019.

[2] Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. CVPR 2020.

[3] Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. CVPR 2020.

[4] Frank Michel, Alexander Krull, Eric Brachmann, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Pose estimation of kinematic chain instances via object coordinate regression. BMVC 2015.

ICCV 2021 Oral | 基于點(diǎn)云的類(lèi)級(jí)別剛體與帶關(guān)節(jié)物體位姿追蹤