機器之心 - CVPR 2022 | 高質量捕捉人物動作，網易互娛AI Lab提出高效視頻動捕技術－鑽石舞台

機器之心專欄

作者：網易互娛AI Lab

iCap是網易互娛AI Lab研發的一款產品級的視覺動作捕捉工具，近日研發團隊已將手部動作捕捉部分的算法進行了整理，相關論文已被CVPR 2022接收。

動作捕捉技術在影視和遊戲行業已得到廣泛的應用，其中最常用的技術方案是光學動作捕捉。光學動捕需要演員穿着緊身動捕服，並且在身上粘貼光學標記點，在配置好光學動捕設備的場地進行表演和動作錄製。光學動捕設備通常價格不菲，同時還需要固定的室內場地，使用成本和門檻較高，很多小型動畫工作室只能望而卻步。如果可以從手機拍攝的視頻中高精度地捕捉人物動作，那將是動畫師的福音。

現在，動畫師的福音來了。一起來看下面的視頻，只需用手機從兩個視角拍攝同一組人物動作，便可快速高質量地捕捉到人物的動作，得到骨骼動畫數據。這些都是通過iCap——網易互娛AI Lab研發的一款產品級的視覺動作捕捉工具實現的。

相比於傳統光學動作捕捉流程，iCap有以下優勢：

1.快速產出：能夠快速產出動作數據，更適用于敏捷開發，方便前期試錯；

2.隨時隨地：只需光照條件足夠讓拍攝清晰，便可隨時隨地拍攝視頻，產出結果；

3.節約人力，節約成本。

值得一提的是，iCap不僅支持身體關節數據捕捉，也支持手部數據捕捉。近日，網易互娛AI Lab已經將手部動作捕捉部分的算法進行了整理，相關論文已被CVPR 2022接收。

論文鏈接：https://arxiv.org/pdf/2203.16202.pdf

現有的手部動作捕捉方法大部分是將手部信息和身體信息分開考慮的，即這些方案的輸入是單純的手部視覺信息。這樣做的問題是，捕捉到的手部動作可能會和手臂動作存在不匹配，不協調的情況，在整合進全身動作捕捉數據時容易產生不合理的姿態。另外，現有的手部動作捕捉方法大多都只考慮了當前幀的信息，未能考慮幀間連續性，輸出的動作容易出現抖動，也難以應對複雜的手部動作捕捉場景（模糊、遮擋等）。這些問題都導致現有方案比較難以推向實際應用。

為解決現有方案的痛點，網易互娛AI Lab提出了解決方案，該方案的主要貢獻點如下：

1.考慮到手臂動作和手部動作之間的相關性，設計模型同時預測手臂和手部動作；通過利用此相關性，輸出的手臂和手部姿態會更加合理；

2.通過兩個transformer模型分別在時間和空間維度上提取相關性信息，使得手臂和手部的相關性能夠更好地被利用，與此同時也能輸出幀間連續的結果；另外，論文還定製了合適的目標函數以獲得準確而穩定的輸出序列。

方法介紹

此項工作的目標是從視頻中捕捉手臂和手的動作，具體地，此方案以骨骼旋轉量來表示動作。實現上述目標最簡單的思路是直接學習一個圖像到骨骼旋轉量的映射，但這就需要有能夠和動作捕捉數據逐幀匹配圖像數據（即和動作捕捉數據對齊的視頻），這通常是難以獲取的。研究者認為，直接從圖像輸入中學習旋轉量信息難度要大於從關鍵點輸入中學習旋轉量信息，因為前者缺少訓練數據，後者則可以很方便地從動作捕捉數據中提取出（輸出關鍵點，輸出旋轉量）數據對。基於上述分析，方案的整體框架主要包括了一個關鍵點預測模塊和一個旋轉量估計模塊。

下圖展示了iCap中手部動作捕捉算法的整體框架。

模型結構

手部動作捕捉方案由兩個模塊組成，一個是關鍵點預測模塊，另一個是旋轉量預測模塊。我們首先獲取手部2D關鍵點以及手臂處的3D關鍵點，然後在基於這些關鍵點，設計了合適的模型用來估計旋轉量。

關鍵點預測模塊包含一個手部2D關鍵點定位模型和一個手臂3D關鍵點預測模型。手部2D關鍵點定位模型是基於MobileNetV3結構設計的，具體結構是基於one shot NAS搜索得出。手臂3D關鍵點則直接採用CVPR 2018的VPose3D預測全身3D姿態，再從中提取手臂關鍵點。

旋轉量預測模塊主要包含兩個Transformer模型，一個是Temporal Transformer，一個是Spatial Transformer，整個模塊稱為Spatial-Temporal Parallel Arm-Hand Motion Transformer（PAHMT）。

Temporal Transformer的主要目標是提取手臂和手部動作的時序先驗信息，以求輸出幀間連續的動作數據。Spatial Transformer的主要目標是提取手臂姿態和手勢姿態之間的全局相關性（揮動手臂往往和揮動手掌高度相關）以及不同關節點之間的局部相關性（譬如無名指的運動通常會帶動中指和小拇指）。

對於一段輸入序列，將其Reshape成不同形狀以作為兩個Transformer的輸入。不論是全局相關性還是局部相關性，他們在不同幀之間都應該保持一致，故論文受到ViT中的classification token的啟發，設置了一個可學習的regression token，用來表徵空間相關性特徵。我們將Spatial Transformer輸出的空間相關性特徵和Temporal Transformer時序特徵進行逐元素相加（element-wise adding）得到最後的特徵，最後經過一個簡單的回歸網絡得到最後的輸出。

目標函數

用來引導模型訓練的目標函數主要包含兩個部分，一部分是重建目標函數，一部分是對抗目標函數。

對抗目標函數的主要目的是引導模型輸出具有「真實感」的手臂和手部動作。

重建目標函數是負責去學習骨骼旋轉量的，主要由三個部分組成，L1 loss，FK loss和幀間平滑loss，

重建損失的基本目標是L1 loss。

考慮到在以骨骼樹的形式表示一個姿態的旋轉量的時候，不同關節的重要程度是不一樣的（父節點的旋轉量會直接影響到子節點的位置，故同樣的旋轉誤差作用於父子節點時，父節點帶來的整體誤差更大），論文引入了FK loss，即對輸出旋轉量通過FK函數計算得到關節點位置，用它與ground truth關節點位置計算loss。

考慮到幀間連續性，論文還引入了幀間平滑loss。

實驗結果

由於缺少包含手部數據的開源動作捕捉數據集，研究者收集了一套包含身體關節和手部動作的動作捕捉數據，數據包含500段動作，總計約20萬幀。該動捕數據主要包含了一些舞蹈和體育動作，覆蓋了很多肢體動作和手勢。研究者對該數據進行了劃分（90%訓練集，10%驗證集），在此動作捕捉數據集上訓練模型並進行了消融實驗對比。下圖展示了該數據的樣例。

另外，論文還通過動捕數據渲染得到了一批包含手部動作標籤的視頻數據，用來和state-of-the-art算法進行對比。下圖展示了渲染數據集的樣例。

評價指標：論文同時以MPJPE（Mean Per Joint Position Error）和MPJRE（Mean Per Joint Rotation Error）作為評價指標；

Baseline: 模型backbone為普通CNN，目標函數隻包含對抗損失和L1 loss，輸入輸出和論文提出的方案一致，訓練涉及的batch size，learning rate等信息均與消融實驗中其他方法一致；

AHMT：只考慮Temporal Transformer的方案；

h2h和ah2ah：h2h表示輸入手部關鍵點輸出手部旋轉量；ah2ah表示同時輸入手臂和手臂關鍵點並同時輸出手臂和手部旋轉量。

下表展示了消融實驗的結果。結果顯示，通過利用幀間相關性信息，普通Temporal Transformer表現出顯著優於CNN的性能。而通過引入Spatial Transformer來利用手臂姿態和手勢姿態之間的全局相關性以及不同關節點之間的局部相關性之後，實驗誤差繼續顯著降低（MPJPE降低13%，MPJRE降低16%）。對於目標函數，可以看出單獨引入FK loss能夠降低實驗誤差，而單獨引入幀間平滑損失則於誤差降低無益，這是因為幀間平滑損失的主要目標是提高輸出的幀間連續性。但值得注意的是，當FK loss和幀間平滑損失結合使用時，實驗誤差比單獨使用任意一種都更低。綜上所述，實驗驗證了論文提出的並行時空transformer結構以及目標函數的有效性。