編者按：關鍵點檢測是許多計算機視覺任務的基礎，如人臉識別、動作檢測和自動駕駛等。而在這屆NIPS上，來自Google AI的Supasorn Suwajanakorn等人帶來了關于3D關鍵點檢測的一種新方法：端到端幾何推理。如果你沒聽說過這位一作的名字，沒關系，你一定見過SIGGRAPH 2017上震驚世界的奧巴馬造假視頻，在那篇論文中，他也是一作.

摘要

本文提出KeypointNet，這是一個端到端的幾何推理框架，可用于學習一組優化類3D關鍵點，并對它們進行檢測。給定單個圖像，KeypointNet能針對下游任務提取優化關鍵點集。我們通過提出一個可微的對象來展示這個關于3D姿態估計的框架，它的目的是恢復同一對象兩個視圖（2D）之間相對姿勢的最佳關鍵點集，跨視角、跨類發現幾何和語義一致的關鍵點。

重要的是，我們發現這種方法不需要任何基于ground-truth的關鍵點注釋標記，在使用同一神經網絡架構的情況下，它的效果優于完全監督基線。關于汽車、椅子和飛機等對象的3D關鍵點可視化，請看keypointnet.github.io。

簡介

卷積神經網絡（CNN）的研究已經證實，特征提取和分類管道的聯合優化可以顯著提升網絡的對象識別性能。但話雖如此，目前一些解決幾何視覺問題的方法，比如3D重建和shape alignment，它們都包含一個單獨的關鍵點檢測模塊，在檢測結果上再運用幾何推理。在本文中，我們探討了一個問題，即能否構建一個端到端的幾何推理模型，把關鍵點直接聯合優化為下游任務的一組潛在變量。

請設想這么一個例子：圖像中汽車的3D姿勢問題。按照常規做法，我們應該先檢測所有關鍵點，然后在幾何推理框架內應用這些點，恢復汽車的3D姿勢或某個角度的視圖。實現這一點的手段有很多，比如手動注釋關鍵點，然后進行監督學習，也可以開發一組關鍵點檢測器，盡管這容易出錯。

但這種方法成本太高了，而且關鍵點的選擇也缺乏一致性和明確性。為了獲得更合理的關鍵點集，我們應該根據下游任務的需要，直接優化下游任務需要的關鍵點，從中獲取獨特性、易于檢測和多樣性等目標關鍵點屬性。

KeypointNet的效果

首先，我們來看看KeypointNet的具體效果，下面是“飛機”的關鍵點預測情況，可以關注最后一行，尤其是最后兩個。它們的機翼朝向難辨，因此關鍵點總是變動：

下面是“汽車”：

模型的整體預測效果很好，但請注意最后一行。其中第二輛車是黑色的，和背景顏色一致，這顯然影響了KeypointNet的預測效果；而第三輛車之所以也會出現關鍵點變動，是因為它的車頭和車尾太相似了，讓模型感到迷惑。

上圖是用不同數量的關鍵點[3,5,8,10,15,20]訓練網絡的結果，可以發現網絡最先找到的關鍵點在飛機頭部和機翼，隨著數量增加，KeypointNet跟蹤的部分更多（顏色是獨立的，和預測結果無關）。

以上都是簡單旋轉的預測結果，那么如果目標對象是個可形變的物體，KeypointNet的穩健性會如何？

如這些動圖所示，圖中汽車會動態扭曲，但還能保持原有形狀。對于這類目標，KeypointNet預測的關鍵點還是很穩定，效果也很好。

最后，也是最重要的，生成、檢測關鍵點的作用是用于人臉識別、姿態估計等任務，那么KeypointNet在現實場景下是否也有上述效果：

上圖右側是成功預測關鍵點的示例，右側是失敗案例。總體而言，這個模型在大多數正常汽車圖像上表現出色，但它很難處理自帶廣角畸變的圖像、花紋復雜的汽車和包含鏡面高光的圖像。

端到端優化3D關鍵點

這一節是對KeypointNet的概述。

給定已知對象類別中的單個圖像，這個模型可利用像素坐標和相關聯的深度值，預測并生成3D關鍵點的有序列表。這些關鍵點需要在幾何上和語義上保持一致，如下圖所示，即便是外形不同的椅子，KeypointNet始終可以使用相同的關鍵點，而且它們不會隨視角變化發生變動，也能預測被遮擋的部分（椅子后腿）。

KeypointNet有N個頭，因此可以提取N個關鍵點，同一個頭在提取關鍵點時主要參考語義是否一致。

和完全監督學習方法相比，這種做法沒有事先定義關鍵點位置，相反地，它專注于訓練時的相對姿態估計，也就是對于同一目標的兩個2D不同視圖（變換T），找到圖一中的關鍵點P1和它在圖二中的對應關鍵點P2，用這兩個點構建3D關鍵點列表。如下圖所示：

在訓練期間，同一對象的兩個視圖被作為KeypointNet的輸入，已知視圖變換T=(R, t)，P1和P2是一致關鍵點，可以從中提取3D關鍵點

把兩個關鍵點合并成一個3D關鍵點的目標函數是O(P1, P2)，有了它，我們就能可以從圖像到關鍵點列表的參數映射。這個目標函數由兩大關鍵構成：

多視圖一致性損失，用于在已知轉換T的情況下，衡量兩組點之間的差異。

相對姿態估計損失，用于懲罰真實旋轉R和P1、P2校正的旋轉R?之間的差異。

實驗證明，它們能幫模型發現重要的關鍵點，其中有一些甚至和人工特別手動標注的點一致。需要注意的是，這些具有語義意義的關鍵點不會被直接優化，可以它們對于下游任務可能不是最佳的。

由于論文的閱讀體驗不是很好，具體計算細節，感興趣的讀者可以去原文查看。