谷歌人工智能實驗室近日發布 Objectron 數據集，這是一個以3D目標為中心的視頻剪輯的集合，這些視頻剪輯從不同角度捕獲了較大的一組公共對象。數據集包括 15K 帶注釋的視頻剪輯，并補充了從地理多樣的樣本中收集的超過 4M 帶注釋的圖像（覆蓋五大洲的 10 個國家）。

機器學習(ML)的最新技術已經在許多計算機視覺任務上取得了SOTA的結果，但僅僅是通過在2D照片上訓練模型而已。 在這些成功的基礎上，提高模型對 3D 物體的理解力有很大的潛力來支持更廣泛的應用場景，如增強現實、機器人、自動化和圖像檢索。 今年早些時候，谷歌發布了 MediaPipe Objectron，一套為移動設備設計的實時 3D 目標檢測模型，這個模型是基于一個已標注的、真實世界的 3D 數據集，可以預測物體的 3D 邊界。

然而，理解3D 中的對象仍然是一項具有挑戰性的任務，因為與2D 任務(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真實世界數據集。 為了使研究團體能夠繼續推進3D 對象理解，迫切需要發布以對象為中心的視頻數據集，這些數據集能夠捕獲更多的對象的3D 結構，同時匹配用于許多視覺任務(例如，視頻或攝像機流)的數據格式，以幫助機器學習模型的訓練和基準測試。 近期谷歌發布了 Objectron 數據集，這是一個以對象為中心的短視頻剪輯數據集，從不同的角度捕捉了一組更大的普通對象。

每個視頻剪輯都伴隨著 AR 會話元數據，其中包括攝像機姿態和稀疏點云。數據還包含為每個對象手動注釋的3D 邊界，這些 bounding box 描述了對象的位置、方向和尺寸。 每個視頻剪輯都隨附有 AR 的元數據，其中包括相機姿勢和稀疏點云。數據還包含每個對象的手動注釋的 3D 邊界框，用于描述對象的位置，方向和尺寸。 該數據集包括15K 注釋視頻剪輯與超過4M 注釋圖像收集的地理多樣性樣本(涵蓋10個國家橫跨五大洲)。

3D 目標檢測解決方案

除了這個數據集，谷歌還分享了一個 3D 目標檢測解決方案，可以用于4類物體：鞋子、椅子、杯子和相機。 這些模型是在 MediaPipe 中發布的，MediaPipe 是谷歌的開源框架，用于跨平臺可定制的流媒體機器學習解決方案，它同時也支持機器學習解決方案，比如設備上的實時手勢、虹膜和身體姿態跟蹤。

與之前發布的 single-stage Objectron 模型相比，這些最新版本采用了兩級架構。 第一級使用 TensorFlow 目標檢測模型來尋找物體的 2D 裁剪，第二級使用圖像裁剪來估計三維bounding box，同時計算下一幀對象的二維裁剪，使得目標檢測器不需要運行每一幀。第二階段的三維 bounding box 預測器是以83 FPS在 Adreno 650 GPU 上運行。

3D 目標檢測的評估指標

有了真實的注釋，我們就可以使用 3D IoU（intersection over union）相似性統計來評估 3D 目標檢測模型的性能，這是計算機視覺任務常用的指標，衡量bounding box與ground truth的接近程度。 谷歌提出了一種計算一般的面向三維空間的精確 3D IoU 的算法。 首先使用 Sutherland-Hodgman Polygon clipping 算法計算兩個盒子面之間的交點，這類似于計算機圖形學的剔除技術（frustum culling），利用所有截斷多邊形的凸包計算相交的體積。最后，通過交集的體積和兩個盒子的并集的體積計算 IoU。 谷歌表示將隨數據集一起發布評估的源代碼。

數據格式

Objectron 數據集的技術細節，包括使用和教程，均可在數據集網站上獲得。這些數據集中的物體包括自行車、書籍、瓶子、相機、麥片盒、椅子、杯子、筆記本電腦和鞋子等，和數據集一起發布的具有以下內容: 1.視頻序列 2.帶注釋的標簽(目標的3D 邊界框) 3.AR 元數據 (如照相機姿態、點云和平面表面) 4.處理過的數據集: 混合版本的帶注釋的幀、tf.example 格式的圖像和 SequenceExample 格式的視頻 5.支持基于上面描述的度量評估的腳本 6.支持腳本將數據加載到 Tensorflow、Pytorch、Jax并且可視化數據集 除了數據集，谷歌還開放了數據管道來解析 Tensorflow、 PyTorch 和 Jax 框架中的數據集。

還提供了 colab notebook 的實例 。 通過發布這個 Objectron 數據集，谷歌希望能夠使研究團體推進三維物體幾何理解的極限。同時也希望促進新的研究和應用，如視圖合成，改進的 3D 表示和非監督式學習等。 參考鏈接： https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+blogspot%2FgJZg+%28Google+AI+Blog%29

責任編輯：xj

原文標題：重磅！谷歌發布3D目標檢測數據集及檢測方案

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。