引言：品覽是一家基于計算機視覺技術，面向企業客戶提供人工智能解決方案的科技服務公司。專注于打造世界一流的 AI 物品識別平臺，面向消費品、零售企業提供 AI 智能營銷/物流方案。在 AI 應用領域，團隊服務過上汽集團（安吉物流）、頂新集團（味全）、欣和集團、喜士多、Farfetch 等客戶。

零售行業的貨架戰爭

為了在龐大的線下終端贏得消費者的選擇，爭奪產品在貨架上的露出位置和比例，跟哪些競品在一起露出，以及如何通過貨架陳列，使產品的視覺呈現更能吸引消費者購買，目前成為快消企業終端執行的重中之重。

然而在門店實際執行過程中經常會出現的情況：生動化陳列執行不到位，如缺少必銷品，重點商品、新品陳列沒有占據醒目位置，排面靠后或被競品壓制，擺放不整齊、生動化物料沒有展示出來等情況屢見不鮮。當貨架缺貨的情況發生時，品牌商可能會失去 46% 的購買者，而零售商可能會失去 30% 的購買者。

因此，要實現線下終端的高效管控，可以從兩個角度入手：

超強且龐大的線下執行團隊；

利用 AI 物品識別技術輔助人工完成陳列審查這件事。

品覽基于 TensorFlow 開發了物品識別平臺 —AI 億覽通，幫助零售行業客戶掌握一手門店數據，優化貨架執行和提高坪效。

AI 億覽通技術難點及解題思路

品覽旗下主要產品 AI 億覽通，以商品識別引擎為核心，基于自身前沿的結合弱監督與細粒度識別算法，商品識別準確度高達 97% 以上，目前可實現商品 SKU 種類、在貨架上的陳列位置、價簽及生動化物料識別檢測等功能。

(1) 算法難點：

在貨架場景中，商品通常會擺放的非常密集，要想準確無誤的統計排面識別每個 SKU，需要超高準確率和召回率的商品檢測；

商品種類繁多，一般商品的 SKU 種類數量上萬，甚至高達幾十萬，單一模型無法完全支持；

同品牌 SKU 之間非常相似，特征看上去沒有明顯的差異，需要攻克細粒度分類難題；

同一款商品可能有不同的規格，比如可樂，可能會有 330 毫升、500 毫升，或一升的，它更像是等比例縮放，因為計算機視覺天然是要求有尺度不變性的，這種情況通常是很難區分的。

(2) 解題思路

1. 商品識別的流程

2. 解決貨架傾斜

高質量完成商品識別的前提是擁有完美的數據，巡店員為了快速完成任務多數情況下一張照片拍上整個貨架，導致在圖片數據中貨架傾斜嚴重，這對后續的商品檢測識別十分不利，采用 TF 框架搭建的 Mask R-CNN 實例分割算法對圖片中的貨架層進行分割，

實例分割 Mask R-CNN 框架

根據分割的貨架線，使用仿射變換進行貨架的傾斜矯正，完美解決貨架傾斜的問題。

貨架線分割效果圖

分割模型參考
https://github.com/matterport/Mask_RCNN

3. 復雜場景下的商品檢測

針對零售行業復雜的場景，便利店/超市/小賣店等物品的擺放及巡店人員的拍攝習慣等，我們采用 RetinaNet 目標檢測模型進行商品檢測，該目標檢測模型創新性提出了 Focal loss（如圖 1 所示）作為訓練的損失函數，可以有效的解決訓練過程中正負樣本不平衡的問題.

圖 1

結合 Focal Loss 該模型設計了一個簡單的 one-stage detector 來進行檢測，網絡結構名為 RetinaNet（如下圖 2）：

圖 2 RetinaNet

該模型采用了 FPN 結構進行多層網絡特征的融合，可以有效的兼容不同尺度訓練數據，優化小目標的檢測效果。使用 TensorFlow 的內置函數來構建 FPN 結構和計算 Focal Loss，模型訓練速度快，可在短時間內進行多次模型迭代，提高了模型的訓練效率，并在訓練過程中使用 tensorflow.summary 記錄 loss 和 accuracy，可以實時監測模型的收斂情況。隨著 TensorFlow 的發展完善，搭建新模型時很多結構可以從 TensorFlow 的官方復現中直接提取使用，當成固定的模塊，加速了模型構建速度。

RetinaNet 請參考
https://github.com/fizyr/tf-retinanet

4. 商品識別

面對海量 SKU，采用 Resnet50 深度學習網絡進行模型訓練，該網絡結構由何凱明團隊在 2015 年提出，一經問世就引起轟動，成為近年來最經典的特征提取網絡結構之一，其亮點在于殘差網絡結構（如下圖所示）：

對于同一品牌包裝十分相似的商品，在特征提取網絡中加入 Attention 機制，進行細粒度區分，利用 TensorFlow 框架完成模型的搭建，進行 SKU 分類模型的訓練，方便快捷。使用 TensorBoard 進行訓練過程可視化，不僅可以監測模型訓練過程中 loss 的下降趨勢，方便訓練調參，并可以可視化搭建的網絡模型結構，方便更好的學習和理解深度神經網絡。

Resnet 參考
https://github.com/ry/tensorflow-resnet

5. TF Serving 完成模型部署高效服務訓練完成的模型需要配合高性能的部署服務才能更快更好的實現模型調用，AI 億覽通使用 TF Serving 進行模型部署，TF Serving 具有如下明顯的優勢：

支持 docker 部署：常用的部署方式是使用 docker 部署，將宿主機的模型目錄掛載在 docker 的虛擬目錄下，拉取的 docker 鏡像可選擇支持 CPU 或 GPU，也提供了版本選擇，方便調試。

支持多種通信方式：目前 TF Serving 的客戶端和服務端支持的的通信方式為：gRPC 和 REST API，前者端口為 8500，后者為 8501，兩種方式分別對應了不同的傳輸方法。

掛載模型簡單：使用 TF Serving 部署模型，不需要部署代碼，但需要必要的客戶端代碼。因為模型使用掛載的方式，對同一模型的不同版本，Serving 會自動刷新選擇最新的模型版本，更新版本也不需要重啟服務。同時 TF Serving 也支持多模型部署，因而使用起來比較方便。

應用效果展示

以欣和集團為例，旗下擁有 11 個調味品牌，商品覆蓋全國 1400 個縣區，門店數量極其龐大。在使用 AI 億覽通服務之前，通常采取的是人工抽檢的方式，每周需要一天 20 人次投入審核工作，使用品覽的服務進行 AI 自動化后，僅需 1 人督導即可完成審核。

巡店員從小程序拍照上傳即可

由于欣和的海量產品和門店，擁有十分復雜的陳列場景。億覽通不僅支持貨架、端架、冰箱、堆頭、地龍等豐富場景，貨架插卡、貼條、價格簽、爆炸牌、跳跳卡、頸標、商品貼等多種生動化陳列物料，還能檢測圖片質量是否過于傾斜、模糊，通過圖像/視頻拼接呈現品類完整貨架陳列，并具備分秒級批量審核數萬張貨架照片的能力。

分秒級批量審核能力

后臺識別結果，顯示了貨架 SKU 比例分析、是否陳列達標等信息

使用 AI 億覽通后，欣和實現了生動化陳列審核自動化，從抽檢改為全面審核每家門店的陳列；檢核周期從每周縮短為每天；在釋放了人力資源的情況下，整體工作效率提升 95%。

RP2K 數據集發布

AI 技術的落地實踐與應用越來越方便，隨著各種強大的數據集發布，機器學習模型訓練無需再親自采集數據，數據訓練集唾手可得。擁有強大的零售貨架商品識別經驗的品覽，近期正式發布了 RP2K 零售品數據集。

不同于一般聚焦新產品的數據集，RP2K 收錄了超過 50 萬張零售商品貨架圖片，商品種類超過 2000 種，該數據集是目前同類別數據集中產品種類數量之最，同時所有圖片均來自于真實場景下的人工采集，針對每種商品，我們提供了十分詳細的注釋，包含尺寸/形狀/味道等特征。RP2K 致力于幫助物品識別領域進行學術研究，同時為 AI 物品識別從業者打造真實行業級試煉場，歡迎訪問品覽官網下載使用。

數據集
https://www.pinlandata.com/rp2k_dataset

RP2K 數據集論文
https://arxiv.org/abs/2006.12634

總結

本文從零售品牌商普遍存在的門店執行痛點出發，分析了贏得“貨架戰爭”的關鍵點——利用AI物品識別技術替代人工完成陳列審查，提高貨架數據準確度和效率。

在商品識別的技術實踐中，我們進行了多角度的檢測模型實驗和數據優化方法。從檢測到分類到可視化調參，TensorFlow 都起到了不可替代的作用和幫助。

責任編輯：xj

原文標題：案例分享丨AI 物品識別技術解決零售業難題，看看品覽怎么做

文章出處：【微信公眾號：TensorFlow】歡迎添加關注！文章轉載請注明出處。