(來(lái)源綜合自VentureBeat等)

　　Facebook首席執(zhí)行官馬克·扎克伯格宣布推出Facebook Shops。

　　Facebook Shops將為企業(yè)建立單一在線商店，以讓客戶直接連接到Facebook和Instagram上。

“我們的長(zhǎng)期愿景是建立一個(gè)多功能的Al生活方式助手，它可以準(zhǔn)確搜索和排名數(shù)十億種產(chǎn)品，同時(shí)根據(jù)個(gè)人口味進(jìn)行個(gè)性化。”

　　“同一系統(tǒng)將使在線購(gòu)物具有社交性，就像現(xiàn)實(shí)生活中和朋友一起購(gòu)物一樣。再進(jìn)一步，它將推進(jìn)視覺(jué)搜索，以使您的現(xiàn)實(shí)環(huán)境就可以支持虛擬購(gòu)物。

　　如果您看到喜歡的東西（衣服，家具，電子產(chǎn)品等等），您可以為它拍張照片，系統(tǒng)會(huì)找到確切的商品，以及從那時(shí)到那里立即購(gòu)買的幾個(gè)類似商品，并提供購(gòu)物建議。”

　　這聽(tīng)起來(lái)有點(diǎn)像科幻電影《少數(shù)派報(bào)告》中的場(chǎng)景：

　　阿湯哥在街上走，視網(wǎng)膜被自動(dòng)掃描、提取身份信息，得知他喜歡喝吉尼斯黑啤，于是便開(kāi)始對(duì)他投放吉尼斯廣告：“嘿，吉尼斯就在你身后！”

不論在現(xiàn)實(shí)中的任何地方，都能看到個(gè)性化商品投放

　　想要實(shí)現(xiàn)這個(gè)魔幻場(chǎng)景，要?dú)w功于Facebook新開(kāi)發(fā)的三個(gè)AI系統(tǒng)。

　　第一個(gè)是通用計(jì)算機(jī)視覺(jué)系統(tǒng)GrokNet，目標(biāo)是在圖片或視頻中識(shí)別所有的產(chǎn)品，實(shí)現(xiàn)“一切皆可購(gòu)買”。

　　它在七個(gè)數(shù)據(jù)集中進(jìn)行了訓(xùn)練，其中包含數(shù)百萬(wàn)個(gè)用戶發(fā)布、購(gòu)買和出售的產(chǎn)品圖像，從SUV到細(xì)高跟鞋、再到各種形狀的桌子，無(wú)所不包。

　　第二個(gè)可以通過(guò)處理某個(gè)產(chǎn)品的2D視頻而創(chuàng)建其3D視圖，并且還能帶來(lái)強(qiáng)大的AR試穿。

　　第三個(gè)被稱為實(shí)例蒙版投影，可以從圖像中自動(dòng)分割識(shí)別服裝產(chǎn)品。

通用產(chǎn)品識(shí)別的計(jì)算機(jī)視覺(jué)系統(tǒng)：GrokNet

　　為了實(shí)現(xiàn)這一愿景，F(xiàn)acebook正在部署一種新的通用計(jì)算機(jī)視覺(jué)系統(tǒng)，稱為GrokNet。設(shè)計(jì)這種新產(chǎn)品識(shí)別模型的目的是使“幾乎所有照片都可以用于購(gòu)物”。

　　GrokNet目前為Facebook的點(diǎn)對(duì)點(diǎn)購(gòu)物平臺(tái)Marketplace中的買賣雙方提供功能。當(dāng)賣家將照片上傳到Marketplace時(shí)，系統(tǒng)會(huì)自動(dòng)列出相應(yīng)屬性，例如商品的顏色或材料。

Facebook表示，GrokNet可以檢測(cè)出數(shù)十億張照片中的精確、相似（通過(guò)相關(guān)屬性）或一同出現(xiàn)的產(chǎn)品，且在Marketplace上執(zhí)行搜索和過(guò)濾的效率至少是類似算法的兩倍。

　　例如，與Facebook基于文本的歸因系統(tǒng)（只能識(shí)別33％）相比，它能夠識(shí)別90％的家庭和花園列表。

　　作為有限測(cè)試的一部分，除了在Marketplace賣家列出商品之前從圖像生成顏色和材料的標(biāo)簽外，它還用于在頁(yè)面管理員上傳照片時(shí)在Facebook Pages上標(biāo)記產(chǎn)品。

看來(lái)，以后在Facebook上被自動(dòng)標(biāo)記的，不只是你朋友的臉。

　　Facebook表示，在培訓(xùn)GrokNet的過(guò)程中，它使用了具有挑戰(zhàn)性角度的真實(shí)賣方照片以及目錄樣式的價(jià)差。

　　為了使所有國(guó)家，語(yǔ)言，年齡，大小和文化盡可能地具有包容性，它抽樣了不同體型，膚色，位置，社會(huì)經(jīng)濟(jì)階層，年齡和姿勢(shì)的示例。

　　Facebook開(kāi)發(fā)了一種使用GrokNet作為反饋循環(huán)自動(dòng)生成其他標(biāo)識(shí)符的技術(shù)，而不是使用會(huì)花很多時(shí)間的產(chǎn)品標(biāo)識(shí)符來(lái)手動(dòng)注釋每個(gè)圖像，因?yàn)楫a(chǎn)品標(biāo)識(shí)符已經(jīng)使用了很長(zhǎng)時(shí)間。

　　利用對(duì)象檢測(cè)器，該方法可以識(shí)別圖像中可能產(chǎn)品周圍的框，然后將框與已知產(chǎn)品列表進(jìn)行匹配，以將匹配項(xiàng)保持在相似度閾值內(nèi)。結(jié)果的匹配將被添加到訓(xùn)練集中。

　　

Facebook的GrokNet架構(gòu)

　　Facebook還利用了每個(gè)培訓(xùn)數(shù)據(jù)集都具有固有難度的情況。較簡(jiǎn)單的任務(wù)不需要那么多圖像或注釋，而較困難的任務(wù)則需要更多圖像或注釋。

　　公司工程師通過(guò)將大部分培訓(xùn)分配給具有挑戰(zhàn)性的集，而每批只分配少量圖像給簡(jiǎn)單的圖像，從而同時(shí)提高了GrokNet在不同任務(wù)上的準(zhǔn)確性。

　　產(chǎn)品化的GrokNet具有83個(gè)損失函數(shù)（即，將變量的事件映射到表示與事件相關(guān)的某些成本的數(shù)字的函數(shù)），可以預(yù)測(cè)給定圖像的一系列屬性，包括其類別，屬性和可能的搜索查詢。

　　它僅使用256位來(lái)表示每個(gè)產(chǎn)品，就產(chǎn)生了類似于指紋的嵌入，可用于諸如產(chǎn)品識(shí)別，視覺(jué)搜索，視覺(jué)上相似的產(chǎn)品推薦，排名，個(gè)性化，價(jià)格建議和規(guī)范化等任務(wù)。

　　Facebook表示，將來(lái)，它將把GrokNet用來(lái)為Marketplace的店面賦能，以便客戶可以更輕松地找到產(chǎn)品，了解這些產(chǎn)品的穿著方式并獲得相關(guān)的配件建議。

　　“這種通用模型使我們能夠利用更多的信息源，從而提高了準(zhǔn)確性，并且勝過(guò)了單一的垂直關(guān)注模型。”

　　基于SLAM技術(shù)的3D重建和AR試用/試穿

　　第二個(gè)AI模型為Facebook的3D視圖功能提供了支持，該功能現(xiàn)已通過(guò)測(cè)試，在iOS的Marketplace上提供。

　　基于2月份推出的Facebook3D照片工具，這個(gè)模型對(duì)手機(jī)實(shí)時(shí)視頻進(jìn)行后期處理，以創(chuàng)建可旋轉(zhuǎn)并向上移動(dòng)至360度的交互式偽3D表示。

　　Facebook使用一種稱為同步本地化和映射（SLAM）的方法進(jìn)行重建，該方法可以在跟蹤代理人（智能手機(jī)）位置的同時(shí)創(chuàng)建和更新未知環(huán)境或?qū)ο蟮牡貓D。

　　智能手機(jī)的姿態(tài)在3D空間中重建，其路徑通過(guò)檢測(cè)異常間隙的系統(tǒng)進(jìn)行平滑處理，并將每個(gè)姿態(tài)映射到校正不連續(xù)性的坐標(biāo)空間中。

　　為了保持一致性，將平滑的相機(jī)路徑映射回原始空間，從而重新引入了不連續(xù)性并確保了物體的可識(shí)別性。

　　Facebook的SLAM技術(shù)還結(jié)合了對(duì)幀的觀察以獲得稀疏的點(diǎn)云，該點(diǎn)云由任何給定捕獲場(chǎng)景中最突出的特征組成。

　　這個(gè)云充當(dāng)了相機(jī)姿勢(shì)的指導(dǎo)，這些姿勢(shì)與最能代表3D對(duì)象的視點(diǎn)相對(duì)應(yīng)；圖像以某種方式失真，看起來(lái)像是從視點(diǎn)拍攝的。

　　啟發(fā)式離群值檢測(cè)器會(huì)發(fā)現(xiàn)可能引入失真的關(guān)鍵點(diǎn)，并將其丟棄，而相似性約束使重構(gòu)的無(wú)特征部分變得更加僵硬，而散焦區(qū)域看起來(lái)更加自然。

　　除了3D重建之外，F(xiàn)acebook表示將很快利用其Spark AR平臺(tái)結(jié)帳功能，使客戶能夠看到物品在各個(gè)地方的外觀。

　　已經(jīng)有Nyx，Nars和Ray-Ban等品牌在Facebook Ads和Instagram中使用它來(lái)增強(qiáng)現(xiàn)實(shí)的“試穿”體驗(yàn)。

該公司計(jì)劃支持試穿各種物品，包括家居裝飾。和家具-包括商店在內(nèi)的各種應(yīng)用程序和服務(wù)，F(xiàn)acebook的功能使企業(yè)可以通過(guò)網(wǎng)絡(luò)直接進(jìn)行銷售。

　　自動(dòng)分割識(shí)別服裝產(chǎn)品：實(shí)例蒙版投影

　　為了使諸如Marketplace之類的服務(wù)能夠在圖像中自動(dòng)隔離服裝產(chǎn)品，F(xiàn)acebook開(kāi)發(fā)了一種細(xì)分技術(shù)，該技術(shù)聲稱與幾種基準(zhǔn)相比，它可以實(shí)現(xiàn)最先進(jìn)的性能。

　　這項(xiàng)技術(shù)被稱為“實(shí)例蒙版投影”（Instance Mask Projection），可以發(fā)現(xiàn)腕帶、項(xiàng)鏈、裙子和毛衣等在不均勻的光線下拍攝或部分被遮蓋的物品，甚至可以以不同的姿勢(shì)出現(xiàn)在襯衫和夾克等其他物品下。

　　

Instance Mask Projection可以檢測(cè)整個(gè)服裝產(chǎn)品并大致預(yù)測(cè)其形狀。該預(yù)測(cè)用作改進(jìn)每個(gè)像素的估計(jì)的指南，允許合并來(lái)自檢測(cè)的全局信息。預(yù)測(cè)的實(shí)例圖被投影到一個(gè)功能圖中，用作語(yǔ)義分割的輸入。

　　據(jù)Facebook稱，這種設(shè)計(jì)更便于進(jìn)行服裝分析（涉及復(fù)雜的分層、大的變形和非凸體）以及街道場(chǎng)景分割（重疊實(shí)例和小對(duì)象）。

　　下一步：AI時(shí)尚助手！

　　Facebook表示，其目標(biāo)是有一天將這些不同的方法結(jié)合到一個(gè)系統(tǒng)中，即時(shí)提供與個(gè)人口味和風(fēng)格相匹配的產(chǎn)品推薦。

　　它設(shè)想了一個(gè)助手，該助手可以通過(guò)分析一個(gè)人的衣櫥中的圖像來(lái)學(xué)習(xí)喜好，例如，讓人可以嘗試收藏并出售其他人可以預(yù)覽的服裝。

　　為此，F(xiàn)acebook表示，其研究人員正在制作一個(gè)“智能數(shù)字壁櫥”的原型，該壁櫥不僅根據(jù)計(jì)劃的活動(dòng)或天氣提供服裝建議，而且還根據(jù)個(gè)人產(chǎn)品和美學(xué)提供時(shí)尚靈感。

　　Facebook預(yù)計(jì)最終將需要新的系統(tǒng)來(lái)適應(yīng)不斷變化的趨勢(shì)和偏好，理想情況下，該系統(tǒng)將從對(duì)潛在所需產(chǎn)品的圖像的反饋中學(xué)習(xí)。

　　它最近在Fashion ++方面取得了進(jìn)展，它使用AI來(lái)提供個(gè)性化的穿搭建議，比如添加皮帶或半折襯衫。

　　但該公司表示，在真正的預(yù)測(cè)性時(shí)尚助手成為可能之前，必須在語(yǔ)言理解和個(gè)性化體驗(yàn)方面取得進(jìn)步。

　　可能，AI充分滲透進(jìn)現(xiàn)實(shí)，開(kāi)啟社交無(wú)縫購(gòu)物、智能穿搭助手的那一天，離我們真的不遠(yuǎn)了。