(來(lái)源綜合自VentureBeat等)
Facebook首席執(zhí)行官馬克·扎克伯格宣布推出Facebook Shops。
Facebook Shops將為企業(yè)建立單一在線商店,以讓客戶直接連接到Facebook和Instagram上。
“我們的長(zhǎng)期愿景是建立一個(gè)多功能的Al生活方式助手,它可以準(zhǔn)確搜索和排名數(shù)十億種產(chǎn)品,同時(shí)根據(jù)個(gè)人口味進(jìn)行個(gè)性化。”
“同一系統(tǒng)將使在線購(gòu)物具有社交性,就像現(xiàn)實(shí)生活中和朋友一起購(gòu)物一樣。再進(jìn)一步,它將推進(jìn)視覺(jué)搜索,以使您的現(xiàn)實(shí)環(huán)境就可以支持虛擬購(gòu)物。
如果您看到喜歡的東西(衣服,家具,電子產(chǎn)品等等),您可以為它拍張照片,系統(tǒng)會(huì)找到確切的商品,以及從那時(shí)到那里立即購(gòu)買的幾個(gè)類似商品,并提供購(gòu)物建議。”
這聽(tīng)起來(lái)有點(diǎn)像科幻電影《少數(shù)派報(bào)告》中的場(chǎng)景:
阿湯哥在街上走,視網(wǎng)膜被自動(dòng)掃描、提取身份信息,得知他喜歡喝吉尼斯黑啤,于是便開(kāi)始對(duì)他投放吉尼斯廣告:“嘿,吉尼斯就在你身后!”
不論在現(xiàn)實(shí)中的任何地方,都能看到個(gè)性化商品投放
想要實(shí)現(xiàn)這個(gè)魔幻場(chǎng)景,要?dú)w功于Facebook新開(kāi)發(fā)的三個(gè)AI系統(tǒng)。
第一個(gè)是通用計(jì)算機(jī)視覺(jué)系統(tǒng)GrokNet,目標(biāo)是在圖片或視頻中識(shí)別所有的產(chǎn)品,實(shí)現(xiàn)“一切皆可購(gòu)買”。
它在七個(gè)數(shù)據(jù)集中進(jìn)行了訓(xùn)練,其中包含數(shù)百萬(wàn)個(gè)用戶發(fā)布、購(gòu)買和出售的產(chǎn)品圖像,從SUV到細(xì)高跟鞋、再到各種形狀的桌子,無(wú)所不包。
第二個(gè)可以通過(guò)處理某個(gè)產(chǎn)品的2D視頻而創(chuàng)建其3D視圖,并且還能帶來(lái)強(qiáng)大的AR試穿。
第三個(gè)被稱為實(shí)例蒙版投影,可以從圖像中自動(dòng)分割識(shí)別服裝產(chǎn)品。
通用產(chǎn)品識(shí)別的計(jì)算機(jī)視覺(jué)系統(tǒng):GrokNet
為了實(shí)現(xiàn)這一愿景,F(xiàn)acebook正在部署一種新的通用計(jì)算機(jī)視覺(jué)系統(tǒng),稱為GrokNet。設(shè)計(jì)這種新產(chǎn)品識(shí)別模型的目的是使“幾乎所有照片都可以用于購(gòu)物”。
GrokNet目前為Facebook的點(diǎn)對(duì)點(diǎn)購(gòu)物平臺(tái)Marketplace中的買賣雙方提供功能。當(dāng)賣家將照片上傳到Marketplace時(shí),系統(tǒng)會(huì)自動(dòng)列出相應(yīng)屬性,例如商品的顏色或材料。
Facebook表示,GrokNet可以檢測(cè)出數(shù)十億張照片中的精確、相似(通過(guò)相關(guān)屬性)或一同出現(xiàn)的產(chǎn)品,且在Marketplace上執(zhí)行搜索和過(guò)濾的效率至少是類似算法的兩倍。
例如,與Facebook基于文本的歸因系統(tǒng)(只能識(shí)別33%)相比,它能夠識(shí)別90%的家庭和花園列表。
作為有限測(cè)試的一部分,除了在Marketplace賣家列出商品之前從圖像生成顏色和材料的標(biāo)簽外,它還用于在頁(yè)面管理員上傳照片時(shí)在Facebook Pages上標(biāo)記產(chǎn)品。
看來(lái),以后在Facebook上被自動(dòng)標(biāo)記的,不只是你朋友的臉。
Facebook表示,在培訓(xùn)GrokNet的過(guò)程中,它使用了具有挑戰(zhàn)性角度的真實(shí)賣方照片以及目錄樣式的價(jià)差。
為了使所有國(guó)家,語(yǔ)言,年齡,大小和文化盡可能地具有包容性,它抽樣了不同體型,膚色,位置,社會(huì)經(jīng)濟(jì)階層,年齡和姿勢(shì)的示例。
Facebook開(kāi)發(fā)了一種使用GrokNet作為反饋循環(huán)自動(dòng)生成其他標(biāo)識(shí)符的技術(shù),而不是使用會(huì)花很多時(shí)間的產(chǎn)品標(biāo)識(shí)符來(lái)手動(dòng)注釋每個(gè)圖像,因?yàn)楫a(chǎn)品標(biāo)識(shí)符已經(jīng)使用了很長(zhǎng)時(shí)間。
利用對(duì)象檢測(cè)器,該方法可以識(shí)別圖像中可能產(chǎn)品周圍的框,然后將框與已知產(chǎn)品列表進(jìn)行匹配,以將匹配項(xiàng)保持在相似度閾值內(nèi)。結(jié)果的匹配將被添加到訓(xùn)練集中。
Facebook的GrokNet架構(gòu)
Facebook還利用了每個(gè)培訓(xùn)數(shù)據(jù)集都具有固有難度的情況。較簡(jiǎn)單的任務(wù)不需要那么多圖像或注釋,而較困難的任務(wù)則需要更多圖像或注釋。
公司工程師通過(guò)將大部分培訓(xùn)分配給具有挑戰(zhàn)性的集,而每批只分配少量圖像給簡(jiǎn)單的圖像,從而同時(shí)提高了GrokNet在不同任務(wù)上的準(zhǔn)確性。
產(chǎn)品化的GrokNet具有83個(gè)損失函數(shù)(即,將變量的事件映射到表示與事件相關(guān)的某些成本的數(shù)字的函數(shù)),可以預(yù)測(cè)給定圖像的一系列屬性,包括其類別,屬性和可能的搜索查詢。
它僅使用256位來(lái)表示每個(gè)產(chǎn)品,就產(chǎn)生了類似于指紋的嵌入,可用于諸如產(chǎn)品識(shí)別,視覺(jué)搜索,視覺(jué)上相似的產(chǎn)品推薦,排名,個(gè)性化,價(jià)格建議和規(guī)范化等任務(wù)。
Facebook表示,將來(lái),它將把GrokNet用來(lái)為Marketplace的店面賦能,以便客戶可以更輕松地找到產(chǎn)品,了解這些產(chǎn)品的穿著方式并獲得相關(guān)的配件建議。
“這種通用模型使我們能夠利用更多的信息源,從而提高了準(zhǔn)確性,并且勝過(guò)了單一的垂直關(guān)注模型。”
基于SLAM技術(shù)的3D重建和AR試用/試穿
第二個(gè)AI模型為Facebook的3D視圖功能提供了支持,該功能現(xiàn)已通過(guò)測(cè)試,在iOS的Marketplace上提供。
基于2月份推出的Facebook3D照片工具,這個(gè)模型對(duì)手機(jī)實(shí)時(shí)視頻進(jìn)行后期處理,以創(chuàng)建可旋轉(zhuǎn)并向上移動(dòng)至360度的交互式偽3D表示。
Facebook使用一種稱為同步本地化和映射(SLAM)的方法進(jìn)行重建,該方法可以在跟蹤代理人(智能手機(jī))位置的同時(shí)創(chuàng)建和更新未知環(huán)境或?qū)ο蟮牡貓D。
智能手機(jī)的姿態(tài)在3D空間中重建,其路徑通過(guò)檢測(cè)異常間隙的系統(tǒng)進(jìn)行平滑處理,并將每個(gè)姿態(tài)映射到校正不連續(xù)性的坐標(biāo)空間中。
為了保持一致性,將平滑的相機(jī)路徑映射回原始空間,從而重新引入了不連續(xù)性并確保了物體的可識(shí)別性。
Facebook的SLAM技術(shù)還結(jié)合了對(duì)幀的觀察以獲得稀疏的點(diǎn)云,該點(diǎn)云由任何給定捕獲場(chǎng)景中最突出的特征組成。
這個(gè)云充當(dāng)了相機(jī)姿勢(shì)的指導(dǎo),這些姿勢(shì)與最能代表3D對(duì)象的視點(diǎn)相對(duì)應(yīng);圖像以某種方式失真,看起來(lái)像是從視點(diǎn)拍攝的。
啟發(fā)式離群值檢測(cè)器會(huì)發(fā)現(xiàn)可能引入失真的關(guān)鍵點(diǎn),并將其丟棄,而相似性約束使重構(gòu)的無(wú)特征部分變得更加僵硬,而散焦區(qū)域看起來(lái)更加自然。
除了3D重建之外,F(xiàn)acebook表示將很快利用其Spark AR平臺(tái)結(jié)帳功能,使客戶能夠看到物品在各個(gè)地方的外觀。
已經(jīng)有Nyx,Nars和Ray-Ban等品牌在Facebook Ads和Instagram中使用它來(lái)增強(qiáng)現(xiàn)實(shí)的“試穿”體驗(yàn)。
該公司計(jì)劃支持試穿各種物品,包括家居裝飾。和家具-包括商店在內(nèi)的各種應(yīng)用程序和服務(wù),F(xiàn)acebook的功能使企業(yè)可以通過(guò)網(wǎng)絡(luò)直接進(jìn)行銷售。
自動(dòng)分割識(shí)別服裝產(chǎn)品:實(shí)例蒙版投影
為了使諸如Marketplace之類的服務(wù)能夠在圖像中自動(dòng)隔離服裝產(chǎn)品,F(xiàn)acebook開(kāi)發(fā)了一種細(xì)分技術(shù),該技術(shù)聲稱與幾種基準(zhǔn)相比,它可以實(shí)現(xiàn)最先進(jìn)的性能。
這項(xiàng)技術(shù)被稱為“實(shí)例蒙版投影”(Instance Mask Projection),可以發(fā)現(xiàn)腕帶、項(xiàng)鏈、裙子和毛衣等在不均勻的光線下拍攝或部分被遮蓋的物品,甚至可以以不同的姿勢(shì)出現(xiàn)在襯衫和夾克等其他物品下。
Instance Mask Projection可以檢測(cè)整個(gè)服裝產(chǎn)品并大致預(yù)測(cè)其形狀。該預(yù)測(cè)用作改進(jìn)每個(gè)像素的估計(jì)的指南,允許合并來(lái)自檢測(cè)的全局信息。預(yù)測(cè)的實(shí)例圖被投影到一個(gè)功能圖中,用作語(yǔ)義分割的輸入。
據(jù)Facebook稱,這種設(shè)計(jì)更便于進(jìn)行服裝分析(涉及復(fù)雜的分層、大的變形和非凸體)以及街道場(chǎng)景分割(重疊實(shí)例和小對(duì)象)。
下一步:AI時(shí)尚助手!
Facebook表示,其目標(biāo)是有一天將這些不同的方法結(jié)合到一個(gè)系統(tǒng)中,即時(shí)提供與個(gè)人口味和風(fēng)格相匹配的產(chǎn)品推薦。
它設(shè)想了一個(gè)助手,該助手可以通過(guò)分析一個(gè)人的衣櫥中的圖像來(lái)學(xué)習(xí)喜好,例如,讓人可以嘗試收藏并出售其他人可以預(yù)覽的服裝。
為此,F(xiàn)acebook表示,其研究人員正在制作一個(gè)“智能數(shù)字壁櫥”的原型,該壁櫥不僅根據(jù)計(jì)劃的活動(dòng)或天氣提供服裝建議,而且還根據(jù)個(gè)人產(chǎn)品和美學(xué)提供時(shí)尚靈感。
Facebook預(yù)計(jì)最終將需要新的系統(tǒng)來(lái)適應(yīng)不斷變化的趨勢(shì)和偏好,理想情況下,該系統(tǒng)將從對(duì)潛在所需產(chǎn)品的圖像的反饋中學(xué)習(xí)。
它最近在Fashion ++方面取得了進(jìn)展,它使用AI來(lái)提供個(gè)性化的穿搭建議,比如添加皮帶或半折襯衫。
但該公司表示,在真正的預(yù)測(cè)性時(shí)尚助手成為可能之前,必須在語(yǔ)言理解和個(gè)性化體驗(yàn)方面取得進(jìn)步。
可能,AI充分滲透進(jìn)現(xiàn)實(shí),開(kāi)啟社交無(wú)縫購(gòu)物、智能穿搭助手的那一天,離我們真的不遠(yuǎn)了。
評(píng)論