在應(yīng)對(duì)重大行業(yè)挑戰(zhàn)方面擁有大量成功經(jīng)驗(yàn)的NVIDIA 專家分享了打造出色推薦系統(tǒng)的制勝訣竅。

“三連勝”之戰(zhàn)已經(jīng)到了最后的沖刺關(guān)頭。

在截止時(shí)間前五分鐘，這支團(tuán)隊(duì)提交了競(jìng)賽作品，這是今年第三次也是難度最高的一次推薦系統(tǒng)數(shù)據(jù)科學(xué)競(jìng)賽。它叫做 RecSys，是計(jì)算機(jī)科學(xué)一個(gè)相對(duì)較新的分支，它催生了機(jī)器學(xué)習(xí)領(lǐng)域常用的應(yīng)用程序之一，這一程序幫助數(shù)百萬(wàn)人找到他們想看、想買和想玩的內(nèi)容。

該團(tuán)隊(duì)共使用了六個(gè) AI 模型，達(dá)到了比賽規(guī)定的 20 千兆字節(jié)上限，所有這些模型都是根據(jù)他們研究 7.5 億個(gè)數(shù)據(jù)點(diǎn)的經(jīng)驗(yàn)精挑細(xì)選出來(lái)的。這次比賽有一項(xiàng)不同尋常的規(guī)則，要求模型必須基于一個(gè)云端 CPU 的單一內(nèi)核運(yùn)行，并且運(yùn)行時(shí)間不能超過(guò) 24 小時(shí)。

他們按下了提交按鈕，靜靜等待。

23 小時(shí) 40 分鐘后，一封電子郵件送來(lái)捷報(bào)：他們位列榜首。

緊扣截止時(shí)間

根據(jù) 6 月 28 日正式宣布的比賽結(jié)果，這支由七人組成的NVIDIA 參賽團(tuán)隊(duì)第二次贏得ACM RecSys 2021 挑戰(zhàn)賽。

“這封電子郵件的到來(lái)可以說(shuō)是緊扣截止時(shí)間 – 如果再晚 20 分鐘，我們就超出 24 小時(shí)的運(yùn)行時(shí)間了，”Chris Deotte 說(shuō)道，他是參賽小組的成員之一，也是被視為線上數(shù)據(jù)科學(xué)界的奧林匹克的卡格爾比賽的大師級(jí)人物。

“我們當(dāng)時(shí)真的很緊張，”Benedikt Schifferer 說(shuō)，他是幫助設(shè)計(jì)NVIDIA Merlin框架的團(tuán)隊(duì)成員之一，該框架可以幫助用戶快速建立自己的推薦系統(tǒng)。

GPU 本可以在很短的時(shí)間內(nèi)完成推理工作。這支團(tuán)隊(duì)中常駐巴西的卡格爾比賽大師 Gilberto Titericz 表示，讓推理工作去適應(yīng) CPU 核心“就好像回到了遠(yuǎn)古時(shí)代”。

事實(shí)上，比賽一結(jié)束，該團(tuán)隊(duì)就展示了在CPU核心上花費(fèi)近24小時(shí)的推理工作，在單個(gè)NVIDIA A100 Tensor Core GPU上運(yùn)行只需7分鐘。

在每天 4 千萬(wàn)個(gè)數(shù)據(jù)點(diǎn)中找出推薦項(xiàng)

在比賽中，Twitter 在 28 天內(nèi)每天向參與者提供數(shù)百萬(wàn)個(gè)數(shù)據(jù)點(diǎn)，并要求他們預(yù)測(cè)用戶會(huì)點(diǎn)贊或轉(zhuǎn)推哪些推文。這是這一針對(duì) RecSys 的領(lǐng)先技術(shù)會(huì)議發(fā)起的行業(yè)實(shí)力挑戰(zhàn)，吸引了來(lái)自Facebook、Google、Spotify 等公司的優(yōu)秀工程師。

圖注：RecSys 挑戰(zhàn)團(tuán)隊(duì)的部分成員（從左上角開始，按順時(shí)針次序依次為）：Bo Liu、Benedikt Schifferer、Gilberto Titericz 和 Chris Deotte。

這個(gè)學(xué)科領(lǐng)域真的很難，但也非常實(shí)用。推薦系統(tǒng)為我們的數(shù)字經(jīng)濟(jì)提供發(fā)展動(dòng)力，通過(guò)比傳統(tǒng)搜索更快、更智能的方式提供建議。

行業(yè)挑戰(zhàn)賽有助于推動(dòng)這一領(lǐng)域的發(fā)展，讓每個(gè)人都能從中受益，不論他們是在為配偶尋找完美的禮物，還是嘗試在網(wǎng)上尋找一位老朋友。

五個(gè)月，三連勝

今年早些時(shí)候，NVIDIA 團(tuán)隊(duì)在 Booking.com 挑戰(zhàn)賽的 40 支參賽小組中撥得頭籌。他們使用數(shù)百萬(wàn)個(gè)匿名數(shù)據(jù)點(diǎn)來(lái)準(zhǔn)確的預(yù)測(cè)了歐洲度假者最終將選擇前往的城市。

今年 6 月，另一項(xiàng)頂級(jí) RecSys 大賽SIGIR 電子商務(wù)數(shù)據(jù)挑戰(zhàn)賽設(shè)置了更高的門檻。

信息檢索特別興趣小組 SIGIR 的年度會(huì)議吸引了來(lái)自阿里巴巴和沃爾瑪實(shí)驗(yàn)室的專家。其 2021 年挑戰(zhàn)賽提供了 3700 萬(wàn)個(gè)在線購(gòu)物會(huì)話的數(shù)據(jù)點(diǎn)，并要求參賽者預(yù)測(cè)用戶會(huì)購(gòu)買哪些產(chǎn)品。

由于這場(chǎng)比賽與 ACM RecSys挑戰(zhàn)賽的時(shí)間重疊，NVIDIA 團(tuán)隊(duì)不得不兵分兩路，各有側(cè)重地參與不同的比賽。一些團(tuán)隊(duì)成員在此壓力下正埋頭為 ACM RecSys 會(huì)議撰寫論文。

“快攻”藝術(shù)

其中一只NVIDIA團(tuán)隊(duì)共包含五名成員，分別身處巴西、加拿大、法國(guó)和美國(guó)在每個(gè)排行榜中這只團(tuán)隊(duì)均排名第一或第二。能取得這樣出色的整體表現(xiàn)，主要有兩個(gè)因素。其一，他們?cè)?Transformer 模型上下了很大功夫，這些模型是為自然語(yǔ)言處理開發(fā)的，并越來(lái)越多地被 RecSys所采用。其二，他們深諳輪班工作的工作方法?！霸谝幻蓡T將要入睡時(shí)，另一名身處不同時(shí)區(qū)的成員就可以接手工作，”Merlin 團(tuán)隊(duì)負(fù)責(zé)人 Even Oldridge 說(shuō)。

“在一切順利時(shí)，這種做法非常有效，我很驚訝我們?cè)谶^(guò)去一年中取得的成就，這不但培養(yǎng)了我們的內(nèi)部知識(shí)，也樹立了我們?cè)?RecSys 社區(qū)中的地位，讓我們能夠在 5 個(gè)月內(nèi)贏得三場(chǎng)重要比賽?！?/p>

尊重用戶隱私

這項(xiàng)比賽要求模型在對(duì)用戶沒有任何背景了解的情況下對(duì)用戶進(jìn)行預(yù)測(cè)，參賽者對(duì)于用戶的所知僅限于其當(dāng)前瀏覽會(huì)話。

位于圣保羅的領(lǐng)導(dǎo) NVIDIA SIGIR 團(tuán)隊(duì)的 Merlin 資深研究員 Gabriel Moreira表示：“這是一項(xiàng)重要的任務(wù)，因?yàn)橛袝r(shí)用戶希望匿名瀏覽，并且一些隱私法限制了對(duì)于用戶歷史信息的訪問(wèn)?！?/p>

這場(chǎng)比賽標(biāo)志著該團(tuán)隊(duì)首次在挑戰(zhàn)賽的關(guān)鍵部分只使用 Transformer 模型。Moreira 的團(tuán)隊(duì)致力于讓每一位 Merlin 客戶更輕松地獲享龐大的神經(jīng)網(wǎng)絡(luò)。

從三連勝到四連勝

6 月 30 日，NVIDIA在 RecSys 挑戰(zhàn)賽取得四連勝。行業(yè)基準(zhǔn)組織 MLPerf 宣布，NVIDIA及 其合作伙伴在其所有最新訓(xùn)練基準(zhǔn)測(cè)試中均創(chuàng)下新紀(jì)錄，其中包括一個(gè)有關(guān)推薦系統(tǒng)的基準(zhǔn)測(cè)試。

參賽團(tuán)隊(duì)描述了他們?nèi)〉玫某晒丛诓坏揭环昼妰?nèi)訓(xùn)練基于 14 個(gè)NVIDIA DGX系統(tǒng)的推薦系統(tǒng)，與一年前提交的成果相比，速度加快了 3.3 倍。

分享經(jīng)驗(yàn)心得

這些競(jìng)賽激發(fā)了新技術(shù)的創(chuàng)意，這些新技術(shù)被納入像 Merlin 這樣的 RecSys 框架，以及NVIDIA 深度學(xué)習(xí)學(xué)院所擁有的相關(guān)工具、論文和在線課程。以達(dá)到最終目標(biāo)：幫助每個(gè)人取得成功。

在采訪中，NVIDIA 的 RecSys 專家自由地分享了他們的技術(shù)訣竅 – 一半是藝術(shù)，一半是科學(xué)。

關(guān)于如何打造出色 RecSys 的專業(yè)小貼士

一種最佳實(shí)踐是使用多種模型，并使其協(xié)同工作。

在 ACM RecSys 挑戰(zhàn)賽中，團(tuán)隊(duì)同時(shí)使用了樹狀和神經(jīng)網(wǎng)絡(luò)模型。一個(gè)階段的輸出成為了下一個(gè)階段的輸入，這一過(guò)程稱為推疊。

NVIDIA 卡格爾比賽大師團(tuán)隊(duì)的新成員 Bo Liu 表示：“單個(gè)模型可能會(huì)因?yàn)閿?shù)據(jù)錯(cuò)誤或收斂問(wèn)題而出錯(cuò)，但如果把幾個(gè)模型結(jié)合起來(lái)，那么力量就會(huì)無(wú)比強(qiáng)大?！?/p>

在線結(jié)識(shí) Recsys 專家

7 月 29 日，可以在線結(jié)識(shí)來(lái)自 Facebook、NVIDIA 和 TensorFlow 的RecSys 專家，進(jìn)一步了解如何創(chuàng)建出色的推薦系統(tǒng)。