女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA GPU助力騰訊PCG加速無(wú)量推薦系統(tǒng)

星星科技指導(dǎo)員 ? 來(lái)源:NVIDIA ? 作者:NVIDIA ? 2022-04-13 14:53 ? 次閱讀

案例簡(jiǎn)介

? 本案例中通過(guò)使用 NVIDIA GPU 加速平臺(tái),騰訊平臺(tái)與內(nèi)容事業(yè)群(PCG)深度學(xué)習(xí)平臺(tái)實(shí)現(xiàn)了”無(wú)量推薦系統(tǒng)”模型訓(xùn)練到在線(xiàn)推理的全流程GPU加速,整體效能性?xún)r(jià)比提升1~3倍。

? 本案例主要應(yīng)用到 NVIDIA A100 Tensor Core GPU以及相關(guān)軟件的加速平臺(tái)。

客戶(hù)簡(jiǎn)介及應(yīng)用背景

無(wú)量推薦系統(tǒng)承載著騰訊平臺(tái)與內(nèi)容事業(yè)群的推薦場(chǎng)景, 包括: 騰訊看點(diǎn)(瀏覽器,QQ看點(diǎn),商業(yè)化),騰訊新聞,騰訊視頻, 騰訊音樂(lè),閱文,應(yīng)用寶,小鵝拼拼等。無(wú)量推薦系統(tǒng)支持日活躍用戶(hù)達(dá)數(shù)億級(jí)別, 其中的模型數(shù)量達(dá)數(shù)千個(gè),日均調(diào)用服務(wù)達(dá)到千億級(jí)別。

無(wú)量推薦系統(tǒng)在模型訓(xùn)練和推理都能夠進(jìn)行海量Embedding和DNN模型的GPU計(jì)算, 是目前業(yè)界領(lǐng)先的體系結(jié)構(gòu)設(shè)計(jì)。

客戶(hù)挑戰(zhàn)

傳統(tǒng)推薦系統(tǒng)具有以下特點(diǎn): 訓(xùn)練是基于參數(shù)服務(wù)器的框架,解決海量數(shù)據(jù)和稀疏特征的分布式訓(xùn)練問(wèn)題。推理通常分離大規(guī)模Embedding和DNN,只能進(jìn)行DNN的GPU加速。

所以,傳統(tǒng)的推薦系統(tǒng)架構(gòu)也具有局限性:

大規(guī)模分布式架構(gòu)有大量的額外開(kāi)銷(xiāo),比如參數(shù)和梯度的網(wǎng)絡(luò)收發(fā)。

隨著DNN模型復(fù)雜性的的進(jìn)一步提升,CPU的計(jì)算速度開(kāi)始捉襟見(jiàn)肘。

隨著業(yè)務(wù)的快速增長(zhǎng),日活用戶(hù)增多,對(duì)其調(diào)用數(shù)量快速增加,給推薦系統(tǒng)后臺(tái)帶來(lái)了新的挑戰(zhàn):

1, 模型更加復(fù)雜,計(jì)算量更大,但是參數(shù)服務(wù)器的分布式架構(gòu)有效計(jì)算比很低。

2, 海量Embedding因?yàn)橐?guī)模龐大,查詢(xún)和聚合計(jì)算難以有效利用GPU高性能顯存和算力的優(yōu)勢(shì)。

應(yīng)用方案

基于以上的挑戰(zhàn), 騰訊選擇使用基于NVIDIA A100 Tensor Core GPU的分布式系統(tǒng)架構(gòu)來(lái)創(chuàng)建無(wú)量推薦系統(tǒng)。

1, 通過(guò)多級(jí)存儲(chǔ)和Pipeline優(yōu)化,在HPC上完成大規(guī)模推薦模型的GPU的高性能訓(xùn)練。

2, 基于特征訪問(wèn)Power-law分布的特性,GPU緩存高頻特征參數(shù),同時(shí)從CPU中動(dòng)態(tài)獲取低頻特征參數(shù),實(shí)現(xiàn)了大規(guī)模推薦模型完整的GPU端到端模型推理。

使用效果及影響

騰訊平臺(tái)與內(nèi)容事業(yè)群有多種類(lèi)型的推薦業(yè)務(wù)場(chǎng)景。比如信息流推薦的QQ瀏覽器、QQ看點(diǎn),新聞推薦的騰訊新聞,視頻推薦的騰訊視頻、微視,App推薦的應(yīng)用寶,以及騰訊音樂(lè)的音樂(lè)推薦和閱文集團(tuán)的文學(xué)推薦。

無(wú)量推薦系統(tǒng)承載了這些推薦業(yè)務(wù)場(chǎng)景的模型訓(xùn)練和推理服務(wù)。基于傳統(tǒng)的推薦系統(tǒng)架構(gòu),無(wú)量使用大量CPU資源,通過(guò)分布式架構(gòu)可以擴(kuò)展到TB級(jí)模型的訓(xùn)練和部署,取得了巨大的成功。

隨著業(yè)務(wù)的快速增長(zhǎng),日活用戶(hù)增多,對(duì)其調(diào)用數(shù)量快速增加,傳統(tǒng)架構(gòu)局限性限制了推薦系統(tǒng)的架構(gòu)擴(kuò)展和性能提升。

通過(guò)使用GPU訓(xùn)練和推理,單機(jī)多卡的GPU算力可以達(dá)到數(shù)十臺(tái)CPU機(jī)器的算力,節(jié)省了大量的額外分布式開(kāi)銷(xiāo)。通過(guò)充分利用A100 GPU高性能顯存快速訪問(wèn)Embedding,以及并行算力處理DNN推理,單張A100 GPU可以在相同的延遲下推理10倍于CPU的打分樣本。

目前基于GPU的推薦架構(gòu)可以提升模型訓(xùn)練和推理性?xún)r(jià)比1~3倍。

展望未來(lái),無(wú)量推薦系統(tǒng)將不斷優(yōu)化推薦模型在GPU上的應(yīng)用,利用HPC多機(jī)多卡,混合精度等能力,進(jìn)一步提高推薦場(chǎng)景使用GPU的性?xún)r(jià)比。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5240

    瀏覽量

    105768
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4910

    瀏覽量

    130653
收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    借助NVIDIA技術(shù)加速半導(dǎo)體芯片制造

    NVIDIA Blackwell GPUNVIDIA Grace CPU、高速 NVIDIA NVLink 網(wǎng)絡(luò)架構(gòu)和交換機(jī),以及諸如 NVIDI
    的頭像 發(fā)表于 05-27 13:59 ?218次閱讀

    NVIDIA虛擬GPU 18.0版本的亮點(diǎn)

    NVIDIA 虛擬 GPU(vGPU)技術(shù)可在虛擬桌面基礎(chǔ)設(shè)施(VDI)中解鎖 AI 功能,使其比以往更加強(qiáng)大、用途更加廣泛。vGPU 通過(guò)為各種虛擬化環(huán)境中的 AI 驅(qū)動(dòng)工作負(fù)載提供動(dòng)力,提高了
    的頭像 發(fā)表于 04-07 11:28 ?502次閱讀

    使用NVIDIA RTX PRO Blackwell系列GPU加速AI開(kāi)發(fā)

    NVIDIA GTC 推出新一代專(zhuān)業(yè)級(jí) GPU 和 AI 賦能的開(kāi)發(fā)者工具—同時(shí),ChatRTX 更新現(xiàn)已支持 NVIDIA NIM,RTX Remix 正式結(jié)束測(cè)試階段,本月的 NVIDIA
    的頭像 發(fā)表于 03-28 09:59 ?513次閱讀

    NVIDIA助力解決量子計(jì)算領(lǐng)域重大挑戰(zhàn)

    NVIDIA 加速量子研究中心提供了強(qiáng)大的工具,助力解決量子計(jì)算領(lǐng)域的重大挑戰(zhàn)。
    的頭像 發(fā)表于 03-27 09:17 ?464次閱讀

    NVIDIA加速的Apache Spark助力企業(yè)節(jié)省大量成本

    隨著 NVIDIA 推出 Aether 項(xiàng)目,通過(guò)采用 NVIDIA 加速的 Apache Spark 企業(yè)得以自動(dòng)加速其數(shù)據(jù)中心規(guī)模的分析工作負(fù)載,從而節(jié)省數(shù)百萬(wàn)美元。
    的頭像 發(fā)表于 03-25 15:09 ?443次閱讀
    <b class='flag-5'>NVIDIA</b><b class='flag-5'>加速</b>的Apache Spark<b class='flag-5'>助力</b>企業(yè)節(jié)省大量成本

    Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理

    ——Oracle 和 NVIDIA 今日宣布,NVIDIA 加速計(jì)算和推理軟件與 Oracle 的 AI 基礎(chǔ)設(shè)施以及生成式 AI 服務(wù)首次實(shí)現(xiàn)集成,以幫助全球企業(yè)組織加速創(chuàng)建代理式
    發(fā)表于 03-19 15:24 ?307次閱讀
    Oracle 與 <b class='flag-5'>NVIDIA</b> 合作<b class='flag-5'>助力</b>企業(yè)<b class='flag-5'>加速</b>代理式 AI 推理

    NVIDIA GPU助力科研人員探索外星世界

    NVIDIA GPU 驅(qū)動(dòng)的深度學(xué)習(xí)在短短幾秒內(nèi)解讀出了卡西尼號(hào)土星探測(cè)器多年來(lái)收集的海量數(shù)據(jù),為科研人員探索外星世界提供了更加智能的方式。
    的頭像 發(fā)表于 02-27 10:37 ?495次閱讀

    利用NVIDIA DPF引領(lǐng)DPU加速云計(jì)算的未來(lái)

    越來(lái)越多的企業(yè)開(kāi)始采用加速計(jì)算,從而滿(mǎn)足生成式 AI、5G 電信和主權(quán)云的需求。NVIDIA 推出了 DOCA 平臺(tái)框架(DPF),該框架提供了基礎(chǔ)構(gòu)建模塊來(lái)釋放 NVIDIA BlueField
    的頭像 發(fā)表于 01-24 09:29 ?582次閱讀
    利用<b class='flag-5'>NVIDIA</b> DPF引領(lǐng)DPU<b class='flag-5'>加速</b>云計(jì)算的未來(lái)

    NVIDIA助力FinCatch開(kāi)發(fā)智能投資輔助系統(tǒng)

    本案例中通過(guò) NVIDIA GPU 和 RAPIDS 加速平臺(tái),F(xiàn)inCatch 實(shí)現(xiàn)了投資研究流程的全面智能化,提升數(shù)據(jù)分析速度和準(zhǔn)確性,幫助投資者快速獲取可操作的投資洞察。
    的頭像 發(fā)表于 01-07 09:23 ?448次閱讀

    NVIDIA和GeForce RTX GPU專(zhuān)為AI時(shí)代打造

    NVIDIA 和 GeForce RTX GPU 專(zhuān)為 AI 時(shí)代打造。
    的頭像 發(fā)表于 01-06 10:45 ?527次閱讀

    借助NVIDIA GPU提升魯班系統(tǒng)CAE軟件計(jì)算效率

    本案例中魯班系統(tǒng)高性能 CAE 軟件利用 NVIDIA 高性能 GPU,實(shí)現(xiàn)復(fù)雜產(chǎn)品的快速仿真,加速產(chǎn)品開(kāi)發(fā)和設(shè)計(jì)迭代,縮短開(kāi)發(fā)周期,提升產(chǎn)品競(jìng)爭(zhēng)力。
    的頭像 發(fā)表于 12-27 16:24 ?557次閱讀

    《CST Studio Suite 2024 GPU加速計(jì)算指南》

    的各個(gè)方面,包括硬件支持、操作系統(tǒng)支持、許可證、GPU計(jì)算的啟用、NVIDIA和AMD GPU的詳細(xì)信息以及相關(guān)的使用指南和故障排除等內(nèi)容。 1. 硬件支持 -
    發(fā)表于 12-16 14:25

    AMD與NVIDIA GPU優(yōu)缺點(diǎn)

    在圖形處理單元(GPU)市場(chǎng),AMD和NVIDIA是兩大主要的競(jìng)爭(zhēng)者,它們各自推出的產(chǎn)品在性能、功耗、價(jià)格等方面都有著不同的特點(diǎn)和優(yōu)勢(shì)。 一、性能 GPU的性能是用戶(hù)最關(guān)心的指標(biāo)之一。在高端市場(chǎng)
    的頭像 發(fā)表于 10-27 11:15 ?2095次閱讀

    GPU加速計(jì)算平臺(tái)是什么

    GPU加速計(jì)算平臺(tái),簡(jiǎn)而言之,是利用圖形處理器(GPU)的強(qiáng)大并行計(jì)算能力來(lái)加速科學(xué)計(jì)算、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等復(fù)雜計(jì)算任務(wù)的軟硬件結(jié)合系統(tǒng)
    的頭像 發(fā)表于 10-25 09:23 ?521次閱讀

    暴漲預(yù)警!NVIDIA GPU供應(yīng)大跳水

    gpu
    jf_02331860
    發(fā)布于 :2024年07月26日 09:41:42