女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

異構計算助拳,緩解參數服務器瓶頸

英特爾中國 ? 來源:英特爾中國 ? 作者:英特爾中國 ? 2022-07-10 10:53 ? 次閱讀

昨晚睡得好嗎?睡不好可以刷快手的《11 點睡吧》。這部當代人睡眠困境的微綜藝,總曝光量達到 107 億,不但科普睡眠知識,更深度探討都市人的喜怒哀樂[1]。驚人的曝光量背后,是快手對用戶畫像數據的精準分析,離不開強大技術支持下的推薦系統,得以讓優質的內容被更多喜歡它的人看到。

作為超 3 億日活、日均千萬級短視頻上傳、強調社區普惠的短視頻 APP,快手推薦系統在大規模復雜業務中面臨著巨大性能挑戰。想要化解算力瓶頸,異構計算是一個重要選項,這種使用不同類型指令集和體系架構的計算單元組成系統的計算方式,能夠針對不同任務選擇最優的計算架構,從而充分揮各種計算機構的優勢,協同完成復雜的工作任務。

1

異構計算助拳,緩解參數服務器瓶頸

快手作為短視頻內容平臺,內容生產、內容理解、內容分發、內容消費、用戶互動這些環節,構成了大規模的復雜業務,對算力產生更多元的需求。舉例來說:在推薦業務場景中,需要根據用戶畫像推薦感興趣的內容,就要從海量信息中選擇與用戶特征相關的結果,再通過“排序”來劃分內容的優先級別。在這一過程中,參數服務器的作用非常重要,它負責存儲、處理海量數據特征以及排序模型參數,保證任務高效、準確地完成。

8a99da9c-fea9-11ec-ba43-dac502259ad0.png

快手推薦系統采用計算與存儲分離的架構模式

快手的推薦系統為了應對海量數據沖擊,在架構上分離了計算與存儲。參數服務器屬于存儲型服務,該服務要保存和實時更新上億規模的用戶畫像、數十億規模的短視頻特征、以及千億規模的排序模型參數。受限于容量和帶寬的參數服務器,還要支撐每秒數億次的 KV 請求,耗費大量 CPU 資源。

要解決此類瓶頸,最佳方案是使用不同計算設備處理不同負載。快手的LaoFe NDP 近數據架構,在計算體系結構上實現創新,使用英特爾 至強可擴展處理器、英特爾Agilex FPGA和英特爾傲騰 持久內存,借助軟硬一體化、領域專用加速器設計,從而做到網絡、存儲、計算三重加速,為各個業務系統提供低延遲、高并發、高吞吐、低總體擁有成本的基礎資源。

8ab88ca8-fea9-11ec-ba43-dac502259ad0.png

快手LaoFe NDP異構計算架構

2

持久內存+FGPA 專用硬件,

確保三重加速創新

在網絡層面,LaoFe NDP 架構將 CPU的網絡數據處理轉移到英特爾 Stratix 10 FPGA 上,同時基于該 FPGA 實現了“軟件定義遠程直接內存訪問”協議(SD-RDMA),大幅降低了請求延時。

在存儲層面,該架構打造了支持 SSD、英特爾 傲騰 持久內存、以及 DRAM 的 Key-Value 存儲引擎,將 CPU 層面的存儲操作也轉移到 FPGA 中,最大程度發揮 FPGA 的能力,相比 CPU 方案,將存儲引擎的吞吐能力提升 5 倍以上。該引擎還利用英特爾 傲騰 持久內存的特性,讓基于異構存儲的索引系統幾乎達到純 DRAM 相同的性能指標,成本降低 30%。同時相比之前小時級的故障恢復速度,異構存儲的索引系統只需幾分鐘就能重新上線。

LaoFe NDP 的計算加速仰仗 FPGA 作為領域專用處理,可以更有效地并行處理數據,提供更高效的內存層次結構與定制化的執行單元,從而支持機器學習深度學習和大數據等場景。英特爾 FPGA 具備富于彈性的可編程硬件能力,延時低且可精確控制,單位算力功耗低、片上內存大,適合于快手延時要求高、批處理比較小、并發性和重復性強的應用場景。

8ac6f964-fea9-11ec-ba43-dac502259ad0.png

快手LaoFe NDP 架構在英特爾軟硬件優化下,最終實現了如下優勢:

■系統吞吐顯著提升,延時顯著降低:參數服務器的吞吐性能提升了 5-6 倍,整體請求延時降低了 70%-80%,提供更好的用戶體驗。

■更好地控制 TCO:FPGA 的強大性能提供遠超傳統方案的吞吐能力,僅需部署少量的服務器就能滿足特性的性能指標要求,替代比可達到1:5,有效降低 TCO。

■降低性能抖動:基于CPU的軟件方案常因需要進行高頻率更新而出現性能抖動,而通過FPGA來處理負載,能大幅減少性能抖動。

通過快手的實踐能夠看出,以異構計算加速不同負載,能夠顯著提升在推薦等場景下的系統吞吐與延時表現。未來,英特爾還會和快手等合作伙伴一起,推進面向未來數據中心的異構參考架構,通過 CPU、IPU、XPU 的產品組合以及軟件堆棧,以及智能網絡結構,提供跨越整個數據管道的解決方案,高效挖掘海量數據中的智慧,讓用戶與用戶、用戶與內容、用戶與商品可及時按需建立高效、有溫度的連接互動。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    10169

    瀏覽量

    173977
  • 服務器
    +關注

    關注

    13

    文章

    9702

    瀏覽量

    87320
  • 異構計算
    +關注

    關注

    2

    文章

    105

    瀏覽量

    16592

原文標題:英特爾助力快手實現異構計算加速,顯著提升性能,降低系統TCO

文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    能效提升3倍!異構計算架構讓AI跑得更快更省電

    電子發燒友網報道(文/李彎彎)異構計算架構通過集成多種不同類型的處理單元(如CPU、GPU、NPU、FPGA、DSP等),針對不同計算任務的特點進行分工協作,從而在性能、能效和靈活性之間實現最優平衡
    的頭像 發表于 05-25 01:55 ?2364次閱讀

    ARM服務器解決方案

    ARM服務器解決方案已成為異構計算領域的重要技術路徑,其核心優勢與多元化場景適配性正加速產業滲透。以下為關鍵要點分析: 一、核心優勢與架構設計 能效比優化? ARM架構基于RISC指令集,單節點功耗
    的頭像 發表于 05-16 07:44 ?171次閱讀
    ARM<b class='flag-5'>服務器</b>解決方案

    SoC集群服務器 與 ARM架構陣列服務器 關系

    一、定義與定位 SoC集群服務器? 以系統級芯片(SoC)為核心算力單元,通過高速網絡將多節點互聯形成的分布式計算集群。每個SoC芯片集成CPU、GPU、NPU等多種處理單元,并支持多核異構計算
    的頭像 發表于 04-24 07:49 ?250次閱讀
    SoC集群<b class='flag-5'>服務器</b> 與 ARM架構陣列<b class='flag-5'>服務器</b> 關系

    RAKsmart智能算力架構:異構計算+低時延網絡驅動企業AI訓練范式升級

    在AI大模型參數量突破萬億、多模態應用爆發的今天,企業AI訓練正面臨算力效率與成本的雙重挑戰。RAKsmart推出的智能算力架構,以異構計算資源池化與超低時延網絡為核心,重構AI訓練基礎設施,助力企業實現訓練速度提升、硬件成本下降與算法迭代加速的三重突破。
    的頭像 發表于 04-17 09:29 ?249次閱讀

    DeepSeek企業級部署服務器資源計算 以raksmart裸機云服務器為例

    以RakSmart裸機云服務器為例,針對DeepSeek企業級部署的服務器資源計算指南,涵蓋GPU/CPU/內存/存儲/網絡等核心維度的詳細計算方法與配置推薦,主機推薦小編為您整理發布
    的頭像 發表于 03-21 10:17 ?292次閱讀

    異構計算的概念、核心、優勢、挑戰及考慮因素

    異構計算就像是一支由“多才多藝”處理組成的團隊,每個成員都有自己的強項和責任。 ? 什么是異構計算????? “異構計算”指的是在同一個計算
    的頭像 發表于 01-13 11:43 ?859次閱讀

    【一文看懂】什么是異構計算

    隨著人工智能、深度學習、大數據處理等技術的快速發展,計算需求的復雜性不斷提升。傳統的單一計算架構已難以滿足高效處理復雜任務的要求,異構計算因此應運而生,成為現代計算領域的一個重要方向。
    的頭像 發表于 12-04 01:06 ?2552次閱讀
    【一文看懂】什么是<b class='flag-5'>異構計算</b>?

    最強服務器CPU來了!AI性能直接翻倍

    以及AI服務器及AI數據中心場景的CPU產品。它不僅能支持廣泛的第三方GPU及AI加速,與它們組合形成強大的異構計算平臺,還能在其中補足GPU或專用加速覆蓋不到或不足的地方,為更多
    的頭像 發表于 09-29 11:00 ?941次閱讀
    最強<b class='flag-5'>服務器</b>CPU來了!AI性能直接翻倍

    什么是云服務器

    服務器(Cloud Server),又稱云主機或彈性計算服務(Elastic Compute Service, ECS),是基于云計算技術提供的一種虛擬化
    的頭像 發表于 09-27 09:34 ?667次閱讀

    什么是AI服務器?AI服務器的優勢是什么?

    AI服務器是一種專門為人工智能應用設計的服務器,它采用異構形式的硬件架構,通常搭載GPU、FPGA、ASIC等加速芯片,利用CPU與加速芯片的組合來滿足高吞吐量互聯的需求,為自然語言處理、計算
    的頭像 發表于 09-21 11:43 ?1860次閱讀

    智能邊緣服務器 --開啟計算新時代

    一、智能邊緣服務器概念 云尚通信技術(深圳)有限公司 智能邊緣服務器是一種新型的計算設備,它被部署在網絡邊緣,靠近數據源和終端用戶。與傳統服務器相比,其獨特之處在于能夠更快速地處理和響
    的頭像 發表于 08-13 11:01 ?619次閱讀
    智能邊緣<b class='flag-5'>服務器</b> --開啟<b class='flag-5'>計算</b>新時代

    AI云服務器:開啟智能計算新時代

    一、AI云服務器的定義與特點 AI云服務器的定義 AI云服務器是一種基于云計算技術,專為處理人工智能相關工作負載而構建的服務器。它集成了強大
    的頭像 發表于 08-09 16:08 ?1543次閱讀

    打造異構計算新標桿!國數集聯發布首款CXL混合資源池參考設計

    參考設計是首個支持異構計算架構的CXL硬件設備,標志著CXL技術在數據中心領域迎來異構計算新階段。 ? 國數集聯基于FPGA與自主研發的CXL協議IP的先進特性,可實現CPU、GPU、DDR、SSD
    的頭像 發表于 08-06 14:19 ?591次閱讀
    打造<b class='flag-5'>異構計算</b>新標桿!國數集聯發布首款CXL混合資源池參考設計

    AvaotaA1全志T527開發板AMP異構計算簡介

    Avaota SBC 的部分平臺內具有小核心 CPU,與大核心一起組成了異構計算的功能。 在異構多處理系統中,主核心和輔助核心的存在旨在共同協作,以實現更高效的任務處理。這種協作需要系統采取一系列
    發表于 07-24 09:54

    異構計算:解鎖算力潛能的新途徑

    在這個數據爆炸的時代,計算力是推動社會與科技創新的核心。從日常智能設備的流暢運行到超級計算機的尖端模擬,均依賴強大的計算能力。但面對多樣化的復雜計算任務,單一處理
    的頭像 發表于 07-18 08:28 ?1.7w次閱讀
    <b class='flag-5'>異構計算</b>:解鎖算力潛能的新途徑