女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何跨AIoT數(shù)據(jù)管道實施NVMe-oF共享存儲

倩倩 ? 來源:百度粉絲網(wǎng) ? 2020-09-11 14:03 ? 次閱讀

到2023年,物聯(lián)網(wǎng)IoT)預(yù)計將包含近300億個互聯(lián)設(shè)備。這些物聯(lián)網(wǎng)設(shè)備可在網(wǎng)絡(luò)上創(chuàng)建和傳輸大量數(shù)據(jù)。但是數(shù)據(jù)所有者如何從傳輸?shù)臄?shù)據(jù)中獲得情報?那就是AIoT誕生的地方,即人工智能(AI)和IoT的結(jié)合。

AIoT將智能處理功能添加到IoT設(shè)備收集的各種大型數(shù)據(jù)集中。它使企業(yè)能夠分析數(shù)據(jù)并提供見解。如今,AIoT在互聯(lián)用例(例如用于遠(yuǎn)程患者監(jiān)控和預(yù)防醫(yī)學(xué)的醫(yī)療保健)中仍然存在;在制造業(yè)中的機器人領(lǐng)域;在自動駕駛汽車中;在網(wǎng)絡(luò)監(jiān)控中;并在諸如C3.ai數(shù)字轉(zhuǎn)化研究所的研究中努力減輕流行病并防止未來的傳染病爆發(fā)。對于需要深度篩選大量數(shù)據(jù)以執(zhí)行深度學(xué)習(xí)算法的任何用例,AIoT是一種功能強大的工具。它是自我學(xué)習(xí),自我監(jiān)控和自我修復(fù)。AIoT使預(yù)測決策具有很高的預(yù)測精度,遠(yuǎn)遠(yuǎn)超過了人類。

AIoT面臨的挑戰(zhàn)是系統(tǒng)涉及具有多個階段的復(fù)雜數(shù)據(jù)管道。企業(yè)不僅需要處理來自物聯(lián)網(wǎng)的數(shù)據(jù)的數(shù)量,種類,速度和準(zhǔn)確性,還需要在實現(xiàn)AI解決方案時保持模型質(zhì)量,數(shù)據(jù)訪問延遲,吞吐量和數(shù)據(jù)緩存功能。如果優(yōu)化了計算系統(tǒng)以快速處理數(shù)據(jù),那么除非建立正確的計算,存儲和內(nèi)存組合,否則將數(shù)據(jù)導(dǎo)入這些系統(tǒng)可能會成為瓶頸。

存儲是關(guān)鍵基礎(chǔ),需要解決AIoT數(shù)據(jù)管道的所有階段,從攝取到數(shù)據(jù)準(zhǔn)備再到模型訓(xùn)練和推理,并仔細(xì)考慮TCO,性能和功耗要求。它還需要滿足AI工作負(fù)載不斷變化的需求。企業(yè)正在轉(zhuǎn)向NVMe閃存來滿足AI所需的高吞吐量和低延遲,但是讓我們通過基于結(jié)構(gòu)的NVMe(NVMe-oF)進(jìn)一步邁出一步

一種新方法–共享存儲

一種新方法是將可組合的分解基礎(chǔ)架構(gòu)(CDI)與NVMe閃存,GPU池和大容量存儲系統(tǒng)結(jié)合使用,以在動態(tài)的,軟件定義的應(yīng)用程序環(huán)境中實現(xiàn)快速響應(yīng)時間和AI的擴(kuò)展需求。

CDI會從物理上分解資源(計算,網(wǎng)絡(luò),存儲和GPU),并根據(jù)特定應(yīng)用程序的需要將它們匯總在一起。這樣可以靈活,獨立地擴(kuò)展資源,以滿足AI工作負(fù)載不斷變化的需求。

可組合存儲將大大提高企業(yè)調(diào)配和優(yōu)化其數(shù)據(jù)基礎(chǔ)架構(gòu)以滿足動態(tài)應(yīng)用程序需求的靈活性和靈活性。

CDI允許在許多主機之間共享和擴(kuò)展存儲,網(wǎng)絡(luò)和計算資源。與融合系統(tǒng)不同,當(dāng)數(shù)據(jù)隨著服務(wù)器容量的增長而增長時,它避免了后續(xù)數(shù)據(jù)進(jìn)出GPU服務(wù)器本地SSD的延遲。它可以立即訪問共享閃存中經(jīng)過訓(xùn)練的模型和數(shù)據(jù),并可以快速響應(yīng)。

選擇存儲解決方案時,具有NVMe閃存的開放式可組合基礎(chǔ)架構(gòu)可以跨團(tuán)隊無縫分配共享存儲池,以提高效率,成本和CIO關(guān)心的KPI指標(biāo)。

如何跨AIoT數(shù)據(jù)管道實施NVMe-oF共享存儲

實施AI計劃時,重要的是設(shè)計一種存儲基礎(chǔ)架構(gòu),以支持前所未有的AIoT數(shù)據(jù)量。優(yōu)化TCO和效率的一種方法是查看AI工作負(fù)載的每個階段,以確定哪種存儲類型最適合每個階段。NVMe-oF共享存儲幾乎適用于AIoT工作流程的所有階段:

接收 – 接收階段需要具有速度和規(guī)模,以維持從IoT系統(tǒng)傳入的數(shù)據(jù)的數(shù)量和速度。要提取到臨時著陸區(qū),可以使用NVMe存儲平臺或大容量存儲系統(tǒng)(基于HDD,對象或云存儲),而要提取到集中式,全局可訪問的容量層,則可以使用大容量存儲系統(tǒng)。為了吸收到高性能層(無論是在本地還是在云上部署),都需要NVMe閃存來進(jìn)行實時分析。

數(shù)據(jù)準(zhǔn)備 –數(shù)據(jù)準(zhǔn)備階段的主要重點應(yīng)該放在數(shù)據(jù)質(zhì)量上。就成本和性能而言,NVMe存儲平臺也是一個不錯的選擇?;蛘?,您可以選擇閃存和HDD的混合選件,以提供性能和更高容量的好處。

模型訓(xùn)練 -模型訓(xùn)練階段對已實現(xiàn)的AI解決方案的模型質(zhì)量,數(shù)據(jù)訪問延遲,吞吐量和數(shù)據(jù)緩存功能敏感。這需要低延遲,面向吞吐量,可擴(kuò)展的高性能存儲層,并且NVMe-oF存儲平臺非常適合滿足這些需求。

推論 –推論階段同樣需要低數(shù)據(jù)訪問延遲,吞吐量響應(yīng)時間和數(shù)據(jù)緩存功能。當(dāng)模型訓(xùn)練和推理階段訪問分解架構(gòu)中的一個共享存儲時,它們在很大程度上是相互依賴的。例如,如果推理評分較差,則需要對模型進(jìn)行重新訓(xùn)練,并且在模型訓(xùn)練結(jié)束之前,無法生成推理。因此,對兩者使用相同類型的共享存儲池是有意義的。

備份/還原 –在備份階段,大容量HDD,對象存儲或云存儲最適合存儲和按需訪問舊模型和數(shù)據(jù)。通常需要從備份中還原舊模型以進(jìn)行推理或重新訓(xùn)練,以滿足新的傳入IoT數(shù)據(jù)的需求,因此最好利用近線或在線備份解決方案。

適用于AIoT的NVMe-oF可組合分解基礎(chǔ)架構(gòu)

NVMe-oF正在統(tǒng)一如何大規(guī)模共享,組合和管理存儲,以滿足不斷變化的應(yīng)用程序和工作負(fù)載的需求。使用NVMe閃存的可組合分解基礎(chǔ)架構(gòu)允許IT即時分配存儲,以支持AI每個階段的AIoT實施。

我們將繼續(xù)看到越來越多地采用可組合的分布式存儲解決方案,這些解決方案可以有效地在以太網(wǎng)結(jié)構(gòu)上擴(kuò)展,并為各種數(shù)據(jù)中心應(yīng)用程序提供NVMe設(shè)備的全部性能潛力??山M合存儲將大大提高企業(yè)配置和優(yōu)化其數(shù)據(jù)基礎(chǔ)架構(gòu)的靈活性和靈活性,以滿足AIoT及其數(shù)據(jù)中心KPI的動態(tài)應(yīng)用需求。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1222

    瀏覽量

    25257
  • 物聯(lián)網(wǎng)設(shè)備

    關(guān)注

    1

    文章

    239

    瀏覽量

    20111
  • AIoT
    +關(guān)注

    關(guān)注

    8

    文章

    1476

    瀏覽量

    31971
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    NVMe協(xié)議簡介2

    通過PCIe進(jìn)行,使用PCIe的存儲讀寫TLP請求。指令的提交與完成機制如圖1所示,圖中展示的指令提交與完成步驟如下: 圖1 NVMe指令提交與完成步驟圖 (1)主機控制器向提交隊列寫入一個或多個提交命令
    發(fā)表于 05-15 23:15

    NVMe協(xié)議簡要分析

    具有更高的吞吐量、更快的訪問速度和更低的功耗,已經(jīng)被廣泛應(yīng)用于各種計算領(lǐng)域和存儲系統(tǒng)。 1. NVMe隊列 NVMe協(xié)議采用成對的提交隊列(Submission Queue,SQ)和完成隊列
    發(fā)表于 05-15 00:34

    NVME控制器設(shè)計1

    , 實現(xiàn)指令的組裝和分配; 當(dāng)接收到完成隊列中的正常完成條目時, 指令控制模塊提取其中的指令 ID進(jìn)行注銷。隊列管理模塊實現(xiàn)NVMe提交隊列和完成隊列的存儲、 門鈴機制、 仲裁機制,以及隊列的創(chuàng)建和刪除
    發(fā)表于 04-24 09:45

    ALINX NVME SPCle IP 特性詳解

    。 NVMe SPCle IP 正是為這樣的場景量身定制。通過結(jié)合 PCIe 軟核 IP 與 NVMe 主機控制器,讓開發(fā)人員 在無硬核的情況下,也能輕松接入 NVMe SSD ,突破了傳統(tǒng)
    的頭像 發(fā)表于 02-20 15:35 ?400次閱讀
    ALINX <b class='flag-5'>NVME</b> SPCle IP 特性詳解

    hyper-v 集群,hyper-v集群的共享存儲

    面對日益龐大的業(yè)務(wù)體系,如同面對廣袤的疆土,批量管理就像是睿智的統(tǒng)治者,實現(xiàn)對每一寸土地的有效掌控。今天小編要講解hyper-v集群的共享存儲。 ? ?配置Hyper-V集群的共享存儲
    的頭像 發(fā)表于 02-08 11:25 ?407次閱讀
    hyper-v 集群,hyper-v集群的<b class='flag-5'>共享</b><b class='flag-5'>存儲</b>

    Aigtek功率放大器在管道診斷中的具體應(yīng)用

    在現(xiàn)代工業(yè)生產(chǎn)中,管道作為傳輸物質(zhì)的重要工具,其安全性、穩(wěn)定性和效率性對生產(chǎn)過程具有重大影響。管道是一種常見的管道故障,指的是管道在支撐
    的頭像 發(fā)表于 01-02 13:55 ?286次閱讀
    Aigtek功率放大器在<b class='flag-5'>管道</b>懸<b class='flag-5'>跨</b>診斷中的具體應(yīng)用

    存儲技術(shù)未來演進(jìn):NVMe over Fabrics (NVMeoF)

    眾所周知,NVMe 是一個邏輯設(shè)備接口規(guī)范,NVM代表非易失性存儲器(Non-Volatile Memory)的首字母縮略字,是固態(tài)硬盤(SSD)的常見的閃存形式。SSD 通常分為兩類接口:SATA
    的頭像 發(fā)表于 11-16 10:44 ?1574次閱讀
    <b class='flag-5'>存儲</b>技術(shù)未來演進(jìn):<b class='flag-5'>NVMe</b> over Fabrics (NVMeoF)

    一文詳解 ALINX NVMe IP 特性

    - ALINX NVMe?IP - 在當(dāng)下數(shù)據(jù)驅(qū)動的時代,企業(yè)對高性能存儲解決方案的需求不斷增加。NVMe AXI IP 憑借其支持大數(shù)據(jù)
    的頭像 發(fā)表于 11-14 13:59 ?571次閱讀
    一文詳解 ALINX <b class='flag-5'>NVMe</b> IP 特性

    PCIe與NVMe存儲的關(guān)系

    在現(xiàn)代計算機系統(tǒng)中,存儲技術(shù)的發(fā)展對于提高整體性能至關(guān)重要。PCI Express(PCIe)和NVMe(Non-Volatile Memory Express)是兩種關(guān)鍵技術(shù),它們共同推動了存儲
    的頭像 發(fā)表于 11-06 09:29 ?1954次閱讀

    Synology如何使用Nvme固態(tài)做存儲空間

    Synology 如何使用Nvme固態(tài)做存儲空間
    發(fā)表于 10-09 10:55 ?0次下載

    什么是AIoT?AIoT現(xiàn)狀如何 ?

    的落地融合。物聯(lián)網(wǎng)產(chǎn)生、收集來自不同維度的海量數(shù)據(jù)存儲于云端、邊緣端,再通過大數(shù)據(jù)分析以及更高形式的人工智能技術(shù),實現(xiàn)萬物數(shù)據(jù)化、萬物智聯(lián)化。其目的是建構(gòu)一種更高級形式的智能化生態(tài)體
    的頭像 發(fā)表于 09-23 10:03 ?2245次閱讀

    基于RDMA技術(shù)的Mayastor解決方案

    : 基于NVMe-oF: Mayastor利用NVMe-oF協(xié)議,這是一種基于網(wǎng)絡(luò)的NVMe訪問方法,允許NVMe設(shè)備通過以太網(wǎng)或其他網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行遠(yuǎn)
    的頭像 發(fā)表于 08-20 18:47 ?1622次閱讀
    基于RDMA技術(shù)的Mayastor解決方案

    國產(chǎn)NVMe SSD擴(kuò)展卡:驅(qū)動存儲新紀(jì)元

    NVMe技術(shù)的標(biāo)準(zhǔn)化接口使得不同廠商的設(shè)備能夠更好地兼容和互操作,提升了存儲系統(tǒng)的靈活性和擴(kuò)展性。
    的頭像 發(fā)表于 08-17 14:59 ?1666次閱讀
    國產(chǎn)<b class='flag-5'>NVMe</b> SSD擴(kuò)展卡:驅(qū)動<b class='flag-5'>存儲</b>新紀(jì)元

    谷歌推出革新性的設(shè)備共享功能

    7月30日,科技界迎來重大消息,谷歌正式揭曉了其設(shè)備體驗領(lǐng)域的里程碑式進(jìn)展,隆重推出了革新性的設(shè)備共享功能,為用戶開啟了前所未有的設(shè)備間無縫互動新篇章。   這一創(chuàng)新服務(wù)徹底打破了設(shè)備界限
    的頭像 發(fā)表于 07-30 16:41 ?741次閱讀

    手機主流存儲eMMC、UFS與NVMe的區(qū)別

    近幾年,手機影像不斷發(fā)展,照片+視頻占據(jù)大量存儲空間,在愈發(fā)膨脹的微信、手游以及各種APP面前,存儲空間愈發(fā)不夠。該存儲空間即是手機存儲容量(ROM),市面上常見的手機快閃記憶體標(biāo)準(zhǔn)共
    的頭像 發(fā)表于 07-16 16:42 ?3729次閱讀
    手機主流<b class='flag-5'>存儲</b>eMMC、UFS與<b class='flag-5'>NVMe</b>的區(qū)別