女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA為全球領先的數據分析平臺Apache Spark提速

西西 ? 來源:廠商供稿 ? 作者:NVIDIA ? 2020-05-15 15:48 ? 次閱讀

開源社區通過對NVIDIA GPU的原生支持加速Spark 3.0;

實現數百TB數據的飛速ETL和SQL處理;

Adobe在Databricks上使用Spark 3.0將模型訓練速度提高7倍

加利福尼亞州圣克拉拉市 - GTC 2020大會 - 2020年5月14日 – NVIDIA于今日宣布其正在與開源社區合作,為Apache Spark 3.0帶來端到端的GPU加速。Apache Spark 3.0是一個熱門的分析引擎,被全球范圍內超過50萬名數據科學家用于大數據處理。

隨著Spark 3.0預計將于春季晚些時候發布,數據科學家和機器學習工程師將首次能夠把革命性的GPU加速應用于普遍使用SQL數據庫操作進行的ETL(提取、轉換和加載)數據處理工作負載中。

此外,他們還將首次能夠在同一Spark集群上處理AI模型訓練任務,而無需將工作負載作為單獨流程在單獨的基礎架構上運行。這樣就可以對整個數據科學的處理流程進行高性能數據分析,對從數據湖到模型訓練所涉及的數十、乃至數千TB的數據進行加速,而且無需對已被應用于本地和云端Spark應用程序的現有代碼進行修改。

NVIDIA企業計算主管Manuvir Das表示:“數據分析是當今企業和研究者所面臨最大的高性能計算挑戰。從ETL到訓練再到推理,整個Spark 3.0 方案的原生GPU加速為用戶提供了最終將大數據潛力與AI性能相連所需的性能和規模?!?/p>

作為NVIDIA的戰略AI合作伙伴,Adobe是最早在Databricks上運行Spark 3.0預覽版的公司之一。Adobe已在Adobe Experience Cloud中使用GPU加速數據分析技術進行產品開發,并為各項推進數字化業務進程的功能提供支持。在初步測試中其已將性能提高了7倍,并節省了90%的成本。

性能提升后的Spark 3.0讓科學家能夠訓練包含有更大數據集的模型,并增加反復訓練模型的頻率,從而提高模型的精度?,F在,數據科學家每天可以處理數TB的新數據,這對于需要為在線推薦系統提供支持或分析新研究數據的數據科學家們而言至關重要。此外,處理速度的加快,減少了交付結果所需的硬件資源,從而節省了大量成本。

Adob機器學習高級總監William Yan表示:“相比于在CPU上運行Spark,NVIDIA加速的Spark 3.0性能速度得到了大幅提高。伴隨著GPU性能的飛躍性提升,也將為我們全套Adobe Experience Cloud應用中AI功能的提升帶來新的可能性。”

Databricks和NVIDIA為Spark提速

Apache Spark最初是由Databricks的創始人創建。Databricks的云端統一數據分析平臺每天在一百多萬臺虛擬機上運行。NVIDIA與Databricks已開展合作,使用專為Databricks開發的RAPIDSTM軟件套件優化Spark,將GPU加速應用于在Databricks上運行的醫療、金融、零售等眾多行業的數據科學和機器學習工作負載中。

Apache Spark最初的創建者兼Databricks首席技術員Matei Zaharia表示:“我們與NVIDIA開展了長期合作,用專為Apache Spark 3.0和Databricks開發的RAPIDS相關優化來提高性能,使得像Adobe這樣的我們兩家公司共同的客戶能夠得以受益。我們所作出的這些努力加快了數據處理流程、模型訓練和評分的速度,直接為我們的數據工程師和數據科學家社區帶來更多的突破和洞見?!?/p>

NVIDIA GPU加速Spark中的ETL和數據傳輸

NVIDIA正在提供一種用于Apache Spark的全新開源RAPIDS加速器,幫助數據科學家提高其數據流程的端到端性能。該加速器能夠將之前需要在CPU上運行的功能,轉到GPU上運行,以發揮GPU的性能:

·在無需更改任何代碼的情況下顯著提高Spark SQL和DataFrame的運行性能,從而加速Spark中的ETL數據流程。

·無需獨立的機器學習和深度學習集群,即可在相同的基礎架構上加速數據準備和模型訓練。

·加速Spark分布式集群中各節點之間的數據傳輸性能。這些資源庫使用UCF Consortium 的開源UCX(Unified Communication X)框架,并通過使數據直接在GPU內存之間移動來最大程度地減少延遲。

Apache Software Foundation 上現已提供Spark 3.0的預覽版。該產品預計將在未來幾個月內全面上市。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    5238

    瀏覽量

    105721
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4907

    瀏覽量

    130611
  • 數據分析
    +關注

    關注

    2

    文章

    1470

    瀏覽量

    34775
  • 大數據
    +關注

    關注

    64

    文章

    8949

    瀏覽量

    139414
  • SPARK
    +關注

    關注

    1

    文章

    106

    瀏覽量

    20396
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    NVIDIA發布AI優先DGX個人計算系統

    NVIDIA 宣布,多家行業領先系統制造商將打造 NVIDIA DGX Spark。
    的頭像 發表于 05-22 09:39 ?128次閱讀

    NVIDIA加速的Apache Spark助力企業節省大量成本

    隨著 NVIDIA 推出 Aether 項目,通過采用 NVIDIA 加速的 Apache Spark 企業得以自動加速其數據中心規模的
    的頭像 發表于 03-25 15:09 ?423次閱讀
    <b class='flag-5'>NVIDIA</b>加速的<b class='flag-5'>Apache</b> <b class='flag-5'>Spark</b>助力企業節省大量成本

    NVIDIA GTC2025 亮點 NVIDIA推出 DGX Spark個人AI計算機

    臺式超級計算機由 NVIDIA Grace Blackwell 驅動,開發者、研究人員和數據科學家提供加速 AI 功能;系統由頭部計算機制造商(包括華碩、Dell Technologies、HP
    的頭像 發表于 03-20 18:59 ?761次閱讀
    <b class='flag-5'>NVIDIA</b> GTC2025 亮點  <b class='flag-5'>NVIDIA</b>推出 DGX <b class='flag-5'>Spark</b>個人AI計算機

    NVIDIA 宣布推出 DGX Spark 個人 AI 計算機

    臺式超級計算機由 NVIDIA Grace Blackwell 驅動,開發者、研究人員和數據科學家提供加速 AI 功能;系統由頭部計算機制造商(包括華碩、Dell Technologies、HP
    發表于 03-19 09:59 ?268次閱讀
       <b class='flag-5'>NVIDIA</b> 宣布推出 DGX <b class='flag-5'>Spark</b> 個人 AI 計算機

    NVIDIA助力百度提升數據分析效能

    在現代商業環境中,數據分析已然成為企業獲取成功的關鍵所在。長期以來,百度廣告數據團隊始終面臨著極為復雜的數據分析挑戰,其需要為逾千名用戶提供在線廣告業務分析服務,而這些用戶涵蓋策略工程
    的頭像 發表于 11-20 10:06 ?581次閱讀

    eda與傳統數據分析的區別

    進行初步的探索和理解,發現數據中潛在的模式、關系、異常值等,后續的分析和建模提供線索和基礎。 方法論 :EDA強調數據的真實分布和可視化,使用多種圖表和可視化工具來展示
    的頭像 發表于 11-13 10:52 ?765次閱讀

    raid 在大數據分析中的應用

    RAID(Redundant Array of Independent Disks,獨立磁盤冗余陣列)在大數據分析中的應用主要體現在提高存儲系統的性能、可靠性和容量上。以下是RAID在大數據分析
    的頭像 發表于 11-12 09:44 ?615次閱讀

    云計算在大數據分析中的應用

    和處理大規模的數據集。通過云計算平臺,用戶可以快速構建數據倉庫,將海量數據進行存儲、管理和分析。這種能力使得企業能夠高效地處理PB級別的
    的頭像 發表于 10-24 09:18 ?963次閱讀

    IP 地址大數據分析如何進行網絡優化?

    一、大數據分析在網絡優化中的作用 1.流量分析數據分析可以對網絡中的流量進行實時監測和分析,了解網絡的使用情況和流量趨勢。通過對流量數據
    的頭像 發表于 10-09 15:32 ?486次閱讀
    IP 地址大<b class='flag-5'>數據分析</b>如何進行網絡優化?

    數據分析除了spss還有什么

    數據分析是當今世界中一個非常重要的領域,它涉及到從大量數據中提取有用信息、發現模式和趨勢,并為決策提供支持。SPSS(Statistical Package for the Social
    的頭像 發表于 07-05 15:01 ?1066次閱讀

    數據分析的工具有哪些

    數據分析是一個涉及收集、處理、分析和解釋數據以得出有意義見解的過程。在這個過程中,使用正確的工具至關重要。以下是一些主要的數據分析工具,以及它們的功能和用途的介紹。 Excel Exc
    的頭像 發表于 07-05 14:54 ?1758次閱讀

    數據分析有哪些分析方法

    數據分析是一種重要的技能,它可以幫助我們從大量的數據中提取有價值的信息,從而做出更明智的決策。在這篇文章中,我們將介紹數據分析的各種方法,包括描述性分析、診斷性
    的頭像 發表于 07-05 14:51 ?1196次閱讀

    機器學習在數據分析中的應用

    隨著大數據時代的到來,數據量的爆炸性增長對數據分析提出了更高的要求。機器學習作為一種強大的工具,通過訓練模型從數據中學習規律,企業和組織提
    的頭像 發表于 07-02 11:22 ?1222次閱讀

    Spark基于DPU的Native引擎算子卸載方案

    1.背景介紹 Apache Spark(以下簡稱Spark)是一個開源的分布式計算框架,由UC Berkeley AMP Lab開發,可用于批處理、交互式查詢(Spark SQL)、實
    的頭像 發表于 06-28 17:12 ?960次閱讀
    <b class='flag-5'>Spark</b>基于DPU的Native引擎算子卸載方案

    數據分析平臺網站

    數據分析平臺是一種用于處理和分析大規模數據集的系統,旨在從海量數據中提取有價值的信息和洞察。以下是大
    的頭像 發表于 06-28 15:46 ?1251次閱讀