女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Spark優化:小文件合并的步驟

如意 ? 來源:segmentfault.com ? 作者:華為云開發者社區 ? 2020-08-13 17:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

我們知道,大部分Spark計算都是在內存中完成的,所以Spark的瓶頸一般來自于集群(standalone, yarn, mesos, k8s)的資源緊張,CPU,網絡帶寬,內存。Spark的性能,想要它快,就得充分利用好系統資源,尤其是內存和CPU。有時候我們也需要做一些優化調整來減少內存占用,例如將小文件進行合并的操作。

一、問題現象

我們有一個15萬條總數據量133MB的表,使用SELECT * FROM bi.dwd_tbl_conf_info全表查詢耗時3min,另外一個500萬條總數據量6.3G的表ods_tbl_conf_detail,查詢耗時23秒。兩張表均為列式存儲的表。

大表查詢快,而小表反而查詢慢了,為什么會產生如此奇怪的現象呢?

二、問題探詢

數據量6.3G的表查詢耗時23秒,反而數據量133MB的小表查詢耗時3min,這非常奇怪。我們收集了對應的建表語句,發現兩者沒有太大的差異,大部分為String,兩表的列數也相差不大。

CREATE TABLE IF NOT EXISTS `bi`。`dwd_tbl_conf_info` ( `corp_id` STRING COMMENT ‘’, `dept_uuid` STRING COMMENT ‘’, `user_id` STRING COMMENT ‘’, `user_name` STRING COMMENT ‘’, `uuid` STRING COMMENT ‘’, `dtime` DATE COMMENT ‘’, `slice_number` INT COMMENT ‘’, `attendee_count` INT COMMENT ‘’, `mr_id` STRING COMMENT ‘’, `mr_pkg_id` STRING COMMENT ‘’, `mr_parties` INT COMMENT ‘’, `is_mr` TINYINT COMMENT ‘R’, `is_live_conf` TINYINT COMMENT ‘’ ) CREATE TABLE IF NOT EXISTS `bi`。`ods_tbl_conf_detail` ( `id` string, `conf_uuid` string, `conf_id` string, `name` string, `number` string, `device_type` string, `j_time` bigint, `l_time` bigint, `media_type` string, `dept_name` string, `UPDATETIME` bigint, `CREATETIME` bigint, `user_id` string, `USERAGENT` string, `corp_id` string, `account` string )

因為兩張表均為很簡單的SELECT查詢操作,無任何復雜的聚合join操作,也無UDF相關的操作,所以基本確認查詢慢的應該發生的讀表的時候,我們將懷疑的點放到了讀表操作上。通過查詢兩個查詢語句的DAG和任務分布,我們發現了不一樣的地方。

查詢快的表,查詢時總共有68個任務,任務分配比如均勻,平均7~9s左右,而查詢慢的表,查詢時總共1160個任務,平均也是9s左右。如下圖所示:

Spark優化:小文件合并的步驟

至此,我們基本發現了貓膩所在。大表6.3G但文件個數小,只有68個,所以很快跑完了。而小表雖然只有133MB,但文件個數特別多,導致產生的任務特別多,而由于單個任務本身比較快,大部分時間花費在任務調度上,導致任務耗時較長。

那如何才能解決小表查詢慢的問題呢?

三、業務調優

那現在擺在我們面前就存在現在問題:

為什么小表會產生這么小文件 已經產生的這么小文件如何合并

帶著這兩個問題,我們和業務的開發人員聊了一個發現小表是業務開發人員從原始數據表中,按照不同的時間切片查詢并做數據清洗后插入到小表中的,而由于時間切片切的比較小,導致這樣的插入次數特別多,從而產生了大量的小文件。

那么我們需要解決的問題就是2個,如何才能把這些歷史的小文件進行合并以及如何才能保證后續的業務流程中不再產生小文件,我們指導業務開發人員做了以下優化:

使用INSERT OVERWRITE bi.dwd_tbl_conf_info SELECT * FROM bi.dwd_tbl_conf_info合并下歷史的數據。由于DLI做了數據一致性保護,OVERWRITE期間不影響原有數據的讀取和查詢,OVERWRITE之后就會使用新的合并后的數據。合并后全表查詢由原來的3min縮短到9s內完成。 原有表修改為分區表,插入時不同時間放入到不同分區,查詢時只查詢需要的時間段內的分區數據,進一步減小讀取數據量。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11077

    瀏覽量

    217025
  • 數據庫
    +關注

    關注

    7

    文章

    3926

    瀏覽量

    66202
  • SPARK
    +關注

    關注

    1

    文章

    106

    瀏覽量

    20587
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    大彩講堂:VisualTFT軟件如何通過FontCreator實現字庫的合并

    VisualTFT軟件通過FontCreator實現字庫的合并
    的頭像 發表于 06-27 16:59 ?285次閱讀
    大彩講堂:VisualTFT軟件如何通過FontCreator實現字庫的<b class='flag-5'>合并</b>

    鴻蒙5開發寶藏案例分享---優化應用包體積大小問題

    問題 :多個模塊依賴同一庫的不同版本,打包時全量合并,體積爆炸。優化方案1 **(OHPM <1.5.0):在項目級 **<span class=\"ne-text
    發表于 06-13 10:09

    HarmonyOS優化應用文件上傳下載慢問題性能優化

    : 圖2 上傳數量和耗時對比圖表 由于上傳耗時受到網絡狀態影響,偏差較大,結果取的幾次測量結果的最小值。但是仍然可以從數據中看出,優化前的耗時基本為線性增長,壓縮優化后的耗時在上傳文件數量較低時并不
    發表于 05-27 16:19

    HarmonyOS優化應用文件上傳下載慢問題性能優化

    : 圖2 上傳數量和耗時對比圖表 由于上傳耗時受到網絡狀態影響,偏差較大,結果取的幾次測量結果的最小值。但是仍然可以從數據中看出,優化前的耗時基本為線性增長,壓縮優化后的耗時在上傳文件數量較低時并不
    發表于 05-22 10:54

    NVIDIA加速的Apache Spark助力企業節省大量成本

    隨著 NVIDIA 推出 Aether 項目,通過采用 NVIDIA 加速的 Apache Spark 企業得以自動加速其數據中心規模的分析工作負載,從而節省數百萬美元。
    的頭像 發表于 03-25 15:09 ?538次閱讀
    NVIDIA加速的Apache <b class='flag-5'>Spark</b>助力企業節省大量成本

    GoTo否認與Grab合并傳聞

    印尼網約車巨頭GoTo于當地時間2月4日正式提交文件,明確否認同競爭對手Grab的合并傳聞。該公司強調,在未來12個月內,除實施股票回購計劃外,并無任何重大行動計劃。 此前,市場上有消息稱Grab
    的頭像 發表于 02-06 10:08 ?624次閱讀

    帶通濾波器的設計步驟優化方法

    帶通濾波器作為信號處理領域的重要組件,其設計步驟優化方法對于確保濾波器性能滿足特定應用需求至關重要。本文將詳細闡述帶通濾波器的設計步驟,并深入探討優化方法,以期為相關領域的研究者和工
    的頭像 發表于 02-05 16:48 ?1679次閱讀

    hyper-v文件,hyper-v文件查找的正確步驟和操作方法是什么?

    在使用Hyper-V進行虛擬化操作時,準確找到相關文件至關重要。無論是需要對虛擬機進行備份、遷移,還是對其配置進行修改,都離不開對Hyper-V文件的查找。那么,查找Hyper-V文件的正確
    的頭像 發表于 01-24 14:40 ?984次閱讀
    hyper-v<b class='flag-5'>文件</b>,hyper-v<b class='flag-5'>文件</b>查找的正確<b class='flag-5'>步驟</b>和操作方法是什么?

    英國CMA有條件批準沃達豐與Three合并

    近日,英國競爭與市場管理局(CMA)正式宣布,對沃達豐與長江和記實業英國子公司Three的合并案給出了有條件的批準。這一決定基于沃達豐與Three所簽署的具有約束力的承諾,即投資數十億美元在英國全境
    的頭像 發表于 12-06 13:53 ?526次閱讀

    基于OpenCV的拆分和合并圖像通道實驗案例分享_基于RK3568教學實驗箱

    一、實驗目的 本節視頻的目的是了解圖像通道的概念,學習OpenCV的基本操作,并掌握通過OpenCV實現拆分和合并圖像通道的方法。 二、實驗原理 拆分與合并圖像 在圖像處理中,一個彩色圖像通常由多個
    發表于 12-03 14:27

    Linux文件壓縮打包的各種姿勢

    1.文件打包與壓縮 1.什么是文件壓縮? 將多個文件或目錄合并成為一個特殊的文件。比如: 搬家…腦補畫面 img. 2.為什么要對
    的頭像 發表于 12-02 09:25 ?606次閱讀

    如何優化EPS文件以提高加載速度

    用于存儲矢量圖形和位圖圖像的文件格式,它包含了PostScript語言描述的圖形。由于EPS文件可以包含復雜的圖形和圖像數據,因此文件大小通常較大。 二、優化前的準備 在開始
    的頭像 發表于 10-30 14:32 ?1159次閱讀

    spark為什么比mapreduce快?

    spark為什么比mapreduce快? 首先澄清幾個誤區: 1:兩者都是基于內存計算的,任何計算框架都肯定是基于內存的,所以網上說的spark是基于內存計算所以快,顯然是錯誤的 2;DAG計算模型
    的頭像 發表于 09-06 09:45 ?516次閱讀

    labview工程文件如何生成exe

    生成可執行文件(EXE)是LabVIEW程序開發過程中的一個重要步驟,它允許用戶在沒有安裝LabVIEW的計算機上運行程序。以下是步驟和注意事項: 1. 準備工作 在開始生成EXE文件
    的頭像 發表于 09-04 17:09 ?3216次閱讀

    ModusToolbox 3.2在c代碼中包含c++代碼的正確步驟是什么?

    文件,但要在 main.c 中 #include 它們時 會導致構建失敗。 將 main.c 重命名為 main.cpp 會導致標準 XMC 庫函數(如 XMC_GPIO_SetMode)中出現許多錯誤。 在 c 代碼中包含 c++ 代碼的正確步驟是什么?
    發表于 07-23 08:21