資料介紹
軟件簡介
Flink Remote Shuffle 是一種批場景下利用外部服務完成任務間數據交換的 Shuffle 實現,本文后續將詳細介紹 Flink Remote Shuffle 研發的背景,以及 Flink Remote Shuffle 的設計與使用。
重要特性
-
存儲計算分離:存儲計算分離使計算資源與存儲資源可以獨立伸縮,計算資源可以在計算完成后立即釋放,Shuffle 穩定性不再受計算穩定性影響。
-
支持多種部署模式:支持 Kubernetes、Yarn 以及 Standalone 環境下部署。
-
采用了類似 Flink Credit-Based 流量控制機制,實現了零拷貝數據傳輸,最大限度的使用受管理的內存 (managed memory) 以避免 OOM,提高了系統穩定性與性能。
-
實現了包括負載均衡、磁盤 IO 優化、數據壓縮、連接復用、小包合并等諸多優化,實現了優秀的性能與穩定性表現。
-
支持 Shuffle 數據正確性校驗,能夠容忍 Shuffle 進程乃至物理節點重啟。
-
結合 FLIP-187: Flink Adaptive Batch Job Scheduler[11]?可支持動態執行優化,如動態決定算子并發度。
設計思路與原理介紹
參閱此文章:https://www.oschina.net/news/171564/flink-remote-shuffle-open-source
?
- Flink學習精要 0次下載
- 基于單向傳輸協議的網絡數據交換技術 7次下載
- NoSQL數據庫間數據交換代價研究 0次下載
- 組態王與VB數據交換方法 16次下載
- 一種電子政務數據交換模型的設計
- 一種基于JCA的數據交換架構
- 多單片機系統中的數據交換
- 關于ISA 數據交換的一些小例子
- 多單片機系統中的數據交換
- 基于任務的數據交換平臺
- 策略驅動的數據交換模型
- 安全數據交換技術在HIS中的應用
- 基于時間閘和放行令牌的數據交換技術
- 基于實時數據交換技術的數據通信
- 一個系統中多單片機之間的數據交換
- 交換芯片是什么意思 交換芯片的功能有哪些 2359次閱讀
- ZEMAX與MATLAB動態數據交換及其應用 1161次閱讀
- 如何實現西門子、歐姆龍、三菱、AB等PLC之間數據交換 1704次閱讀
- 交換機的特點、工作原理及數據交換方式 9764次閱讀
- Profinet直接數據交換功能概述 2258次閱讀
- S7-1500 CPU支持與其它S7-1500 CPU進行直接數據交換 4229次閱讀
- JustWeEngine游戲框架網絡事件處理 Http服務器的數據交換 1731次閱讀
- 如何將 PROFINET IO 系統的用戶數據交換組態 IRT 通訊? 5193次閱讀
- 實時數據體系建設的總體方案的三部分 6771次閱讀
- 什么是分組交換網_分組交換網的構成 8342次閱讀
- 一套符合標準SQL語義的開發語言,link的最新特性 2460次閱讀
- 來看看Spark和Flink各自的優劣和主要區別 3.1w次閱讀
- mapreduce工作原理圖文詳解_Map、Reduce任務中Shuffle和排序 8575次閱讀
- 基于FPGA的BIade Server與主板之間PCI數據交換 2257次閱讀
- 利用OPC實現VC應用程序與PLC的數據交換 4882次閱讀
下載排行
本周
- 1蘇泊爾電磁爐線路的電路原理圖資料合集
- 2.02 MB | 286次下載 | 5 積分
- 2長虹液晶電視R-HS310B-5HF01的電源板電路原理圖
- 0.46 MB | 87次下載 | 5 積分
- 3AO4803A雙P通道增強型場效應晶體管的數據手冊
- 0.11 MB | 28次下載 | 2 積分
- 4長虹液晶彩電LS29機芯的技術資料說明
- 3.42 MB | 16次下載 | 2 積分
- 5TP4055 500mA線性鋰離子電池充電器中文手冊
- 0.75 MB | 9次下載 | 免費
- 6TP4054 400mA線性鋰離子電池充電器中文手冊
- 0.70 MB | 2次下載 | 免費
- 7TP4057X 500mA線性鋰離子電池充電器中文手冊
- 0.74 MB | 2次下載 | 免費
- 8AI智能眼鏡產業鏈分析
- 4.43 MB | 2次下載 | 免費
本月
- 1蘇泊爾電磁爐線路的電路原理圖資料合集
- 2.02 MB | 286次下載 | 5 積分
- 2人形機器人電機驅動和傳感報告
- 4.27 MB | 169次下載 | 免費
- 3長虹液晶電視R-HS310B-5HF01的電源板電路原理圖
- 0.46 MB | 87次下載 | 5 積分
- 4U盤一鍵制作
- 23.84 MB | 41次下載 | 免費
- 5AO4803A雙P通道增強型場效應晶體管的數據手冊
- 0.11 MB | 28次下載 | 2 積分
- 6Altium Designer元件庫
- 17.11 MB | 23次下載 | 免費
- 7長虹液晶彩電LS29機芯的技術資料說明
- 3.42 MB | 16次下載 | 2 積分
- 8TP4055 500mA線性鋰離子電池充電器中文手冊
- 0.75 MB | 9次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935127次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191382次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183342次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81586次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73814次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論