女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

電子發燒友App

硬聲App

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
電子發燒友網>電子資料下載>電子資料>Apache SeaTunnel高性能分布式數據集成平臺

Apache SeaTunnel高性能分布式數據集成平臺

2022-06-14 | zip | 0.58 MB | 次下載 | 2積分

資料介紹

授權協議 Apache
開發語言 Java
操作系統 跨平臺
軟件類型 開源軟件
所屬分類 大數據數據處理

軟件簡介

seatunnel 是一個非常易用的支持海量數據實時同步的超高性能分布式數據集成平臺,每天可以穩定高效同步數百億數據,已在近百家公司生產上使用。

為什么我們需要 seatunnel

seatunnel 盡所能為您解決海量數據同步中可能遇到的問題:

  • 數據丟失與重復
  • 任務堆積與延遲
  • 吞吐量低
  • 應用到生產環境周期長
  • 缺少應用運行狀態監控

seatunnel 使用場景

  • 海量數據同步
  • 海量數據集成
  • 海量數據的 ETL
  • 海量數據聚合
  • 多源數據處理

seatunnel 的特性

  • 簡單易用,靈活配置,無需開發
  • 實時流式處理
  • 離線多源數據分析
  • 高性能、海量數據處理能力
  • 模塊化和插件化,易于擴展
  • 支持利用 SQL 做數據處理和聚合
  • 支持 Spark Structured Streaming
  • 支持 Spark 2.x

seatunnel 的工作流程

pYYBAGKjJIqACBxRAABXRzrh5fs073.png

                         Input[數據源輸入] -> Filter[數據處理] -> Output[結果輸出]

多個 Filter 構建了數據處理的 Pipeline,滿足各種各樣的數據處理需求,如果您熟悉 SQL,也可以直接通過 SQL 構建數據處理的 Pipeline,簡單高效。目前 seatunnel 支持的Filter列表, 仍然在不斷擴充中。您也可以開發自己的數據處理插件,整個系統是易于擴展的。

seatunnel 支持的插件

  • Input plugin

Fake, File, Hdfs, Kafka, S3, Socket, 自行開發的 Input plugin

  • Filter plugin

Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行開發的Filter plugin

  • Output plugin

Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行開發的 Output plugin

環境依賴

  1. java 運行環境,java >= 8

  2. 如果您要在集群環境中運行 seatunnel,那么需要以下 Spark 集群環境的任意一種:

  • Spark on Yarn
  • Spark Standalone

如果您的數據量較小或者只是做功能驗證,也可以僅使用?local?模式啟動,無需集群環境,seatunnel 支持單機運行。 注: seatunnel 2.0 支持 Spark 和 Flink 上運行

下載

可以直接運行的軟件包下載地址:https://github.com/InterestingLab/seatunnel/releases

快速入門

快速入門:https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

關于 seatunnel 的詳細文檔

生產應用案例

  • 微博, 增值業務部數據平臺 微博某業務有數百個實時流式計算任務使用內部定制版 seatunnel,以及其子項目Guardian做 seatunnel On Yarn 的任務監控。

  • 新浪, 大數據運維分析平臺 新浪運維數據分析平臺使用 seatunnel 為新浪新聞,CDN 等服務做運維大數據的實時和離線分析,并寫入 Clickhouse。

  • 搜狗,搜狗奇點系統 搜狗奇點系統使用 seatunnel 作為 ETL 工具, 幫助建立實時數倉體系

  • 趣頭條,趣頭條數據中心 趣頭條數據中心,使用 seatunnel 支撐 mysql to hive 的離線 ETL 任務、實時 hive to clickhouse 的 backfill 技術支撐,很好的 cover 離線、實時大部分任務場景。

  • 一下科技, 一直播數據平臺

  • 永輝超市子公司-永輝云創,會員電商數據分析平臺 seatunnel 為永輝云創旗下新零售品牌永輝生活提供電商用戶行為數據實時流式與離線 SQL 計算。

  • 水滴籌, 數據平臺 水滴籌在 Yarn 上使用 seatunnel 做實時流式以及定時的離線批處理,每天處理 3~4T 的數據量,最終將數據寫入 Clickhouse。

更多案例參見:?https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/case_study/

貢獻觀點和代碼

提交問題和建議:https://github.com/InterestingLab/seatunnel/issues

貢獻代碼:https://github.com/InterestingLab/seatunnel/pulls

開發者

感謝所有開發者

?

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1DD3118電路圖紙資料
  2. 0.08 MB   |  1次下載  |  免費
  3. 2AD庫封裝庫安裝教程
  4. 0.49 MB   |  1次下載  |  免費
  5. 3PC6206 300mA低功耗低壓差線性穩壓器中文資料
  6. 1.12 MB   |  1次下載  |  免費
  7. 4網絡安全從業者入門指南
  8. 2.91 MB   |  1次下載  |  免費
  9. 5DS-CS3A P00-CN-V3
  10. 618.05 KB  |  1次下載  |  免費
  11. 6海川SM5701規格書
  12. 1.48 MB  |  次下載  |  免費
  13. 7H20PR5電磁爐IGBT功率管規格書
  14. 1.68 MB   |  次下載  |  1 積分
  15. 8IP防護等級說明
  16. 0.08 MB   |  次下載  |  免費

本月

  1. 1貼片三極管上的印字與真實名稱的對照表詳細說明
  2. 0.50 MB   |  103次下載  |  1 積分
  3. 2涂鴉各WiFi模塊原理圖加PCB封裝
  4. 11.75 MB   |  89次下載  |  1 積分
  5. 3錦銳科技CA51F2 SDK開發包
  6. 24.06 MB   |  43次下載  |  1 積分
  7. 4錦銳CA51F005 SDK開發包
  8. 19.47 MB   |  19次下載  |  1 積分
  9. 5PCB的EMC設計指南
  10. 2.47 MB   |  16次下載  |  1 積分
  11. 6HC05藍牙原理圖加PCB
  12. 15.76 MB   |  13次下載  |  1 積分
  13. 7802.11_Wireless_Networks
  14. 4.17 MB   |  12次下載  |  免費
  15. 8蘋果iphone 11電路原理圖
  16. 4.98 MB   |  6次下載  |  2 積分

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935127次下載  |  10 積分
  3. 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
  4. 1.48MB  |  420064次下載  |  10 積分
  5. 3Altium DXP2002下載入口
  6. 未知  |  233089次下載  |  10 積分
  7. 4電路仿真軟件multisim 10.0免費下載
  8. 340992  |  191390次下載  |  10 積分
  9. 5十天學會AVR單片機與C語言視頻教程 下載
  10. 158M  |  183342次下載  |  10 積分
  11. 6labview8.5下載
  12. 未知  |  81588次下載  |  10 積分
  13. 7Keil工具MDK-Arm免費下載
  14. 0.02 MB  |  73815次下載  |  10 積分
  15. 8LabVIEW 8.6下載
  16. 未知  |  65989次下載  |  10 積分