8種主流數(shù)據(jù)遷移工具技術(shù)選型

ETL(是Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)，對于企業(yè)應用來說，我們經(jīng)常會遇到各種數(shù)據(jù)的處理、轉(zhuǎn)換、遷移的場景。

2023-04-20 標簽：ETLJAVA語言HDFS 1332 0

分析Hive與Spark分區(qū)策略的異同點

隨著技術(shù)的不斷的發(fā)展，大數(shù)據(jù)領域?qū)τ诤Ａ繑?shù)據(jù)的存儲和處理的技術(shù)框架越來越多。在離線數(shù)據(jù)處理生態(tài)系統(tǒng)最具代表性的分布式處理引擎當屬Hive和Spark，它...

2023-04-11 標簽：數(shù)據(jù)存儲IOPsHDFS 1176 0

大數(shù)據(jù)計算框架簡介

Hadoop是目前世界上應用最廣泛的大數(shù)據(jù)工具。Hadoop具有高容錯率，且其硬件價格低，可以使用普通PC服務器（個人理解：普通PC服務器的具體形式包括...

2023-03-20 標簽：JAVAPC服務器編程語言 2600 0

分布式文件系統(tǒng)的設計框架

因為HDFS系統(tǒng)（分布式文件系統(tǒng)）可由數(shù)百或數(shù)千個存儲文件數(shù)據(jù)片段的服務器組成，即HDFS系統(tǒng)包含較多的硬件設備，所以HDFS系統(tǒng)的硬件故障是常態(tài)，而非異常態(tài)。

2023-03-20 標簽：服務器存儲數(shù)據(jù)HDFS 1220 0

大數(shù)據(jù)應用的開發(fā)流程

大數(shù)據(jù)常見處理流程包括：原始數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲、統(tǒng)計分析、存儲至數(shù)據(jù)倉庫、數(shù)據(jù)導出、導入數(shù)據(jù)庫、數(shù)據(jù)可視化。

2023-02-22 標簽：數(shù)據(jù)庫機器學習python 5990 0

介紹一款數(shù)據(jù)高效同步工具DataX

當時的打算是通過 mysqldump 或者存儲的方式來進行同步，但是嘗試后發(fā)現(xiàn)這些方案都不切實際

2023-02-21 標簽：FTPpythonMYSQL數(shù)據(jù)庫 1383 0

大數(shù)據(jù)相關(guān)介紹：Hadoop的生態(tài)系統(tǒng)構(gòu)成

HBase位于結(jié)構(gòu)化存儲層（根據(jù)網(wǎng)絡資料理解：HBase位于類似windows系統(tǒng)中多層級文件夾的結(jié)構(gòu)中），是一個分布式的列存儲數(shù)據(jù)庫。

2023-02-19 標簽：HadoopHDFS大數(shù)據(jù) 2456 0

大數(shù)據(jù)系統(tǒng)包括哪些

Hadoop是分布式（根據(jù)網(wǎng)絡資料理解：分布式與集中式相對應，對于大量數(shù)據(jù)計算，集中于一臺計算機中計算需耗費較長時間，通過將計算分布于多個計算機，節(jié)約整...

2023-02-16 標簽：數(shù)據(jù)存儲HDFS大數(shù)據(jù)系統(tǒng) 4767 0

HDFS的主要架構(gòu)/特點/應用場景

HDFS（HadoopDistributedFileSystem），是一個適合運行在通用硬件（commodityhardware）上的分布式文件系統(tǒng)，是...

2020-12-10 標簽：文件系統(tǒng)HDFS 6292 0

分布式存儲中HDFS與Ceph兩者的區(qū)別是什么，各有什么優(yōu)勢？

對于分布式存儲，尤其是開源的分布式存儲，站在一個SRE的角度，我認為主要為商業(yè)公司解決了如下幾個問題： 可擴展，滿足業(yè)務增長導致的海量數(shù)據(jù)存儲需求； ...

2018-07-03 標簽：分布式存儲HDFSCeph 3.2萬 0