hbase+hive分布式存儲數(shù)據(jù)恢復(fù)環(huán)境:
16臺某品牌R730XD服務(wù)器節(jié)點,每臺物理服務(wù)器節(jié)點上有數(shù)臺虛擬機,虛擬機上配置的分布式,上層部署hbase數(shù)據(jù)庫+hive數(shù)據(jù)倉庫。
hbase+hive分布式存儲故障&初檢:
數(shù)據(jù)庫文件被誤刪除,數(shù)據(jù)庫無法使用。
通過現(xiàn)場對該分布式環(huán)境的初步檢測,發(fā)現(xiàn)虛擬機還可以正常啟動,虛擬機里面的數(shù)據(jù)庫塊文件丟失。好在塊文件丟失之后沒有對集群環(huán)境寫入數(shù)據(jù),底層數(shù)據(jù)損壞可能性比較小。
hbase+hive分布式存儲數(shù)據(jù)恢復(fù)方案:
1、備份。
A、從物理服務(wù)器底層做備份,將設(shè)備斷電、關(guān)機。將所有磁盤編號后從服務(wù)器/存儲中取出。
B、從虛擬機層面?zhèn)浞荩ㄟ^網(wǎng)絡(luò)直接備份虛擬機底層磁盤文件。
C、北亞企安數(shù)據(jù)恢復(fù)中心準備一臺服務(wù)器以只讀方式掛載服務(wù)器硬盤,對所有磁盤進行扇區(qū)對扇區(qū)的全盤鏡像備份。
D、備份完成后提供詳細報告,內(nèi)容涉及所有磁盤的健康狀態(tài)和存在的壞道列表。
E、將服務(wù)器硬盤按照編號還原到原服務(wù)器/存儲設(shè)備中,之后數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進行,避免對原始磁盤數(shù)據(jù)造成二次破壞。
2、基于鏡像文件分析塊文件結(jié)構(gòu)。
A、分析每個虛擬機磁盤的塊文件。
B、分析文件底層的聚合方式。
C、分析磁盤中數(shù)據(jù)分布情況。
3、分析Block文件key。
A、定位數(shù)據(jù)庫文件中的key信息。
B、提取并解析數(shù)據(jù)庫文件中key信息。
C、整合數(shù)據(jù)庫文件key信息。
4、拼接Block文件。
A、根據(jù)Block文件的key信息提取文件片段。
B、拼接Block文件的片段。
C、校驗拼接后的Block文件的正確性。
5、導(dǎo)入Block文件。
A、校驗提取出來的Block文件完整性和正確性。
B、把提取出來的Block文件導(dǎo)入到hbase和hive數(shù)據(jù)倉庫中。
6、驗證數(shù)據(jù)。
由用戶對數(shù)據(jù)進行詳細驗證。如果發(fā)現(xiàn)問題則重新檢驗上面的恢復(fù)流程。
審核編輯 黃宇
-
數(shù)據(jù)恢復(fù)
+關(guān)注
關(guān)注
10文章
637瀏覽量
18019 -
分布式
+關(guān)注
關(guān)注
1文章
980瀏覽量
75181
發(fā)布評論請先 登錄
Vsan數(shù)據(jù)恢復(fù)——Vsan分布式文件系統(tǒng)上虛擬機不可用的數(shù)據(jù)恢復(fù)

分布式存儲數(shù)據(jù)恢復(fù)—虛擬機上hbase和hive數(shù)據(jù)庫數(shù)據(jù)恢復(fù)案例
分布式存儲有哪幾種類型?
分布式云化數(shù)據(jù)庫有哪些類型
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)文件資產(chǎn)遷移
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)權(quán)限與基礎(chǔ)數(shù)據(jù)
使用lsof實現(xiàn)對linux文件的誤刪除恢復(fù)練習(xí)

服務(wù)器數(shù)據(jù)恢復(fù)—EXT3文件系統(tǒng)下誤刪除數(shù)據(jù)的恢復(fù)案例

NetApp數(shù)據(jù)恢復(fù)—NetApp存儲誤刪除的數(shù)據(jù)恢復(fù)案例

服務(wù)器數(shù)據(jù)恢復(fù)—Isilon存儲集群誤刪除的數(shù)據(jù)恢復(fù)案例

Oracle數(shù)據(jù)恢復(fù)—Oracle刪除數(shù)據(jù)不用怕!這些數(shù)據(jù)恢復(fù)方法了解一下
服務(wù)器數(shù)據(jù)恢復(fù)—誤刪除KVM虛擬機的數(shù)據(jù)恢復(fù)案例

評論