服務器數據恢復環境：

某品牌存儲，12塊SAS硬盤組建RAID6磁盤陣列，劃分一個卷，分配給幾臺Vmware ESXI主機做共享存儲。

卷中存放了大量的Windows虛擬機，虛擬機通過模板創建的，系統盤大小一致，數據盤大小不確定，數據盤都是精簡模式。

服務器故障：

機房意外斷電，電力供應恢復正常后存儲無法正常開機使用。經過用戶方工程師診斷，初步判斷是意外斷電導致的存儲設備中的磁盤陣列損壞。

服務器數據恢復過程：

1、嘗試將故障存儲中所有磁盤以只讀方式做全盤鏡像備份，后續的數據分析和數據恢復操作都基于鏡像文件進行，避免對原始磁盤數據造成二次破壞。

北亞企安數據恢復——raid6數據恢復

2、在鏡像的過程中發現大量損壞扇區。初步判斷是因為這類硬盤的讀取機制與常規硬盤不一樣。嘗試更換主機、HBA卡、擴展柜和操作系統，均出現相同的故障。與用戶方工程師溝通后得知raid控制器對磁盤并沒有特殊要求。

3、對硬盤損壞扇區的分布規律進行檢測，發現以下規律：

a、損壞扇區以256個扇區為單位分布。

b、除了損壞扇區片斷的起始位置不固定，后面的損壞扇區都是以2816個扇區為間隔。

所有磁盤的損壞扇區分布如下表(只列出前3個損壞扇區)：

北亞企安數據恢復——raid6數據恢復

4、北亞企安數據恢復工程師編寫小程序對每個磁盤的損壞扇區做繞過處理，用此程序鏡像完所有磁盤的數據。

5、基于鏡像文件分析損壞扇區，發現損壞扇區呈規律性出現：

a、每段損壞扇區的區域大小為256。

b、損壞扇區分布為固定區域，每跳過11個256扇區就會遇到一個壞的256扇區。

c、損壞扇區的位置總是位于RAID的P校驗或Q校驗區域。

d、所有磁盤中只有10號盤有一個自然壞道。

6、通過分析扇區得知分區大小(扇區數)。按照RAID6的模式計算后得出的結果和raid控制器中保留的RAID信息區域大小吻合。根據物理硬盤底層表現，分區表大小為512字節，后面無8字節校驗，大量的0扇區也無8字節校驗。綜合以上信息可以確定故障存儲并未啟用DA技術(520字節扇區)。

分區大小如下圖(GPT分區表項底層表現，涂色部分表示分區大小，單位512字節扇區，64bit)：

北亞企安數據恢復——raid6數據恢復

7、重組RAID。

a、存儲使用的是標準的RAID6陣列。整個存儲被劃分為一個卷并分配給幾臺ESXI做共享存儲，因此卷的文件系統是VMFS。VMFS卷中存放了大量的Windows虛擬機，Windows虛擬機使用的NTFS文件系統，可以根據NTFS中的MFT的順序分析出RAID條帶的大小以及RAID的走向。

b、鏡像完所有磁盤后發現最后一塊硬盤并沒有像其他磁盤一樣有大量的壞道。這塊磁盤中有大量的未損壞扇區，這些未損壞扇區基本上是全0扇區，可以判斷這塊硬盤是熱備盤。

c、根據分析出來的RAID相關信息重組RAID。

重組完成后可以看到目錄結構，但是不確定是否為最新狀態。檢測幾個虛擬機發現有部分虛擬機的數據異常，初步判斷RAID中存在掉線的磁盤。將RAID中的每一塊磁盤依次踢掉后再查看剛才數據異常的地方，沒有發現問題原因。

仔細分析底層數據發現問題不是出在RAID層面，而是出在VMFS文件系統層面。如果VMFS文件系統大于16TB，就會存在一些其他的記錄信息，組建RAID時候需要跳過這些記錄信息。再次重組RAID后查看以前數據異常的地方，發現問題已經解決了。

挑選其中的一臺虛擬機做驗證，將所有磁盤加入RIAD中后，發現這臺虛擬機是可以啟動的，但在缺盤的情況下啟動就出現問題。因此可以判斷該RAID在不缺盤的狀態下為最佳。

8、驗證虛擬機。

對重要的虛擬機做驗證，發現大部分虛擬機可以開機進入登錄界面。只有有少部分虛擬機開機藍屏或開機檢測磁盤，但是經過光盤修復之后都可以正常啟動。

北亞企安數據恢復——raid6數據恢復

9、驗證數據庫。

針對重要虛擬機中的數據庫做驗證，數據庫都正常。但是有一個數據庫，據用戶描述好像缺少部分數據，但是經過仔細核對后發現這些數據在數據庫中本來就不存在。通過查詢master數據庫中的系統視圖，查出所有數據庫信息如下：

北亞企安數據恢復——raid6數據恢復

10、檢查VMFS卷的完整性。

由于虛擬機數量較大，對每臺虛擬機進行驗證不太現實。所以我們對整個VMFS卷做檢測，在檢測VMFS卷的過程中發現部分虛擬機或虛擬機文件被破壞。

北亞企安數據恢復——raid6數據恢復

11、批量恢復數據。

準備目標磁盤，組建一個RAID陣列。將重組的RAID數據鏡像到目標陣列上，然后利用北亞企安自研程序解析整個VMFS文件系統&提取VMFS卷。

12、移交數據。

在北亞企安數據恢復工程師的協助下，將恢復出來的數據遷移到用戶方準備好的環境中。

審核編輯：湯梓紅