廣汽豐田汽車有限公司成立于2004年,是由廣州汽車集團股份有限公司和豐田汽車公司共同投資建設和經營的企業,公司位于中國極具活力的珠三角的幾何中心--廣州南沙區,占地面積282萬平方米,當前員工數超過5500人,為國內最知名的汽車生產廠商之一。
隨著業務的快速發展、公司人員規模不斷擴大,企業內部產生的非結構化數據量也在高速增長,文檔管理系統承擔著越來越大的壓力。目前,廣汽豐田文檔管理系統采用的是輕量級的容器架構,可實現快速發布和故障切換,為文檔管理系統的快速迭代和穩定運行提供了保障。
然而當前文檔管理系統擁有千萬級的文件量且保持高速增長,底層所使用的集中式NAS存儲與當前應用架構的矛盾日益突出:隨著數據量的增長及業務的實時響應需求,NAS性能無法滿足文檔管理系統的要求;新增NAS卷的規劃及頻繁的變更操作,使IT運維變得更加復雜,增加IT故障風險;面對海量非結構化數據,NAS磁盤數量的擴容受限,而采購全新NAS設備成本高昂。
因此,廣汽豐田IT部門負責人決定選納更適合當前業務需求的方案。考慮到面對萬億級文件的存儲,亞馬遜、阿里云等公有云廠商普遍采用對象存儲技術方案, 從2006年亞馬遜發布S3對象存儲至今已經在互聯網行業應用超過十年,是經過實踐所證明的海量非結構化數據存儲的最佳方案。而到底哪種對象存儲方案才更適合廣汽豐田的文檔管理系統,大致需要滿足如下需求:
1. 去中心化:無中心節點,排除單點故障;
2. 分布式架構:易擴展,高可靠;
3. 海量數據性能:在海量文件場景下,文件數量增加,訪問性能保持穩定;
4. x86服務器:控制成本,易更新,不被硬件廠商綁定;
5. 便捷運維:軟硬件統一監控,智能告警。
經過多重考察、選型,最終廣汽豐田選擇部署杉巖海量對象存儲(SandStone MOS)解決方案。杉巖海量對象存儲采用去中心化、分布式架構,以軟件形式部署在通用x86服務器上,支持百億級文件及EB級容量存儲。同時,具備高效的數據檢索、智能化標簽和數據分析能力,可以幫助廣汽豐田輕松應對大數據和云時代的存儲挑戰。究其技術優勢,主要有如下幾點:
輕松擴展,高效訪問
杉巖海量對象存儲構建在通用的x86服務器上,采用去中心化全分布式架構,單集群可擴展至EB級規模。同時,杉巖對象存儲產品利用先進的分布式哈希算法技術,通過哈希計算代替傳統文件系統的樹形索引,使得在單一命名空間下,可管理的文件數量達到百億級別,輕松突破傳統NAS數千萬文件的瓶頸;另外,利用獨有的緩存技術對數據訪問進行加速,保證在海量數據下依舊保持穩定高效的訪問性能。
通用架構,更新無憂
杉巖海量對象存儲采用"x86通用硬件+軟件"的分布式解耦架構,單個硬件更新維護不會影響到整個系統的正常運行。杉巖數據首創的分布式存儲數據盤漫游功能,可以幫助用戶漸進式的進行硬件更新,在業務持續運行下,實現硬件的更新換代。
統一管理,輕松運維
杉巖海量對象存儲管理系統,統一監控、管理存儲集群及所有服務器,故障自愈、自動巡檢、自動換盤等功能可盡量減少運維人員的工作。單一命名空間下百億級文件的支持,一個存儲空間即可滿足應用的全部需求,無需像傳統NAS進行反復的擴容及變更,減小運維壓力。
智能標簽,快速檢索
杉巖海量對象存儲支持文件標簽,并且具備標簽檢索功能,單個文件支持數百個標簽,用戶可將文件相關的元數據作為文件標簽與數據一同存儲與存儲系統中,利用存儲系統中的搜索引擎,實現文件的多維度搜索功能。另外,存儲系統中搜索引擎同樣采用分布式架構,保證在海量數據下的檢索性能以及搜索引擎的高可靠性。
完美契合,無限前景
彈性、去中心化的杉巖海量對象存儲,與文檔管理系統的輕量級架構完美契合。廣汽豐田文檔管理系統經過短期的接口改造,成功對接S3接口,并將全部數據遷移至杉巖海量對象存儲平臺上。杉巖海量對象存儲S3接口的無狀態連接方式,與Docker環境中運行的無狀態服務,共同搭建了彈性、無瓶頸、易擴展的系統架構。
過去,廣汽豐田文檔管理系統采用某知名廠商的中端NAS存儲,在文件數達到3000多萬的情況下,平均業務訪問時延在500-800ms,且隨著文件數量的上升,訪問時延也有上升的趨勢。2017年至今,杉巖海量對象存儲已經為廣汽豐田數千名員工穩定服務近一年時間,每天有近150萬個請求發往存儲,文件數量由原來的3000多萬增長至8000多萬,業務訪問時延始終保持在100ms以內,并且文件數量的增多不會影響訪問性能。
廣汽豐田文檔系統架構示意圖
廣汽豐田的IT部門使用杉巖海量對象存儲后,不再需要擔心業務及數據的增長給存儲帶來的壓力,統一命名空間下百億級文件數量的支持,大大減少了存儲的變更操作和IT運維故障。同時,智能監控告警及自動巡檢也為運維人員節省了大量的時間和精力。相信隨著大數據積累工作的完成和人工智能技術的引入,杉巖海量對象存儲將發揮更大價值,為廣汽豐田的業務發展提供更大的助力。
-
存儲
+關注
關注
13文章
4507瀏覽量
87088 -
豐田
+關注
關注
6文章
796瀏覽量
41342
原文標題:存儲遭遇新變革,廣汽豐田選對象存儲
文章出處:【微信號:cunchujie,微信公眾號:存儲界】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
評論