電網海量非結構化數(shù)據(jù)存儲及備份

海量的非結構化數(shù)據(jù)廣泛存在于電網核心應用系統(tǒng)中。如何最有效地保護、管理和分析海量非結構化的數(shù)據(jù)成為必須考慮的問題。隨著數(shù)據(jù)中心的建設,傳統(tǒng)存儲陣列贏得了巨大的發(fā)展,但是隨著虛擬化的普及以及非結構化數(shù)據(jù)的爆炸式增長,傳統(tǒng)存儲陣列的疲態(tài)凸顯,在處理能力、擴展性、可維護性、可靠性方面,以及成本考量都呈現(xiàn)出更多地劣勢。

針對電網的海量非結構化數(shù)據(jù)的存儲業(yè)務需求,構建出一套分布式、模塊化擴展、數(shù)據(jù)管理功能豐富、能夠根據(jù)需要彈性擴展的數(shù)據(jù)中心計算和存儲資源調度基礎設施,使得系統(tǒng)可以在將來相當?shù)囊欢螘r期內保持技術的先進性,以適應未來信息化的發(fā)展需要。為解決海量非結構化數(shù)據(jù)存儲/備份/分析/檢索,提供高可靠、高性能的存儲服務。

image.png

五大優(yōu)勢


1.海量文件處理

實現(xiàn)了小文件合并處理與壓縮的功能,極大減少了巨量文件元數(shù)據(jù)對文件系統(tǒng)索引體系帶來的壓力。支持單存儲池超過1000億的文件對象數(shù)量。


2.NFS/FTP文件共享

支持NFS/FTP文件共享功能,即網絡文件系統(tǒng)。在對象存儲中通過NFS/FTP提供文件系統(tǒng)功能接口,解決通過文件協(xié)議訪問對象存儲實現(xiàn)多客戶端數(shù)據(jù)共享的需求,并且滿足對象存儲直接對接NAS備份功能。


3.數(shù)據(jù)生命周期管理

支持存儲桶數(shù)據(jù)生命周期管理功能,可以對存儲桶內的數(shù)據(jù)按規(guī)則進行部分或整桶歸檔和刪除,支持實時歸檔及延時歸檔,同時支持延時刪除功能。用戶可對存儲桶中的對象數(shù)據(jù)設置不同的生命周期,不經常使用的數(shù)據(jù)可以定時歸檔到冷數(shù)據(jù)池,部分垃圾數(shù)據(jù)可以定時進行清理刪除操作,以便提供更有效的存儲空間。


4.可靠性大幅度增強

產品層面不僅解決了傳統(tǒng)分布式存儲系統(tǒng)中對可靠性造成威脅的很多缺陷,而且對關鍵的IO路徑和管理控制模塊皆進行了冗余設計。同時,通過拓撲規(guī)劃功能對存儲集群支持多種安全級別的數(shù)據(jù)安全保護,如支持節(jié)點級別、機架級別、數(shù)據(jù)中心級別的故障域。存儲系統(tǒng)可靠性及持續(xù)在線特性得到有效保證。


5.高級功能

支持多站點數(shù)據(jù)同步部署,使多個對象存儲集群全局共享統(tǒng)一的用戶和存儲桶信息,實現(xiàn)集群內數(shù)據(jù)就近讀寫訪問,集群間數(shù)據(jù)異步復制容災,提供全局對象存儲訪問服務。同時支持多種數(shù)據(jù)精簡,支持端到端壓縮技術,從網關層開始壓縮,減少了網絡傳輸和實際容量占用。同時小文件合并歸檔技術大大減少了海量小文件的元數(shù)據(jù)和數(shù)據(jù)碎片化問題,大大提高了有效空間利用率。