MMC-ST系列,讓飛行變得更簡單。
MMC-ST系列,讓飛行變得更簡單。
MMC-ST系列,讓飛行變得更簡單。
MMC-ST系列,讓飛行變得更簡單。
分享到:

云南十一选五专家计划:中國石油

日期: 2016-09-26
瀏覽次數: 136

下载体彩云南十一选五开奖 www.cseaf.icu 客戶面臨的挑戰

海量文件管理困難

當數據量不斷增長,存儲系統里面的文件數量也會快速增長。當存儲系統內的文件數量增長到數千萬以上時,文件的檢索查找等操作將會給文件系統帶來巨大的壓力,特別是一個目錄下面存放的文件超過一定數量甚至會造成文件查找效率急劇下降。傳統的存儲方案(如NAS)都存在著文件數量、單目錄下文件數量等諸多限制,并且當存儲系統內文件數量達到一定數量時,文件的檢索效率就會急劇下降,從而影響了業務的運行效率。

?存儲帶寬壓力大

鑒于項目中多個計算節點需要共享訪問數據,并發訪問的程度較高,這給存儲系統帶來較大的IO壓力。

文件共享障礙

客戶文件系統較多,布局分散,導致文件的整理,文件版本的管理與合并非常繁冗,需要消耗大量人力資源。主機訪問同一類型文件需要多次掛載。

?數據安全隱患

基于數據安全性與高可用性方面的角度來看,各生產存儲數據孤立,沒用近線存儲接管措施。一旦生產存儲故障,從備份系統恢復數據將占用很長時間,影響業務連續性。

擴展性有限

生產存儲接近滿配,擴展能力受限,而且經過動態擴展之后如果沒有數據動態負載均衡的功能,即使存儲系統的容量增長,性能不會隨之增長,這給高速增長的業務造成一定的障礙。


SOUL解決方案

為了解決客戶面臨的困難,本次方案在設計之初就提出了以下原則:

系統高可靠性:局部部件甚至單臺存儲節點失效不影響數據的完整可用;故障恢復不影響業務運行。

高共享性能:?多臺節點共享同一存儲設備甚至數據文件,系統設計應該從實際應用出發,提供共享環境下的高性能,保證系統響應時間、輸出帶寬不會因為客戶端數量的增加而明顯下降。

靈活性及可擴展性:根據未來業務的增長和變化,系統可以平滑地擴充和升級,最大程度的減少對網絡架構和現有設備的調整,對前端業務的影響可以降到最低。

?管理簡單:采用標準的TCP/IP架構,全中文管理界面,智能化故障高速修復,不需要專人學習私有協議,一般網管人員兼職即可輕松維護,管理工作量不會隨著容量的增長而增加。

較低的總體擁有成本(TCO: TCO是指資產購進成本及在其整個生命服務周期中發生的成本之和。TCO不等同于資產的購買成本,它還要包括資產購進后運營和維護的費用。存儲系統的總體擁有成本由設備購置成本、實施成本、維護成本、管理成本、升級成本、宕機成本等因素構成,北方數據的方案,著力于從上述多個方面幫助用戶降低成本,從而達到TCO的有效降低。

方案拓撲圖:

中國石油

SureSave存儲系統是一款針對海量數據存儲應用而設計的大規模通用分布式存儲系統,采用通用硬件設備作為基本的構建單元,為應用提供全局統一的系統映像和完全POSIX兼容的API接口。

SureSave分布式存儲系統采用了存儲節點集群通過千兆以太網絡構建,具備極高的擴展性和可靠性。利用SureSave的相關軟件功能消除集群內的單點故障,避免因為故障而導致服務中斷或者數據丟失等影響,并且打破了傳統存儲系統的種種限制。

1、本次方案采用22個節點實現分布式并行處理,節點之間內部心跳通過萬兆傳輸保證性能;

2、配置22個節點,每個節點均使用RAID5?;せ?,另外節點之間實現冗余,壞一個節點不會影響業務系統運行。

?3、整體容量超過8PB。

?4、DCS1000分布式存儲采用no-metadata智能定位算法來計算數據分布信息,集群中的任何服務器和客戶端只需根據路徑和文件名就可以對數據進行定位和讀寫訪問。因此DCS無需將元數據與數據進行分離,更無需專門的元數據服務器進行元數據管理。集群中的所有節點都可以智能地對文件數據分片進行定位,不需要查詢索引或者其他服務器。因此可以實現數據訪問完全并行化,實現真正的線性性能擴展,同時即使在高并發、海量數據訪問環境下,也不會產生因為元數據訪問壓力帶來的數據讀寫性能瓶頸。


用戶收益

高效管理海量數據

SureSave分布式存儲系統單卷可支持PB級的存儲空間,高效的管理上百億個文件,單目錄可以高效支持千萬級的文件數量。這些特性對于數據量很大,并且對于檢索效率要求較高的應用非常重要。SureSave打破了存儲系統在面向海量小文件時的種種限制,提供了幾乎無限的單目錄文件數量支持、高效的文件檢索效率支持,幫助企業解決海量小文件存儲帶來的煩惱。

高數據讀寫性能

SureSave分布式存儲系統通過多臺存儲節點提供同時數據存取服務的方法以滿足大量應用節點的并發訪問需求。在應用節點端,當應用程序往存儲系統上寫文件時,文件將會被根據一定大小進行分片存放到多臺存儲節點上;在應用程序讀文件時,則并發的從多個節點上讀取數據。由于大量的數據IO請求都被分散到多臺存儲節點上,使得所有的存儲節點上的磁盤性能和網絡帶寬都可以同時得到充分的利用,這樣SureSave分布式存儲系統的聚合帶寬由多臺的存儲節點上的IO帶寬相加而成,從而克服了NAS的單一出口點所造成性能瓶頸,可以滿足多臺應用節點并發訪問的帶寬需求。

通過實現多存儲節點的并發數據訪問支持,消除了傳統存儲系統中常見的負載不均導致的熱點數據問題。SureSave通過數據在存儲節點集群中的條帶化分布實現高效、全面的負載均衡功能,充分利用硬件和網絡的性能,發揮出最高IO吞吐量。

數據全局共享

SureSave大規模分布式存儲系統采用文件系統全局命名空間,所有計算節點都可看到一致文件系統視圖。數據的全局共享可以加強各計算節點之間的協作,提高了作業的運行效率。而且數據的統一管理也方便用戶數據的統一管理,并簡化應用系統的開發。

高數據安全性

基于數據安全性方面的考慮,用戶可以通過SureSave配置工具設置數據相應的安全等級,選擇將數據和校驗數據分別存放在不同的存儲節點上。SureSave存儲系統可以同時使用多條高速數據通道,可消除網絡層的單點故障,進一步提高系統的高可用性。在這樣的情況下,即使出現存儲節點宕機、網絡中斷、磁盤損壞時,仍然能夠保障數據完整性和數據服務的持續運行。例如,在運行中存儲節點由于磁盤損壞而丟失了該磁盤上的部分數據,SureSave分布式存儲系統將會立刻發現該異常并自發的啟動數據恢復流程,利用存放于其它存儲節點中該部分數據的校驗數據重新生成一份以保證數據仍有一定的冗余度。由于SureSave的數據恢復是基于真實丟失的數據,并且數據恢復是通過整個存儲集群同時并發進行,所以相對于傳統的RAID技術具備更快的數據重建速度,這也能夠有效提升數據的安全性。

用戶可以將指定的數據設置相應的冗余等級和數量,冗余數據存放在不同的節點上將確保出現存儲節點宕機時數據不會丟失,也不會出現服務中斷的現象。而且當冗余數據越多時,業務對數據進行訪問時將會把不同的訪問請求分發到不同的數據分片上,達到負載均衡的效果以幫助業務提供數據訪問性能。通過將數據和校驗數據存放在不同存儲節點的方法可以對一系列的軟硬件故障(網絡、主機、磁盤等)進行自動的隔離,消除了存儲系統的任何單點故障,而且也無需配置任何復雜的配置。

SureSave具有一整套完整的故障恢復流程,該軟件將會自動的探測分布式存儲系統內的各類可能出現的故障,如磁盤損壞、系統宕機、網絡中斷等各類數據中心常見的故障。分布式存儲系統內一旦發現了該類故障,該軟件就會立刻啟動相應的故障處理恢復流程對數據進行相應的恢復?;?,確保數據的完整性,并且整個恢復過程完全不影響業務連續運行。而且由于故障自動恢復軟件能夠提供的是整個集群全局的數據恢復,充分的利用了集群內的空閑資源進行相應的處理,能夠提供高出RAID技術五倍的數據恢復速度,能夠最大程度的確保數據完整性,為業務長期穩定運行打下基礎。

?易在線擴展性

??SureSave負載均衡軟件是專門針對存儲擴展性需求較高的應用環境而提供。當存儲系統按需在線動態擴展容量之后,管理員可以選擇在合適的時間啟動或者停止負載均衡軟件,該功能將數據在存儲節點之間遷移,直到數據分布較為均衡停止。通過SureSave負載均衡軟件的數據遷移工作,SureSave分布式存儲系統的性能能夠隨著容量的增長而線性增長。

?易管理維護性

SureSave存儲系統配有簡單易用的圖形化管理和監控界面,支持通過專用的安全通道進行遠程配置和全系統監控,能夠智能的發現各類軟硬件故障并進行處理,減少了管理員的工作量。

無縫兼容現有環境

SureSave存儲系統的設計是面向通用的硬件和軟件環境,如使用通用的以太網絡作為數據傳輸通道可以確保充分利用現有的環境,并且可以無需對環境做出任何修改。另外SureSave能夠直接支持Linux、Windows等常用的操作系統之間進行數據共享,無需對操作系統做任何修改,所以能夠無縫的接入到企業現有的軟硬件環境。

低整體擁有成本

SureSave大規模分布式存儲系統能夠極大的降低構建和運維成本,主要有以下幾點:

極大地提高了數據可用性:通過SureSave內置的高可用和故障自動恢復功能等卓越的功能,極大減少了系統由于維護或備份恢復所需的大量時間,從而徹底提高了企業的生產效率。

數據的充分共享:數據可以被前端的各種類型的主機共享,無需在Linux和Windows系統之間進行數據遷移。這允許一個數據拷貝被所有人員與進程共享,大大減少了對不同環境下相同的數據的多種形式的管理費用。

存儲的運維成本:由于采用了通用、企業級的硬件構建,具有極高的性價比和兼容性。管理員可以輕易的掌握系統的運維管理,使得培訓支出上的費用大大減少。


北方數據的服務優勢

除了產品本身的技術優勢以外,北方數據在服務與支持方面也有著很強的競爭力,主要反映在以下幾個方面:

快速:由于北方數據擁有存儲核心技術,客戶在使用中碰到的問題或者新的需求,北方數據的研發人員都可以快速了解相關情況,從而可以安排相關研發配合工作。相比之下,很多公司只能夠提供代理商模式的技術支持,難以解決復雜的技術問題,更不能提供研發的相關支持工作。

靈活:用戶在項目實施前不一定能夠提出所有的需求細節,而在實施和運營過程中經常提出一些新的需求。北方數據高水平的研發團隊可根據用戶提出的具體需求提供高效率的定制開發與服務。

盡心:北方數據把每一個客戶都當成重要的合作伙伴,通過盡心盡職的服務建立起長期的平等互利的伙伴關系,共同成長。

?


上一篇:無下一篇:無