企業(yè)數(shù)據(jù)中70%的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)時代娇妓,企業(yè)非結(jié)構(gòu)化數(shù)據(jù)的幾何式增長像鸡,給企業(yè)帶來了巨大的機(jī)遇和財富。許多中大型企業(yè)都希望建設(shè)自己的私有云存儲系統(tǒng),做好海量數(shù)據(jù)的積累與傳承只估。
但是志群,企業(yè)該如何滿足不斷變化的存儲需求,保持系統(tǒng)的穩(wěn)定性蛔钙?如何有效地規(guī)避系統(tǒng)運(yùn)行中因各種軟硬件問題而導(dǎo)致的數(shù)據(jù)丟失锌云、損壞等風(fēng)險?當(dāng)數(shù)據(jù)增長到一定量級時吁脱,又如何對數(shù)據(jù)進(jìn)行高效利用桑涎?圍繞企業(yè)數(shù)據(jù)管理,又存在著一系列的難題與挑戰(zhàn)兼贡。
但毋庸置疑的是攻冷,數(shù)據(jù)已經(jīng)成為企業(yè)最重要、最具有發(fā)展價值的數(shù)字資產(chǎn)遍希。統(tǒng)一管理與充分利用好企業(yè)數(shù)據(jù)等曼,不僅能夠提高企業(yè)日常辦公效率,更為企業(yè)的長遠(yuǎn)發(fā)展提供了堅實(shí)的基礎(chǔ)支持凿蒜。
為了推動中國企業(yè)的信息化進(jìn)程禁谦,實(shí)現(xiàn)企業(yè)向“互聯(lián)網(wǎng)+”的產(chǎn)業(yè)升級轉(zhuǎn)變,開始云自主研發(fā)了“KFS私有云存儲系統(tǒng)”废封,幫助企業(yè)能夠快速搭建私有云平臺州泊,解決海量非結(jié)構(gòu)化數(shù)據(jù)的樹狀存儲及高IO吞吐等問題。
安全漂洋、高效的數(shù)據(jù)存儲平臺
數(shù)據(jù)存儲
KFS私有云存儲系統(tǒng)完全基于JAVA開始拥诡,支持Linus/Windows部署。整個系統(tǒng)設(shè)計為無單點(diǎn)故障氮发,不論是元數(shù)據(jù)還是數(shù)據(jù)塊均支持多副本存儲渴肉,避免因各種軟硬件故障而導(dǎo)致的數(shù)據(jù)丟失。
在文件存儲數(shù)量方面爽冕,KFS私有云存儲系統(tǒng)采用標(biāo)準(zhǔn)樹狀目錄結(jié)構(gòu)仇祭,支持海量小文件,支持存儲去重颈畸、大文件切割和冷熱數(shù)據(jù)分離乌奇。海量樹狀結(jié)構(gòu)被智能分裂為眾多獨(dú)立分區(qū)分散管理,每個分區(qū)掌管一部分樹狀結(jié)構(gòu)中的元數(shù)據(jù)眯娱,每個分區(qū)可由3臺名稱服務(wù)器共同掌管礁苗。
KFS私有云存儲系統(tǒng)支持無限文件夾層級和無限文件及文件夾數(shù)量。每臺名稱服務(wù)器可參與掌管多個分區(qū)徙缴,可通過動態(tài)增加名稱服務(wù)器來彈性擴(kuò)展整個集群的元數(shù)據(jù)容量试伙。KFS私有云存儲系統(tǒng)集群可管理萬臺以上名稱服務(wù)器,以每臺名稱服務(wù)器配備32G內(nèi)存為例,每臺名稱服務(wù)器可管理約1000萬個文件元數(shù)據(jù)疏叨,考慮元數(shù)據(jù)三份副本機(jī)制潘靖,整個集群可管理文件個數(shù)可達(dá)數(shù)百億級別。
而在數(shù)據(jù)存儲容量方面蚤蔓,物理文件按策略均勻分散在眾多數(shù)據(jù)服務(wù)器中卦溢,企業(yè)可通過動態(tài)增加數(shù)據(jù)服務(wù)器來彈性擴(kuò)展整個集群的物理存儲容量。KFS私有云存儲系統(tǒng)集群可管理百萬臺以上數(shù)據(jù)服務(wù)器秀又,整個集群可存儲數(shù)據(jù)容量可達(dá)EB級(1EB=1024PB)单寂。
數(shù)據(jù)傳輸
KFS私有云存儲系統(tǒng)采用HTTP通信協(xié)議,支持廣域網(wǎng)部署吐辙,信息流與數(shù)據(jù)流分離凄贩。KFS私有云存儲系統(tǒng)將數(shù)據(jù)塊均勻分散至各數(shù)據(jù)服務(wù)器,可通過增加數(shù)據(jù)服務(wù)器數(shù)量來彈性擴(kuò)展傳輸帶寬袱讹。并且,KFS私有云存儲系統(tǒng)支持?jǐn)?shù)據(jù)文件冷熱分離存儲昵时,通過部分熱數(shù)據(jù)服務(wù)器捷雕,實(shí)現(xiàn)高帶寬要求的文件傳輸服務(wù)。同時壹甥,由于元數(shù)據(jù)被分散至多臺名稱服務(wù)器管理救巷,且單臺名稱服務(wù)器可并發(fā)訪問能力為5000以上,因此整個KFS私有云存儲系統(tǒng)集群的信息流并發(fā)訪問能力可輕松超過一萬句柠。此外浦译,KFS私有云存儲系統(tǒng)支持批量讀取元數(shù)據(jù),可有效降低客戶端和服務(wù)器端交互次數(shù)溯职。
數(shù)據(jù)分析
KFS私有云存儲系統(tǒng)兼容Hadoop精盅,可使用KFS作為Hadoop MapReduce及Spark大數(shù)據(jù)分析的數(shù)據(jù)源,支持基于KFS私有云存儲系統(tǒng)進(jìn)行大數(shù)據(jù)分析谜酒。
幫助管好數(shù)據(jù)叹俏,實(shí)現(xiàn)企業(yè)數(shù)據(jù)價值安全可靠
KFS私有云存儲系統(tǒng)可作為企業(yè)IT應(yīng)用系統(tǒng)的底層文件庫系統(tǒng),支持多副本容災(zāi)備份僻族,無單點(diǎn)故障粘驰,防止數(shù)據(jù)丟失與用錯。
功能強(qiáng)大
KFS私有云存儲系統(tǒng)支持跨廣域網(wǎng)部署述么,為企業(yè)提供非結(jié)構(gòu)化數(shù)據(jù)的一站式存儲蝌数、加速、備份和大數(shù)據(jù)分析服務(wù)度秘,輕松實(shí)現(xiàn)數(shù)據(jù)管理與增值顶伞。
高性價比
KFS私有云存儲系統(tǒng)支持彈性擴(kuò)展,為企業(yè)省卻高額研發(fā)成本,帶寬可編程控制枝哄,實(shí)現(xiàn)企業(yè)流量帶寬成本和文件存儲成本的自動調(diào)配肄梨,在確保存儲容量和帶寬的同時將成本降至最低。
彈性擴(kuò)展
KFS私有云存儲系統(tǒng)支持彈性擴(kuò)容和接口開放挠锥,二次開發(fā)更靈活众羡。
數(shù)據(jù)驅(qū)動企業(yè)更好發(fā)展
KFS私有云存儲系統(tǒng)是開始云完全自主獨(dú)立研發(fā)的真正具有EB級海量文件集群能力的企業(yè)級分布式文件存儲系統(tǒng),支持存儲文件個數(shù)超過千億蓖租,支持接入存儲服務(wù)器數(shù)量超過萬臺粱侣。KFS私有云存儲系統(tǒng)能夠?yàn)槠髽I(yè)實(shí)現(xiàn)“互聯(lián)網(wǎng)+”提供技術(shù)支持,快速整合企業(yè)數(shù)據(jù)蓖宦,幫助企業(yè)不斷探索數(shù)據(jù)價值齐婴,推動企業(yè)不斷向前。
亞馬遜前任首席科學(xué)家Andreas Weigend曾經(jīng)說過:“數(shù)據(jù)是新的石油稠茂∧迹”在未來10年甚至20年,數(shù)據(jù)都會是企業(yè)最重要的數(shù)字財富睬关,即使到現(xiàn)在诱担,我們都還處于大數(shù)據(jù)發(fā)展的初級階段。但是电爹,從現(xiàn)在開始蔫仙,從數(shù)據(jù)的獲取、儲存到搜索丐箩、共享摇邦、分析,每一個過程都應(yīng)該被企業(yè)所重視屎勘。一個好的企業(yè)應(yīng)該未雨綢繆施籍,借助技術(shù)和數(shù)據(jù)的力量,創(chuàng)造新的價值概漱。