1贾节，分布式存儲(chǔ)概念
分布式存儲(chǔ)系統(tǒng)顧名思義就是將大量的普通服務(wù)器，通過(guò)網(wǎng)絡(luò)互聯(lián)衷畦，對(duì)外作為一個(gè)整體提供存儲(chǔ)服務(wù)栗涂。具有可擴(kuò)展性、可用性祈争、可靠性斤程、 高性能、易維護(hù)菩混、低成本等特性忿墅。
分布式存儲(chǔ)系統(tǒng)，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上沮峡。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)疚脐，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)邢疙，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要棍弄。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷秘症，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性式矫、可用性和存取效率乡摹，還易于擴(kuò)展。
2，分布式文件系統(tǒng)的發(fā)展
現(xiàn)在
· 代表：HBase、Cassadra衩匣、MongoDB烟勋、DynamoDB…
· HBase：列存儲(chǔ)數(shù)據(jù)庫(kù)活鹰，擅長(zhǎng)以列為單位讀取數(shù)據(jù)帘饶，面向列存儲(chǔ)的數(shù)據(jù)庫(kù)具有高擴(kuò)展性棍鳖，即使數(shù)據(jù)大量增加也不會(huì)降低相應(yīng)的處理速度汁针，特別是寫(xiě)入速度干签。
· MongoDB：文檔型數(shù)據(jù)庫(kù)它同鍵值(Key-Value)型的數(shù)據(jù)庫(kù)類似津辩，鍵值型數(shù)據(jù)庫(kù)的升級(jí)版，允許嵌套鍵值容劳，Value值是結(jié)構(gòu)化數(shù)據(jù)喘沿，數(shù)據(jù)庫(kù)可以理解Value的內(nèi)容，提供復(fù)雜的查詢竭贩，類似于RDBMS的查詢條件蚜印。
· DynamoDB：Amazon 公司的一個(gè)分布式存儲(chǔ)引擎，是一個(gè)經(jīng)典的分布式Key-Value 存儲(chǔ)系統(tǒng)留量，具備去中心化窄赋，高可用性，高擴(kuò)展性的特點(diǎn)楼熄，達(dá)到這個(gè)目標(biāo)在很多場(chǎng)景中犧牲了一致性忆绰，Dynamo在Amazon中得到了成功的應(yīng)用，能夠跨數(shù)據(jù)中心部署于上萬(wàn)個(gè)結(jié)點(diǎn)上提供服務(wù)孝赫，它的設(shè)計(jì)思想也被后續(xù)的許多分布式系統(tǒng)借鑒较木。
3，分布式存儲(chǔ)系統(tǒng)的分類
數(shù)據(jù)類型三大類
非結(jié)構(gòu)化數(shù)據(jù)：指其字段長(zhǎng)度不等青柄，并且每個(gè)字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成伐债，沒(méi)有規(guī)律，比如文本致开、圖像峰锁、聲音、影視等等双戳。
半結(jié)構(gòu)化數(shù)據(jù)：介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫(kù)虹蒋、面向?qū)ο髷?shù)據(jù)庫(kù)中的數(shù)據(jù)）和完全無(wú)結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)飒货，HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)魄衅。它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起塘辅，沒(méi)有明顯的區(qū)分晃虫。
結(jié)構(gòu)化數(shù)據(jù)：結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)模式和內(nèi)容是分開(kāi)的扣墩，數(shù)據(jù)的模式需要預(yù)先定義哲银。
分布式存儲(chǔ)類型
分布式文件系統(tǒng)：存儲(chǔ)大量的文件扛吞、圖片、音頻荆责、視頻等非結(jié)構(gòu)化數(shù)據(jù)滥比，這些數(shù)據(jù)以對(duì)象的形式組織，對(duì)象之間沒(méi)有關(guān)系做院，這數(shù)據(jù)都是二進(jìn)制數(shù)據(jù)盲泛，例如GFS、HDFS等山憨。
分布式Key-Value系統(tǒng)：用于存儲(chǔ)關(guān)系簡(jiǎn)單的半結(jié)構(gòu)化數(shù)據(jù)查乒，提供基于Key的增刪改查操作，緩存郁竟、固化存儲(chǔ)玛迄，例如Memached、Redis棚亩、DynamoDB等蓖议。
分布式數(shù)據(jù)庫(kù)系統(tǒng)： 存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，提供SQL關(guān)系查詢語(yǔ)言讥蟆，支持多表關(guān)聯(lián)勒虾，嵌套子查詢等，例如MySQL Sharding集群瘸彤、MongoDB等等修然。
4，分布式存儲(chǔ)系統(tǒng)的特性
高可用性：指分布式存儲(chǔ)系統(tǒng)在面對(duì)各種異常時(shí)可以提供正常服務(wù)的能力质况，系統(tǒng)的可用性可以用系統(tǒng)停服務(wù)的時(shí)間和正常服務(wù)時(shí)間的比例來(lái)衡量愕宋，例如4個(gè)99的可用性（99.99%）要求一年停機(jī)的時(shí)間不能超過(guò)3652460/10000 = 53分鐘。
高可靠性：重點(diǎn)指分布式系統(tǒng)數(shù)據(jù)安全方面的指標(biāo)结榄，數(shù)據(jù)可靠不丟失中贝，主要用多機(jī)冗余、單機(jī)磁盤(pán)RAID等措施臼朗。
高擴(kuò)展性：指分布式存儲(chǔ)系統(tǒng)通過(guò)擴(kuò)展集群服務(wù)器規(guī)模從而提高系統(tǒng)存儲(chǔ)容量邻寿、計(jì)算和性能的能力，業(yè)務(wù)量增大视哑，對(duì)底層分布式存儲(chǔ)系統(tǒng)的性能要求越來(lái)越高绣否，自動(dòng)增加服務(wù)器來(lái)提升服務(wù)能力，分為Scale Up與Scale Out挡毅，前者指通過(guò)增加和升級(jí)服務(wù)器硬件蒜撮，或者指通過(guò)增加服務(wù)器數(shù)量。衡量可擴(kuò)展性的要求集群具有線性的可擴(kuò)展性慷嗜，系統(tǒng)整體性能與服務(wù)器數(shù)量呈線性關(guān)系淀弹。
數(shù)據(jù)一致性：分布式存儲(chǔ)系統(tǒng)多個(gè)副本之間的數(shù)據(jù)一致性，有強(qiáng)一致性庆械，弱一致性薇溃，最終一致性，因果一致性缭乘，順序一致性沐序。
高安全性：指分布式存儲(chǔ)系統(tǒng)不受惡意訪問(wèn)和攻擊，保護(hù)存儲(chǔ)數(shù)據(jù)不被竊取堕绩，互聯(lián)網(wǎng)是開(kāi)放的策幼，任何人在任何時(shí)間任何地點(diǎn)通過(guò)任何方式都可以訪問(wèn)網(wǎng)站，針對(duì)現(xiàn)存的和潛在的各種攻擊與竊取手段奴紧，要有相應(yīng)的應(yīng)對(duì)方案特姐。
高性能：衡量分布式存儲(chǔ)系統(tǒng)性能常見(jiàn)的指標(biāo)是系統(tǒng)的吞吐量和系統(tǒng)的響應(yīng)延遲，系統(tǒng)的吞吐量是在一段時(shí)間內(nèi)可以處理的請(qǐng)求總數(shù)黍氮，可以用QPS（Query Per Second）和TPS（Transaction Per second）衡量唐含。系統(tǒng)的響應(yīng)延遲是指某個(gè)請(qǐng)求發(fā)出到接收到返回結(jié)果所消耗的時(shí)間，通常用平均延遲來(lái)衡量沫浆。這兩個(gè)指標(biāo)往往是矛盾的捷枯，追求高吞吐量，比較難做到低延遲专执，追求低延遲淮捆，吞吐量會(huì)受影響。
高穩(wěn)定性：這是一個(gè)綜合指標(biāo)本股，考核分布式 存儲(chǔ)系統(tǒng)的整體健壯性攀痊，任何異常，系統(tǒng)都能坦然面對(duì)痊末，系統(tǒng)穩(wěn)定性越高越好蚕苇。
5，具體技術(shù)及應(yīng)用
分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成：客戶端凿叠、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器涩笤。客戶端負(fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求盒件，緩存文件元數(shù)據(jù)和文件數(shù)據(jù)蹬碧。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求，是整個(gè)系統(tǒng)的核心組件炒刁。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù)恩沽，保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展翔始，系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性罗心。
海量的數(shù)據(jù)按照結(jié)構(gòu)化程度來(lái)分里伯，可以大致分為結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)渤闷，半結(jié)構(gòu)化數(shù)據(jù)疾瓮。 下面分別介紹這三種數(shù)據(jù)如何分布式存儲(chǔ)。
結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及應(yīng)用
所謂結(jié)構(gòu)化數(shù)據(jù)是一種用戶定義的數(shù)據(jù)類型飒箭，它包含了一系列的屬性狼电，每一個(gè)屬性都有一個(gè)數(shù)據(jù)類型，存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)表達(dá)實(shí)現(xiàn)的數(shù)據(jù)弦蹂。
大多數(shù)系統(tǒng)都有大量的結(jié)構(gòu)化數(shù)據(jù)肩碟，一般存儲(chǔ)在Oracle或MySQL的等的關(guān)系型數(shù)據(jù)庫(kù)中，當(dāng)系統(tǒng)規(guī)模大到單一節(jié)點(diǎn)的數(shù)據(jù)庫(kù)無(wú)法支撐時(shí)凸椿，一般有兩種方法：垂直擴(kuò)展與水平擴(kuò)展削祈。
· 垂直擴(kuò)展：垂直擴(kuò)展比較好理解，簡(jiǎn)單來(lái)說(shuō)就是按照功能切分?jǐn)?shù)據(jù)庫(kù)脑漫，將不同功能的數(shù)據(jù)岩瘦，存儲(chǔ)在不同的數(shù)據(jù)庫(kù)中，這樣一個(gè)大數(shù)據(jù)庫(kù)就被切分成多個(gè)小數(shù)據(jù)庫(kù)窿撬，從而達(dá)到了數(shù)據(jù)庫(kù)的擴(kuò)展启昧。一個(gè)架構(gòu)設(shè)計(jì)良好的應(yīng)用系統(tǒng)，其總體功能一般肯定是由很多個(gè)松耦合的功能模塊所組成的劈伴，而每一個(gè)功能模塊所需要的數(shù)據(jù)對(duì)應(yīng)到數(shù)據(jù)庫(kù)中就是一張或多張表密末。各個(gè)功能模塊之間交互越少，越統(tǒng)一跛璧，系統(tǒng)的耦合度越低严里，這樣的系統(tǒng)就越容易實(shí)現(xiàn)垂直切分。
· 水平擴(kuò)展：簡(jiǎn)單來(lái)說(shuō)追城，可以將數(shù)據(jù)的水平切分理解為按照數(shù)據(jù)行來(lái)切分刹碾，就是將表中的某些行切分到一個(gè)數(shù)據(jù)庫(kù)中，而另外的某些行又切分到其他的數(shù)據(jù)庫(kù)中座柱。為了能夠比較容易地判斷各行數(shù)據(jù)切分到了哪個(gè)數(shù)據(jù)庫(kù)中迷帜，切分總是需要按照某種特定的規(guī)則來(lái)進(jìn)行的，如按照某個(gè)數(shù)字字段的范圍色洞，某個(gè)時(shí)間類型字段的范圍戏锹，或者某個(gè)字段的hash值。
垂直擴(kuò)展與水平擴(kuò)展各有優(yōu)缺點(diǎn)火诸，一般一個(gè)大型系統(tǒng)會(huì)將水平與垂直擴(kuò)展結(jié)合使用锦针。
非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及應(yīng)用
相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言,不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片奈搜、XML悉盆、HTML、各類報(bào)表馋吗、圖像和音頻/視頻信息等等舀瓢。
分布式文件系統(tǒng)是實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的主要技術(shù)，說(shuō)到分布式文件系統(tǒng)就不得不提GFS（全稱為"Google File System"）耗美，GFS的系統(tǒng)架構(gòu)圖如下圖所示。
GFS將整個(gè)系統(tǒng)分為三類角色：Client（客戶端）航缀、Master（主服務(wù)器）商架、Chunk Server（數(shù)據(jù)塊服務(wù)器）。
· Client（客戶端）：是GFS提供給應(yīng)用程序的訪問(wèn)接口芥玉，它是一組專用接口蛇摸，不遵守POSIX規(guī)范，以庫(kù)文件的形式提供灿巧。應(yīng)用程序直接調(diào)用這些庫(kù)函數(shù)赶袄，并與該庫(kù)鏈接在一起。
· Master（主服務(wù)器）：是GFS的管理節(jié)點(diǎn)抠藕，主要存儲(chǔ)與數(shù)據(jù)文件相關(guān)的元數(shù)據(jù)饿肺，而不是Chunk（數(shù)據(jù)塊）。元數(shù)據(jù)包括：命名空間（Name Space）盾似，也就是整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)敬辣，一個(gè)能將64位標(biāo)簽映射到數(shù)據(jù)塊的位置及其組成文件的表格，Chunk副本位置信息和哪個(gè)進(jìn)程正在讀寫(xiě)特定的數(shù)據(jù)塊等零院。還有Master節(jié)點(diǎn)會(huì)周期性地接收從每個(gè)Chunk節(jié)點(diǎn)來(lái)的更新（"Heart- beat"）來(lái)讓元數(shù)據(jù)保持最新?tīng)顟B(tài)溉跃。
· Chunk Server（數(shù)據(jù)塊服務(wù)器）：負(fù)責(zé)具體的存儲(chǔ)工作，用來(lái)存儲(chǔ)Chunk告抄。GFS將文件按照固定大小進(jìn)行分塊撰茎，默認(rèn)是64MB，每一塊稱為一個(gè)Chunk（數(shù)據(jù)塊）打洼，每一個(gè)Chunk以Block為單位進(jìn)行劃分龄糊，大小為64KB，每個(gè)Chunk有一個(gè)唯一的64位標(biāo)簽募疮。GFS采用副本的方式實(shí)現(xiàn)容錯(cuò)绎签，每一個(gè)Chunk有多個(gè)存儲(chǔ)副本（默認(rèn)為三個(gè)）。 Chunk Server的個(gè)數(shù)可有有多個(gè)酝锅，它的數(shù)目直接決定了GFS的規(guī)模诡必。
GFS之所以重要的原因在于，在Google公布了GFS論文之后，許多開(kāi)源組織基于GFS的論文開(kāi)發(fā)了各自的分布式文件系統(tǒng)爸舒，其中比較知名的有HDFS蟋字，MooseFS，MogileFS等扭勉。
半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及應(yīng)用
就是介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫(kù)鹊奖、面向?qū)ο髷?shù)據(jù)庫(kù)中的數(shù)據(jù)）和完全無(wú)結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)涂炎， 半結(jié)構(gòu)化數(shù)據(jù)模型具有一定的結(jié)構(gòu)性忠聚，但較之傳統(tǒng)的關(guān)系和面向?qū)ο蟮哪Ｐ透鼮殪`活。半結(jié)構(gòu)數(shù)據(jù)模型完全不基于傳統(tǒng)數(shù)據(jù)庫(kù)模式的嚴(yán)格概念唱捣，這些模型中的數(shù)據(jù)都是自描述的两蟀。
由于半結(jié)構(gòu)化數(shù)據(jù)沒(méi)有嚴(yán)格的schema定義，所以不適合用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)震缭，適合存儲(chǔ)這類數(shù)據(jù)的數(shù)據(jù)庫(kù)被稱作“NoSQL”數(shù)據(jù)庫(kù)赂毯。
補(bǔ)充
元數(shù)據(jù)（Metadata），又稱中介數(shù)據(jù)拣宰、中繼數(shù)據(jù)党涕，為描述數(shù)據(jù)的數(shù)據(jù)（data about data），主要是描述數(shù)據(jù)屬性（property）的信息巡社，用來(lái)支持如指示存儲(chǔ)位置膛堤、歷史數(shù)據(jù)、資源查找晌该、文件記錄等功能骑祟。元數(shù)據(jù)算是一種電子式目錄，為了達(dá)到編制目錄的目的气笙，必須在描述并收藏?cái)?shù)據(jù)的內(nèi)容或特色次企，進(jìn)而達(dá)成協(xié)助數(shù)據(jù)檢索的目的。潜圃，元數(shù)據(jù)的存取性能是整個(gè)分布式文件系統(tǒng)性能的關(guān)鍵缸棵。
