一含友、高性能大數(shù)據(jù)分析存儲框架
? 傳統(tǒng)HPC存儲系統(tǒng)存在的不足：
1曲初、現(xiàn)今的存儲系統(tǒng)大多由不同供應(yīng)商們提供的不同技術(shù)部件組合而成，缺乏端到端的設(shè)計(jì)雌隅、傳輸數(shù)據(jù)的高性能計(jì)算問題翻默，增加了如測試和質(zhì)量管理過程的的復(fù)雜度。同時澄步，不同供應(yīng)商的高性能存儲系統(tǒng)占空間冰蘑，高耗能，多個高性能應(yīng)用運(yùn)行時產(chǎn)生I/O瓶頸村缸，還引起用戶對該存儲系統(tǒng)的擔(dān)心祠肥，諸如生存周期問題。
2、自動配置和處理的不足仇箱。由于設(shè)計(jì)到多個供應(yīng)商的不同部件安裝組合县恕，高性能系統(tǒng)的安裝配置過程就顯得耗時、麻煩剂桥，造成系統(tǒng)更難適應(yīng)動態(tài)變化的需求忠烛，對于每一個高性能應(yīng)用程序都需要再一次重復(fù)配置和處理程序安裝，不僅影響用戶的高效性交互权逗，而且降低了整個系統(tǒng)的可靠性和高效性美尸。
3、缺少核心軟件管理斟薇。由于傳統(tǒng)高性能存儲系統(tǒng)缺乏軟件管理的設(shè)計(jì)開發(fā)师坎，如缺少復(fù)雜的診斷工具（日志分析、故障處理）堪滨，用戶在獲取性能胯陋、記錄系統(tǒng)參數(shù)的時候很困難。
? 隨著數(shù)據(jù)規(guī)模的擴(kuò)大袱箱，解決上述問題就變得更加困難遏乔，特別是配置管理，維護(hù)发笔，整合盟萨，所以目前急需一種特定的滿足高性能計(jì)算應(yīng)用的存儲框架。
1了讨、從DAS（Direct-Attached Storage）說起
? 故名思議鸯旁，不解釋。量蕊。铺罢。
? 主要介紹在DAS架構(gòu)中存儲設(shè)備支持的幾個流行I/O接口：
1）、SCSI （Small Computer System Interface）
? SCSI 接口用來直接連接磁盤驅(qū)動和磁帶驅(qū)動到服務(wù)或客戶端設(shè)備的残炮，也可以用來連接打印機(jī)韭赘、掃描儀等外部設(shè)備，最新版本的SCSI Ultra320數(shù)據(jù)傳輸速度320MB/S势就，序列傳輸SAS（Serial Attached SCSI）數(shù)據(jù)傳輸達(dá)到6GB/S泉瞻，相比其他在性能和擴(kuò)展性方面表現(xiàn)突出。
2）苞冯、Integrated Device Electronics/Advanced Technology Attachment (IDE/ATA)====》并行接口Ｐ溲馈！舅锄！
??? IDE/ATA 指的是一種特殊的連接在主板上的控制器鞭达，用于與附加設(shè)備通信傳輸。ATA部件指的是連接存儲設(shè)備到主板上的接口，如CD-ROMs畴蹭，硬盤驅(qū)動坦仍，磁帶驅(qū)動。最新版本Ultra DMA(UDAM)數(shù)據(jù)傳輸高達(dá)133Mb/s叨襟。
? 另外一號SATA 繁扎，是串行接口，數(shù)據(jù)傳輸達(dá)到6Gb/s糊闽。
3）梳玫、 disk drive與tap drive
??? disk drive相比于 tap drive來說更適合作存儲媒介，原因是tap drive有幾個不足之處：（1）數(shù)據(jù)在tap上是順序存儲的右犹，按照順序查詢操作汽纠；（2）不能多用戶同時訪問存儲于tap上的數(shù)據(jù)；（3）讀寫頭在tap的表面傀履，數(shù)據(jù)很快就被擦除；（3）空間占用較disk大莉炉。而disk硬盤隨機(jī)查詢钓账，可以多個應(yīng)用程序同時訪問存儲于disk上的數(shù)據(jù)。
2絮宁、SAN （Storage area Network存儲局域網(wǎng)架構(gòu)）: 分為兩種：FC SAN（光線通道協(xié)議SAN）梆暮、TCP/IP SAN
? ? 采用SCSI塊I/O的命令集，通過FC訪問數(shù)據(jù)绍昂，具有高帶寬啦粹、低延遲的優(yōu)勢，在高性能計(jì)算中占有一席之地窘游，如SGI的CXFS文件系統(tǒng)就是基于SAN實(shí)現(xiàn)高性能文件存儲的唠椭，但是由于SAN系統(tǒng)的價格較高，且可擴(kuò)展性較差忍饰，已不能滿足成千上萬個CPU規(guī)模的系統(tǒng)贪嫂。
3、NAS 它采用NFS或CIFS命令集訪問數(shù)據(jù)艾蓝，以文件為傳輸協(xié)議力崇，通過TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲，可擴(kuò)展性好赢织、價格便宜亮靴、用戶易管理，如目前在集群計(jì)算中應(yīng)用較多的NFS文件系統(tǒng)于置，但由于NAS的協(xié)議開銷高茧吊、帶寬低、延遲大，不利于在高性能集群中應(yīng)用饱狂。
4曹步、對象存儲結(jié)構(gòu) Object-based Storage Device，OSD
??? 數(shù)據(jù)訪問有三種類型：
? 1）休讳、塊級訪問：數(shù)據(jù)在固定大小的區(qū)塊上進(jìn)行存取讲婚。
? ? ? ? FC SAN采用塊級訪問機(jī)制從存儲設(shè)備中獲取數(shù)據(jù)。主要由客戶端俊柔、支持FC協(xié)議的存儲設(shè)備或存儲陣列筹麸、光纖材料、交換機(jī)或路由雏婶、主機(jī)適配器組成物赶，數(shù)據(jù)傳輸速率達(dá)16Gb/s,高度可擴(kuò)展，但是成本高昂（不適合大數(shù)據(jù)應(yīng)用的存儲）留晚。
???? 建立交換矩陣SAN可以使用一個或多個光纖通道交換機(jī)酵紫，然而只有當(dāng)所有存儲設(shè)備的網(wǎng)卡象操作系統(tǒng)和應(yīng)用一樣能夠連接到這一交換矩陣上，才有可能訪問由這一交換矩陣所提供的服務(wù)错维。這是因?yàn)槭紫染W(wǎng)卡要通過登錄到這一交換矩陣來成為網(wǎng)絡(luò)的一個成員奖地，這一過程稱作FabricLogin。因而顯而易見赋焕，在組建SAN時選用支持Fabric Login的網(wǎng)卡是非常重要的参歹。
??? 相比之下，IP SAN（Internet Protocol Storage Area Network）成本較低隆判，也是采用塊級訪問機(jī)制犬庇，其中iSCSI(SCSI over IP)是使用SCSI命令集的基于TCP/IP網(wǎng)絡(luò)協(xié)議的存儲網(wǎng)，不僅成本低侨嘀，采用1/10 Gb以太網(wǎng)傳輸臭挽，減少了網(wǎng)絡(luò)復(fù)雜度，而且?guī)讉€支持iSCSI的存儲陣列能提供百萬級的iSCSI IOPS來處理大數(shù)據(jù)應(yīng)用的高性能問題咬腕，但是對于選擇iSCSI作為存儲大數(shù)據(jù)的網(wǎng)絡(luò)架構(gòu)不足的是不能支持文件級存儲埋哟。
??? 2）、文件訪問：文件服務(wù)器利用IP網(wǎng)訪問其提供的共享存儲郎汪，通過文件名和路徑訪問文件赤赊。例如，NAS（network-attached storage）.
? ?? 3）煞赢、對象級訪問：數(shù)據(jù)訪問在大小可變的稱作對象的塊區(qū)上抛计。
? ? ? 每一個對象是一個包括數(shù)據(jù)和與之相關(guān)屬性的容器，由唯一地object ID（由128bit隨機(jī)數(shù)產(chǎn)生）進(jìn)行標(biāo)志照筑，基于對象的存儲機(jī)制適用于存取非結(jié)構(gòu)化的數(shù)據(jù)吹截，它主要特征是可以為每個對象提供豐富的元數(shù)據(jù)瘦陈，從而利用這些元數(shù)據(jù)高效地對數(shù)據(jù)（特別是非結(jié)構(gòu)化數(shù)據(jù)）操作和管理。具體的說波俄，利用對象實(shí)體內(nèi)的命令來對數(shù)據(jù)進(jìn)行如創(chuàng)建晨逝、刪除等操作，唯一的object ID標(biāo)志方法管理每個對象懦铺，關(guān)于對象的其他信息捉貌，如位置，大小等被管理存儲于元數(shù)據(jù)中冬念。另外趁窃，存儲于對象存儲設(shè)備中的數(shù)據(jù)通過Representation State Transfer(REST)和Simple Object Access Protocol(SOAP)進(jìn)行訪問；某些類型的對象存儲設(shè)備還提供對HTTP急前，XML等協(xié)議的支持醒陆。
??? 基于對象存儲的 機(jī)制一般不會對并發(fā)讀/寫、文件鎖裆针、權(quán)限等有額外的負(fù)擔(dān)刨摩，它在大規(guī)模拓展和性能上有極大提升；并且世吨，每一個對象賦予豐富的元數(shù)據(jù)對性能分析非常有效澡刹，因此，對象存儲設(shè)備對于高性能大數(shù)據(jù)應(yīng)用產(chǎn)生的數(shù)據(jù)進(jìn)行存儲是個理想的選擇另假。
3、大數(shù)據(jù)存儲架構(gòu)總結(jié)
??
?1）靈活性：有能力存儲不同類型怕犁、不同格式的數(shù)據(jù)边篮；
?2） 支持異構(gòu)環(huán)境：在不需要修改任何配置，應(yīng)用服務(wù)器能夠通過LAN或SAN訪問大量多種文件資源奏甫。
?3） 支持存儲虛擬化：能夠匯集不同類型存儲設(shè)備的數(shù)據(jù)戈轿，并對存儲資源在一個單元下進(jìn)行高效的管理。
?4） 高性能：針對許多大數(shù)據(jù)應(yīng)用需要實(shí)時數(shù)據(jù)響應(yīng)的需求阵子，就要求存儲架構(gòu)的設(shè)計(jì)具有高速進(jìn)行數(shù)據(jù)處理的能力思杯。
?5） 擴(kuò)展：及時依據(jù)大數(shù)據(jù)需求快速擴(kuò)展。
? 1）FC SAN,屬于最推崇的存儲局域網(wǎng)之一挠进，塊級存儲色乾，成本高昂，不推薦作為大數(shù)據(jù)存儲網(wǎng)絡(luò)架構(gòu)领突。
?? 2）IP SAN暖璧，基于此之上的iSCSI,成本較低，塊級存儲君旦，但是不支持大數(shù)據(jù)文件級訪問澎办，不推薦
? 3）Fiber Channel Over Ethernet (FCoE)嘲碱，以太網(wǎng)的光纖傳輸通道技術(shù)，一種通訊技術(shù)局蚀，成本高昂麦锯，不推薦
? 4）Network -Attached Storage (NAS)，文件級存儲
?在此基礎(chǔ)上作改進(jìn)的scale-out NAS被很多組織采納作為大數(shù)據(jù)存儲琅绅，優(yōu)點(diǎn)：高擴(kuò)展扶欣，它可以根據(jù)需求增加額外的存儲設(shè)備；靈活性高奉件，可以用于UNIX和Windows平臺上宵蛀，可被客戶端或服務(wù)器端訪問；10Gb以太網(wǎng)數(shù)據(jù)傳輸县貌，性能提升术陶。
?? 市場上Scale-out NAS存儲供應(yīng)商有EMC Isilon,IBM Scale-Out Network -Attached Storage (SONAS), and NetApp NAS
4、用于大數(shù)據(jù)分析的流行文件系統(tǒng)
?? 常見的GFS煤痕、HDFS梧宫、Panasas，下面主要了解集群高性能并行文件系統(tǒng)(Luster File System)摆碉。
1）集群高性能并行文件系統(tǒng)——基于linux系統(tǒng)塘匣，采用內(nèi)核模塊傳輸實(shí)現(xiàn)高性能
?? 它能夠靈活的支持不同類型的客戶端，運(yùn)行于任何硬件之上
1. HDFS使用集中式單一節(jié)點(diǎn)架構(gòu)(NameNode)來維護(hù)文件系統(tǒng)元數(shù)據(jù)巷帝，而在Swift中忌卤，元數(shù)據(jù)分布在整個集群中并擁有多個副本。注意：集中式元數(shù)據(jù)存儲使HDFS存在性能楞泼、單點(diǎn)故障和擴(kuò)展性問題驰徊，因此規(guī)模越大就性能越低，就越容易不可用堕阔，就越難擴(kuò)展甚至不能擴(kuò)展棍厂，所幸的是HDFS2使用NameNode HA和HDFS Federation解決了這三個問題。2. Swift在設(shè)計(jì)時考慮到了多租戶架構(gòu)超陆，而HDFS沒有多租戶架構(gòu)這個概念牺弹。3. HDFS針對大文件作了優(yōu)化(HDFS關(guān)注吞吐量，常用于批量數(shù)據(jù)處理)时呀，而Swift被設(shè)計(jì)成可以存儲任意大小的文件张漂。4. 在HDFS中，文件只能寫入一次（部分版本可以使用Append操作在文件的末尾添加數(shù)據(jù)谨娜，但不支持在文件的任意位置進(jìn)行修改）鹃锈，而在Swift中，文件可以寫入多次瞧预。5. HDFS用Java來編寫屎债，而Swift用Python來編寫仅政。
