在2018年云棲大會·南京峰會的飛天技術匯專場中蒂培，阿里云產品專家王登宇帶來了題為《企業(yè)數據創(chuàng)新之旅——高性能NAS助力業(yè)務上云》的精彩技術分享。在分享中榜苫，他首先介紹了企業(yè)上云面臨的困難和阿里云存儲之路护戳；隨后對NAS文件存儲產品家族的技術架構和適用場景進行了分析；分享最后垂睬，他結合基因媳荒、視頻抗悍、AI等具體客戶對NAS助力業(yè)務上云進行了詳細講解。
數十款阿里云產品限時折扣中钳枕，趕快點擊這里缴渊，領券開始云上實踐吧！
以下內容根據現場分享整理鱼炒。
時至今日疟暖，企業(yè)上云已不再是一個全新的話題。上圖是IDC在2016年對全球企業(yè)級存儲市場增長趨勢的預測：從2015年至2020年五年時間田柔，本地IDC ON-PREM俐巴，大約增長了3倍；而云上OFF-PREM?大概增加了4-5倍硬爆。當更多企業(yè)選擇云存儲的同時欣舵，也給企業(yè)IT部門帶來了更多的問題和挑戰(zhàn)。對于傳統(tǒng)企業(yè)業(yè)務缀磕，如數據庫缘圈、CRP等業(yè)務，一般是使用存儲設備進行存儲袜蚕，當存儲空間達到極限時糟把，經常面臨存儲無法擴容、設備過保牲剃、升級換代遣疯、數據遷移、機房擴建等問題凿傅；對于互聯網業(yè)務缠犀，它不同于傳統(tǒng)業(yè)務，更多關注的是業(yè)務快速上線聪舒、避免IT投資風險辨液、業(yè)務快速轉型，從而需要橫向擴展能力以及按需使用資源箱残。
面對這些問題時滔迈，IT部門的負責人需要考慮如何以最優(yōu)的方式解決這些問題。阿里云存儲正是在解決此類問題的過程中成長起來的被辑。
阿里云存儲之路從最初接觸云儲存至今燎悍，阿里云存儲之路已經整整走了十年。2008年敷待，組建云存儲團隊间涵，探索阿里集團大規(guī)模存儲解決之道仁热；僅隔一年榜揖，在2009年勾哩，云存儲團隊便推出了分布式存儲引擎1.0，為虛擬機举哟、阿里金融思劳、郵箱、搜索提供通用存儲服務妨猩；2013年潜叛，實現存儲單集群5K計算節(jié)點，打破Sort Benchmark世界記錄壶硅，在377秒內完成100TB排序威兜；在2015年，單集群更是突破10K計算節(jié)點庐椒，基本完善阿里云存儲產品體系椒舵，并在2016年，以$1.44/TB的成績獲得Indy專用目的排序和Daytona通用目的排序兩個子項的世界冠軍约谈，打破了AWS年保持的紀錄4.51$/TB笔宿，云計算效率世界第一；在2018年棱诱。阿里云存儲團隊推出了分布式存儲引擎2.0泼橘，面向人工智能、科學計算迈勋、深度學習等未來存儲場景實現存儲引擎升級炬灭，構建全新一代存儲引擎。
飛天統(tǒng)一存儲對熟悉阿里云的同學而言靡菇，飛天一定不會陌生担败。上圖給出了飛天統(tǒng)一存儲架構圖，作為阿里云自主研發(fā)镰官、服務全球的超大規(guī)模通用計算操作系統(tǒng)提前，最底層是全球部署的19個地區(qū)，幾十個數據中心泳唠；其上是基于海量的X86 Linux高性能通用服務器集群狈网；通過分布式協同（女媧）、資源管理（伏羲）笨腥、安全管理拓哺、遠程過程調用（夸父）構建中間盤古分布式存儲；在盤古之上脖母，是對外提供的不同類型的存儲產品士鸥，包括塊存儲、文件存儲谆级、對象存儲烤礁、表格存儲等讼积；在存儲產品之上，是阿里云對外提供的MaxCompute脚仔、日志服務勤众、GPU、ECS等各類云計算產品鲤脏。
盤古分布式存儲上圖給出了分布式存儲服務盤古的架構圖们颜，主要由盤古核心基礎層、盤古產品適應層和產品層構成猎醇；其中盤古核心基礎層又分為軟硬件一體化層窥突、單機存儲引擎和盤古核心功能模塊。最底層的軟硬件一體化層硫嘶，主要采用了定制化的新硬件和新介質波岛；在其上融击，將硬件抽象成單機存儲引擎屑咳；在單機存儲引擎之上嫉髓，形成了盤古核心功能模塊遂黍，包括多副本協議馆里、元數據管理造成、磁盤管理址否、數據放置策略贬派、數據校驗彻桃、糾刪碼坛善。盤古產品適配層提供了塊存儲適配和分布式文件系統(tǒng)適配，實現一套架構滿足上層不同云存儲產品的IO的需求邻眷；產品層為用戶提供了實際使用的云存儲產品眠屎，如對象/表格存儲、日志/消息存儲等等肆饶。
盤古整體分布式存儲架構使用用戶態(tài)的TCP網絡協議棧改衩，減少用戶態(tài)與內核態(tài)的開銷；同時采用了全面兼容RDMA網絡驯镊，通過軟硬件一體化增強網絡的穩(wěn)定性葫督、降低網絡延遲，逼近網絡物理極限板惑；此外橄镜，采用自適應的網絡，針對不同場景自由切換識別網絡特征冯乘；最后洽胶，在RPC方面也進行了全面優(yōu)化，全面改進Protobuf的性能裆馒，并針對線程模型進行了全面優(yōu)化姊氓。
NAS文件存儲產品作為本次分享的主題——NAS文件存儲丐怯，從2016年初正式上線至今，NAS文件存儲產品家族已經聚合了通用型NAS（又可細分為容量型他膳、性能型）响逢、NAS Plus绒窑、CPFS三大產品棕孙。
通用型NAS通用型NAS底層基于盤古；盤古的上一層稱之為前端些膨，它主要是提供NFS和SNB協議的集群蟀俊；在前端機的上層是負載均衡；再往上一層就是客戶端層订雾，也就是說NAS產品一定是要配合計算節(jié)點進行使用的肢预。
從整體架構來看，Metadata完全是完全是旁路的洼哎，不占用整體IO路徑烫映。當客戶端請求經過負載均衡接入到處于空閑狀態(tài)的前端機，前端機通過查詢Metadata獲取數據所在的存儲位置噩峦，其中對Metadata采用了一些緩存策略锭沟，減少查詢次數；查到數據之后识补，直接從盤古中對數據進行讀取/寫入等操作族淮。從架構中可以看出，NAS并非像傳統(tǒng)文件存儲一樣凭涂，在某些地方存在性能瓶頸祝辣，所有的節(jié)點均采用分布式部署，避免單點故障對系統(tǒng)造成的影響切油。
通過如上架構設計蝙斜，通用性NAS實現了高性能、高可靠澎胡、高可用：
·單文件系統(tǒng)的吞吐量可到20GBps乍炉，IOPS可達到5k；
·性能隨容量線性增長滤馍；
·4個9設計高可用岛琼，11個9設計高可靠。
在協議支持方面巢株，阿里云通用性NAS是實現了NFS V3.0/V4.0和SMB v2.0/v2.1v3.0的多協議支持槐瑞，業(yè)內首創(chuàng)；在安全方面阁苞，采用阿里云共有的安全特性困檩，如VPC祠挫、安全組、ACL悼沿、多租戶等舔、主子賬號等。
通用型NAS——場景由于通用型NAS簡單易用糟趾，企業(yè)無需修改NFS/SMB接口慌植；并且具備彈性擴展，容量無限擴展义郑，性能按需滿足蝶柿；此外，用戶可以按需購買非驮，按使用量計費交汤，無需額外費用；以及降低TCO劫笙，即開即用芙扎，無需Capex投入的特點，使得NAS在企業(yè)有著廣泛的應用場景填大，如文檔共享戒洼、視頻存儲、Web站點栋盹、移動應用施逾、公共文件夾等。
CPFS并行文件系統(tǒng)通用性NAS能夠覆蓋企業(yè)百分之八十的應用場景例获。但是在一些行業(yè)的特殊場景汉额、如AI、深度學習等榨汤，數據量非常巨大蠕搜，通用性NAS是無法承受如此巨大的壓力的。因此收壕，阿里云與Intel合作妓灌，根據AI時代大數據量的需求，研發(fā)了CPFS并行文件系統(tǒng)蜜宪。該系統(tǒng)的架構如上圖所示：底層依賴于盤古分布式存儲虫埂；中間一層是Intel的Luster的協議和架構；最上層是客戶計算節(jié)點圃验，該系統(tǒng)利用了盤古存儲的高可靠和擴展性掉伏，同時又兼具Luster并行文件系統(tǒng)高吞吐協議，能夠實現單個文件系統(tǒng)1TBps吞吐，1億IOPS斧散。
CPFS并行文件系統(tǒng)——場景目前CPFS系統(tǒng)處于公測階段供常，使用者可以在CPFS的官網上申請測試使用。這里鸡捐，強烈推薦無人機栈暇、大數據分析、高泄烤担科研源祈、人工智能、安防大數據鹿寨、個人信用畫像新博、工業(yè)制造薪夕、生命科學等業(yè)務在云上試用下CPFS并行文件系統(tǒng)脚草；此外，CPFS不僅僅在公有云上原献，在大客戶的專有云上也有對應的輸出馏慨。
NAS文件存儲——網絡訪問方式文件存儲和對象存儲有很大的區(qū)別。目前姑隅，NAS文件存儲支持多種網絡鏈接模式写隶，包括VPC、經典網絡和IDC直連讲仰，其中VPC方式是我們最推薦的一種方式慕趴，最為安全。三種方式的具體實現結構如上圖所示鄙陡。
NAS File Sync文件同步NAS File Sync文件同步是云存儲團隊上個月剛推出的服務冕房，該服務使得客戶在云上的數據得以“流動”起來，支持用戶本地數據中心趁矾、阿里云NAS耙册、阿里云云盤之間的自由流動以及跨區(qū)域復制，進而實現數據全生命周期管理毫捣，實現熱详拙、冷數據分層（熱數據采用文件存儲，冷數據采用對象存儲）蔓同。
NAS File Sync文件同步的操作十分簡單：第一步饶辙，創(chuàng)建數據源；第二步斑粱，創(chuàng)建文件同步任務弃揽。僅需在控制臺上簡單的兩步操作就可以實現文件同步。通過對文件同步進行擴展，現在也支持跨區(qū)域的文件同步蹋宦，通過在控制臺設置跨區(qū)域復制披粟，就可以實現不同區(qū)域（如圖示華北、華南）的文件同步冷冗。上圖對目前NAS產品進行了總結守屉，這里不再一一陳述，用戶可以根據自身業(yè)務的特點和產品的適用場景選擇性的使用蒿辙。
NAS文件產品使用案例
下面結合上面提到的幾個產品拇泛，具體講解一下使用場景。
NAS/CPFS并行文件系統(tǒng)——基因測序存儲利器上圖是NAS產品在基因行業(yè)的一個具體案例思灌。目前俺叭，國內Top3的基因公司都在使用阿里云的文件存儲服務√┏ィ基因公司其中具有代表性的業(yè)務場景是數百TB/月測序儀下機數據通過計算和存儲進行后續(xù)的測序任務熄守。針對這類業(yè)務，我們推薦使用CPFS并行文件系統(tǒng)耗跛，在實地測試中裕照，CPFS在17分鐘內加載完1萬個人類全基因組下機數據。通過使用CPFS文件并行系統(tǒng)调塌，整體優(yōu)化效果十分明顯晋南，業(yè)務流程由之前的5個小時縮短到1，5個小時以內羔砾；同時负间，云上資源按需使用，TCO降低70%姜凄。
NAS Plus?極速IO—搭建高性能彈性Web Server在Web Server方面政溃，阿里云的某個客戶的業(yè)務規(guī)模達到日活數百萬。在沒有極速IO之前檀葛，該客戶的前端計算業(yè)務負負載存在較大壓力玩祟。該客戶目標是在六個月內會增加到上千萬日活，原來的架構是遠不能支持這一目標屿聋。通過在阿里云上構建高性能Web Server空扎，采用NAS Plus極速IO文件系統(tǒng)和基于RDMA的網絡以及NVMe SSD，能夠提供穩(wěn)定润讥、500us的超低時延和1M IOPS转锈。通過壓測，滿足每天千萬數量級小文件讀寫能力楚殿；同時通過異步數據復制撮慨，實現跨Region災備能力，實現業(yè)務高可用。
NAS Plus智能緩存——支撐云上視頻非編系統(tǒng)視頻行也對IO要求也是極高的砌溺。NAS Plus智能緩存通過在客戶端安裝agent影涉，實現對用戶IO進行兩個方面優(yōu)化：一是預讀，視頻行業(yè)在做非編業(yè)務時规伐，是將大量數據順序讀到計算節(jié)點中蟹倾，因此可以通過預讀加速；二是本地寫聚合猖闪，所有寫操作在本地進行緩存鲜棠，進行聚合后再一起寫下來。經過測試培慌，NAS Plus可以支撐16臺云圖站每臺20層4K高清編輯豁陆，業(yè)務流程縮短5倍，同時TCO降低60%吵护。
NAS文件系統(tǒng)—云上大規(guī)模渲染NAS文件存儲配合批量計算BCS形成了云上大規(guī)模渲染方案盒音。阿里云在國內外有著大量的渲染客戶，電影渲染對計算的要求是十分之高何址±锬妫客戶在后期渲染時进胯，需要云上數千臺GPU同時運行用爪，而一般的公司本地最多也就是幾百臺的規(guī)模，無法實現大規(guī)模場景渲染胁镐，因此需要將相應的素材數據和鏡頭數據上傳到云端偎血，利用云上的批量計算BCS同時加載幾千個計算節(jié)點，從后端同時讀取相應的素材數據進行渲染盯漂。在上圖所示的架構中颇玷，我們在計算節(jié)點和NAS文件存儲中增加了全局分布式緩存，使得幾千個計算節(jié)點避免同時從NAS系統(tǒng)中讀取數據就缆。NAS文件存儲配合批量計算BCS形成了云上大規(guī)模渲染方案帖渠。
NAS文件系統(tǒng)——助力AI和機器學習對于近年來相當火爆的AI和機器學習，所需的數據量越來越大竭宰，模型訓練要求的計算資源也越來越多空郊。目前，阿里云在華北提供了一個大型GPU渲染資源池切揭，專門服務此類客戶狞甚。客戶的所有數據通過阿里云高速通道上傳到NAS文件存儲中廓旬，通過GPU計算資源來進行模型訓練哼审，大大提升了模型迭代速度。
NAS文件存儲——全球部署企業(yè)數據創(chuàng)新之旅——高性能NAS助力業(yè)務上云-博客-云棲社區(qū)-阿里云NAS文件系統(tǒng)從2016年3月份上線，同年9月份公測涩盾，截止今日十气，歷經兩年多的風雨。最初春霍，NAS主要服務于國內客戶桦踊，集中于華北、華南终畅、華東地區(qū)籍胯。目前，在阿里云全球19大Region离福，NAS已經在16個Region（圖示綠點）開服杖狼，在2018年，將會實現全球19個Region的NAS全覆蓋妖爷。因此蝶涩，當企業(yè)上云之路遇到困難時，不妨考慮下阿里云存儲絮识！
