計(jì)算與存儲(chǔ)分離，為你大幅降低成本 https://promotion.aliyun.com/ntms/act/emractivity02.html
如果把計(jì)算與存儲(chǔ)分離后兄渺，則集群規(guī)劃則變得簡(jiǎn)單很多缝龄，基本不需要估算未來業(yè)務(wù)的規(guī)模了，真正做到按需使用挂谍。
摘要： Hadoop一出生就是存儲(chǔ)與計(jì)算在一起的叔壤，前幾年面試題中都問，Hadoop怎么保證高性能呢口叙？其中一個(gè)原因是存儲(chǔ)不動(dòng)炼绘，計(jì)算(code)動(dòng)，不同于傳統(tǒng)的集中式的存儲(chǔ)模式庐扫。那我們?yōu)槭裁催€要談存儲(chǔ)計(jì)算分離呢饭望？眾觀歷史，分久必合形庭、合久必分铅辞，在計(jì)算機(jī)歷史中也很類似，如今萨醒，也許到了計(jì)算與存儲(chǔ)分離的階段斟珊。后面我們以實(shí)際的case說明，分離的好處與劣勢(shì)富纸。特別推薦 E-MapReduce產(chǎn)品囤踩。
1.58元起，快速體驗(yàn) Hadoop & Spark 等晓褪，點(diǎn)擊使用
為什么呢堵漱？
先說一個(gè)大家常在日常生活中遇到的經(jīng)歷：家里帶寬自從升級(jí)到100mpbs，從來不保存電影涣仿，要看直接下載勤庐，基本幾分鐘就好了。這在幾年前不可想象好港。其中有本地化的挑戰(zhàn)：
帶寬的速度愉镰，特別是機(jī)房?jī)?nèi)帶寬的速度，已經(jīng)從1000mps钧汹、2000mps丈探、10000mps，甚至100000mpbs拔莱。但是磁盤的速度基本沒有太大的變化碗降。因?yàn)橛布淖兓撸瑤砹塑浖軜?gòu)的變化。
基本架構(gòu)
架構(gòu)其實(shí)比較簡(jiǎn)單遗锣，OSS作為默認(rèn)的存儲(chǔ)货裹，Hadoop、Spark可以作為計(jì)算引擎直接分析OSS存儲(chǔ)的數(shù)據(jù)精偿。
以上比較了計(jì)算與存儲(chǔ)分離的優(yōu)缺點(diǎn)弧圆。
靈活：在《E-MapReduce(Hadoop)10大類問題之集群規(guī)劃》 一文中分析了集群規(guī)劃問題，關(guān)鍵是匹配計(jì)算量與存儲(chǔ)量笔咽，如果把計(jì)算與存儲(chǔ)分離后搔预，則集群規(guī)劃則變得簡(jiǎn)單很多，基本不需要估算未來業(yè)務(wù)的規(guī)模了叶组，真正做到按需使用拯田。
成本：存儲(chǔ)與計(jì)算分離后,按照1 master 8cpu32g 6 slave 8cpu32g 10T數(shù)據(jù)量，大致成本下降一倍甩十，在ecs自建的磁盤選擇高效云盤船庇。
性能：大約下降10%以內(nèi)，對(duì)于一般的應(yīng)用是可以接受的侣监，后續(xù)詳細(xì)說明鸭轮。
分析
我們可以看到，emr+oss后橄霉，成本節(jié)約了一半窃爷，但是性能下降基本可以忽略不計(jì)。從性能圖上看姓蜂，emr+oss對(duì)比ecs自建hadoop對(duì)比：
也就是整體來講按厘，emr+oss比自建使用更少的資源，如果提高emr+oss的并發(fā)度钱慢，則時(shí)間上有可能超過ecs自建hadoop集群的逮京。
//
存儲(chǔ)與計(jì)算的分離 http://crad.ict.ac.cn/CN/abstract/abstract806.shtml
當(dāng)前計(jì)算應(yīng)用的發(fā)展對(duì)傳統(tǒng)計(jì)算機(jī)體系結(jié)構(gòu)提出了挑戰(zhàn).由計(jì)算資源和存儲(chǔ)資源固定連接形成的系統(tǒng)已經(jīng)不能適應(yīng)動(dòng)態(tài)計(jì)算的需求.從應(yīng)用出發(fā)，提出計(jì)算資源和存儲(chǔ)資源物理分離和邏輯分離的概念束莫，并以此為基礎(chǔ)造虏，構(gòu)造三維可重構(gòu)計(jì)算環(huán)境可以解決這些問題.在這種環(huán)境中，用戶程序麦箍、計(jì)算資源和存儲(chǔ)資源可以根據(jù)應(yīng)用的需求動(dòng)態(tài)組合.由于擺脫了資源的地理位置和操作環(huán)境等方面的限制，計(jì)算過程將呈現(xiàn)出數(shù)據(jù)驅(qū)動(dòng)的特點(diǎn)陶珠，從而實(shí)現(xiàn)按需計(jì)算挟裂，使計(jì)算系統(tǒng)可以在更大范圍內(nèi)為用戶提供服務(wù).
