小知識點-大數(shù)據(jù)處理之初步理解
單機處理時擴展到集群處理：單機數(shù)據(jù)處理à集群大數(shù)據(jù)處理
對應的變化：
[if !supportLists]1.?[endif]單機上的計算à?集群中的計算
[if !supportLists]2.?[endif]單機上的數(shù)據(jù)存儲à集群中的數(shù)據(jù)存儲
[if !supportLists]3.?[endif]單機上的計算資源極其管理??à集群中的計算資源極其管理
將生態(tài)圈中的各個框架對應到計算、數(shù)據(jù)存儲于資源管理三大部分：
[if !supportLists]1.?[endif]集群計算：Spark計算框架、Hadoop的MR計算框架等等…..??
[if !supportLists]2.?[endif]集群數(shù)據(jù)存儲：Hadoop的HDFS拼缝、Tachyon狠半、S3等等…..
[if !supportLists]3.?[endif]集群資源管理：YARN幅骄、MESOS遣蚀、Spark的Standalone模式中的Master等等…..
集群數(shù)據(jù)存儲對外提供數(shù)據(jù)讀寫接口色乾，集群資源管理對外提供資源分配與釋放接口辕坝，集群計算負責從集群資源管理框架中申請/釋放資源窍奋、從集群數(shù)據(jù)存儲框架中讀寫數(shù)據(jù)，具備數(shù)據(jù)和計算所需資源后酱畅，啟動具體的計算過程琳袄。
比如，Spark計算框架可以使用HDFS纺酸，S3等等各種數(shù)據(jù)存儲框架窖逗，因為這些框架提供了數(shù)據(jù)讀寫接口，Spark計算時可以通過這些接口進行數(shù)據(jù)讀寫餐蔬。
同樣也可以使用各種資源管理框架碎紊，如mesos，yarn或自帶的Master組件樊诺，通過向這些框架申請/釋放資源仗考，來獲取計算所需的資源。
總結：計算框架词爬、數(shù)據(jù)存儲框架秃嗜、資源管理框架等，都可以看成是一個個可插拔的組件組合使用顿膨。
聯(lián)系人395145328
