- Spark 允許用戶程序?qū)?shù)據(jù)加載到集群內(nèi)存中用于反復查詢变抽， 非常適用于大數(shù)據(jù)和機器學習
- 相比Hadoop MapReduce: Spark 速度更快；其次掠抬， Spark 豐富的 API 帶來了更強大的易用性吼野；最后，Spark 不單單支持傳統(tǒng)批處理應用两波， 更支持交互式查詢瞳步、流式計算、機器學習腰奋、圖計算等各種應用单起，滿足各種不同應用場景下的需求
- Spark 的一個主要特點就是能夠在內(nèi)存中進行計算
-
Spark 的核心是一個對由很多計算任務組成的、運行在多個工作機器或者是一個計算集群上的應用進行調(diào)度劣坊、 分發(fā)以及監(jiān)控的計算引擎.
2017-05-03_135137.png - Spark的彈性數(shù)據(jù)分布集：RDD 表示分布在多個計算節(jié)點上可以并行操作的元素集合嘀倒，是Spark 主要的編程抽象。
- Spark SQL 是 Spark 用來操作結(jié)構(gòu)化數(shù)據(jù)的程序包局冰。
- Spark Streaming 是 Spark 提供的對實時數(shù)據(jù)進行流式計算的組件括儒。
- Spark 中還包含一個提供常見的機器學習（ML）功能的程序庫。
- GraphX 是用來操作圖（比如社交網(wǎng)絡的朋友關(guān)系圖）的程序庫锐想。
- Spark 支持在各種集群管理器（cluster manager） 上運行 帮寻， 包括 Hadoop YARN、 Apache Mesos赠摇，以及 Spark 自帶的一個簡易調(diào)度
器固逗，叫作獨立調(diào)度器浅蚪。 - Spark 不僅可以將任何 Hadoop 分布式文件系統(tǒng)（HDFS）上的文件讀取為分布式數(shù)據(jù)集，也可以支持其他支持 Hadoop 接口的系統(tǒng)烫罩，比如本地文件惜傲、亞馬遜 S3、 Cassandra贝攒、 Hive盗誊、HBase 等。即Hadoop并非Spark的存在必須依賴隘弊。
Spark導論
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門树埠，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人嘶伟，你說我怎么就攤上這事》茉纾” “怎么了盛霎？”我有些...
- 文/不壞的土叔 我叫張陵赠橙，是天一觀的道長耽装。 經(jīng)常有香客問我，道長期揪，這世上最難降的妖魔是什么掉奄？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮凤薛，結(jié)果婚禮上姓建，老公的妹妹穿的比我還像新娘。我一直安慰自己缤苫，他們只是感情好速兔，可當我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著活玲，像睡著了一般涣狗。 火紅的嫁衣襯著肌膚如雪谍婉。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼妓柜，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了饰序？” 一聲冷哼從身側(cè)響起领虹，我...
- 正文 年R本政府宣布心褐，位于F島的核電站舔涎，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏逗爹。R本人自食惡果不足惜亡嫌，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望掘而。 院中可真熱鬧挟冠，春花似錦、人聲如沸袍睡。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽斑胜。三九已至控淡，卻和暖如春色瘩，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背逸寓。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- Spark Streaming 編程指南 概述 一個入門示例 基礎概念 依賴 初始化 StreamingConte...
- Spark RDD（Resilient Distributed Datasets）論文 概要 1: 介紹 2: R...
- Spark RDD（Resilient Distributed Datasets）論文 概要 1: 介紹 2: R...
- Spark Streaming 編程指南 概述 一個入門示例 基礎概念 依賴 初始化 StreamingConte...
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
