spark簡介

? ? ? ?Apache Spark是一個圍繞速度、易用性和復雜分析構建的大數(shù)據(jù)處理框架,最初在2009年由加州大學伯克利分校的AMPLab開發(fā)搔驼,并于2010年成為Apache的開源項目之一蚊锹,與Hadoop和Storm等其他大數(shù)據(jù)和MapReduce技術相比,Spark有如下優(yōu)勢:

? ? ? ?首先卓缰,Spark非常好用。由于高級API剝離了對集群本身的關注砰诵,你可以專注于你所要做的計算本 身征唬,只需在自己的筆記本電腦上就可以開發(fā)Spark應用。

? ? ? ?其次茁彭,Spark很快总寒,支持交互式使用和復雜算法。

? ? ? ? 最后理肺,Spark是一個通用引擎摄闸,可用它來完成各種各樣的運算,包括SQL查詢妹萨、文本處理年枕、機器學習等,而在Spark出現(xiàn)之前乎完,我們一般需要學習各種各樣的引擎來分別處理這些需求熏兄。 這三大優(yōu)點也使得Spark可以作為學習大數(shù)據(jù)的一個很好的起點。

? ? ? ? Spark運行特點:

? ? ? 1.每個Application獲取專屬的executor進程树姨,該進程在Application期間一直駐留摩桶,并以多線程方式運行Task。這種Application隔離機制是有優(yōu)勢的帽揪,無論是從調(diào)度角度看(每個Driver調(diào)度他自己的任務)硝清,還是從運行角度看(來自不同Application的Task運行在不同JVM中),當然這樣意味著Spark Application不能跨應用程序共享數(shù)據(jù)转晰,除非將數(shù)據(jù)寫入外部存儲系統(tǒng)

? ? ? ?2.Spark與資源管理器無關芦拿,只要能夠獲取executor進程砾肺,并能保持相互通信就可以了

? ? ? 3.提交SparkContext的Client應該靠近Worker節(jié)點(運行Executor的節(jié)點),最好是在同一個Rack里防嗡,因為Spark Application運行過程中SparkContext和Executor之間有大量的信息交換

? ? ? 4.Task采用了數(shù)據(jù)本地性和推測執(zhí)行的優(yōu)化機制变汪。

? ? ? 最后要感謝這個優(yōu)秀的平臺,可以讓我們相互交流蚁趁,如果想進一步學習交流裙盾,可以加群460570824,希望大家可以一起學習進步他嫡!

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末番官,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子钢属,更是在濱河造成了極大的恐慌徘熔,老刑警劉巖,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件淆党,死亡現(xiàn)場離奇詭異酷师,居然都是意外死亡,警方通過查閱死者的電腦和手機染乌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進店門山孔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人荷憋,你說我怎么就攤上這事台颠。” “怎么了勒庄?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵串前,是天一觀的道長。 經(jīng)常有香客問我实蔽,道長荡碾,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任盐须,我火速辦了婚禮玩荠,結果婚禮上漆腌,老公的妹妹穿的比我還像新娘贼邓。我一直安慰自己,他們只是感情好闷尿,可當我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布塑径。 她就那樣靜靜地躺著,像睡著了一般填具。 火紅的嫁衣襯著肌膚如雪统舀。 梳的紋絲不亂的頭發(fā)上匆骗,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天,我揣著相機與錄音誉简,去河邊找鬼碉就。 笑死,一個胖子當著我的面吹牛闷串,可吹牛的內(nèi)容都是我干的瓮钥。 我是一名探鬼主播,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼烹吵,長吁一口氣:“原來是場噩夢啊……” “哼碉熄!你這毒婦竟也來了?” 一聲冷哼從身側響起肋拔,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤锈津,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后凉蜂,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體琼梆,經(jīng)...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年窿吩,在試婚紗的時候發(fā)現(xiàn)自己被綠了叮叹。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡爆存,死狀恐怖蛉顽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情先较,我是刑警寧澤携冤,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站闲勺,受9級特大地震影響曾棕,放射性物質發(fā)生泄漏。R本人自食惡果不足惜菜循,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一翘地、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧癌幕,春花似錦衙耕、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至胶逢,卻和暖如春厅瞎,著一層夾襖步出監(jiān)牢的瞬間饰潜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工和簸, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留彭雾,地道東北人。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓锁保,卻偏偏與公主長得像冠跷,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子身诺,可洞房花燭夜當晚...
    茶點故事閱讀 45,937評論 2 361

推薦閱讀更多精彩內(nèi)容