Spark 搭建及入門(mén)開(kāi)發(fā)

搭建配置修改:

./conf下spark-env.sh? 和? slaves

搭建測(cè)試:

1)本地? ? ./bin/run-example SparkPi 10 --master local[2]

2)集群(spark standalone) ./bin/spark-submit --class org.apache.spark.examples.SparkPi --masterspark://master:7077./lib/spark-examples-1.6.3-hadoop2.6.0.jar? 10

3)? 集群(spark on yarn)? ./bin/spark-submit --class org.apache.spark.examples.SparkPi --masteryarn-cluster./lib/spark-examples-1.6.3-hadoop2.6.0.jar? 10

什么是spark?

? ? Apache Spark是一個(gè)基于內(nèi)存計(jì)算的開(kāi)源的集群計(jì)算系統(tǒng),目的是讓數(shù)據(jù)分析更加快速。Spark非常小巧玲瓏良哲,由加州伯克利大學(xué)AMP實(shí)驗(yàn)室的Matei為主的小團(tuán)隊(duì)所開(kāi)發(fā)。使用的語(yǔ)言是Scala乳附,項(xiàng)目的core部分的代碼只有63個(gè)Scala文件,非常短小精悍伴澄。

executor都是裝載在container里運(yùn)行,container默認(rèn)內(nèi)存是1G(參數(shù)yarn.scheduler.minimum-allocation-mab)

executor分配的內(nèi)存是executor-memory阱缓,向yarn申請(qǐng)的內(nèi)存是(executor-memory + 1)*num-executors

AM(application master)在spark中叫driver,AM向RM(resource manager)申請(qǐng)的executor資源非凌,當(dāng)分配完資源后,executor啟動(dòng)荆针,由spark的AM向executor分配task,分配多少task,分配到哪個(gè)executor由AM決定敞嗡,可理解為spark也有個(gè)調(diào)度過(guò)程,這些task都運(yùn)行在executor的坑里

executor有線程池航背,多線程管理這些坑內(nèi)的task

Spark特點(diǎn):

Spark實(shí)踐:

Scala

1)sbt開(kāi)發(fā)Spark程序喉悴,編譯并打包

package spark

import org.apache.spark.{SparkConf, SparkContext}

/**

? * Author: ThinkPad

? * Date: 2018/10/13 13:59

? * Description: 單詞統(tǒng)計(jì)

? */

object WordCount {

? def main(args: Array[String]): Unit = {

? ? val dataFile = args(0);

? ? val output = args(1);

//? ? val sparkConf = new SparkConf().setAppName("WordCount").setMaster("local");

? ? val sparkConf = new SparkConf().setAppName("WordCount");

? ? val sparkContext = new SparkContext(sparkConf);

? ? val lines = sparkContext.textFile(dataFile);

? ? val counts = lines.flatMap(_.split(",")).map(s => (s, 1)).reduceByKey((a, b) => a + b);

? ? counts.saveAsTextFile(output);

? ? sparkContext.stop();

? }

}

2)spark-submit 運(yùn)行

【Standalone】

【Yarn】

Python

...

2. spark-submit 詳細(xì)參數(shù)說(shuō)明

參數(shù)名參數(shù)說(shuō)明

--mastermaster 的地址,提交任務(wù)到哪里執(zhí)行玖媚,例如 spark://host:port, yarn, local

--deploy-mode在本地 (client) 啟動(dòng) driver 或在 cluster 上啟動(dòng)箕肃,默認(rèn)是 client

--class應(yīng)用程序的主類,僅針對(duì) java 或 scala 應(yīng)用

--name應(yīng)用程序的名稱

--jars用逗號(hào)分隔的本地 jar 包今魔,設(shè)置后勺像,這些 jar 將包含在 driver 和 executor 的 classpath 下

--packages包含在driver 和executor 的 classpath 中的 jar 的 maven 坐標(biāo)

--exclude-packages為了避免沖突 而指定不包含的 package

--repositories遠(yuǎn)程 repository

--conf PROP=VALUE指定 spark 配置屬性的值障贸,?例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"

--properties-file加載的配置文件,默認(rèn)為 conf/spark-defaults.conf

--driver-memoryDriver內(nèi)存吟宦,默認(rèn) 1G

--driver-java-options傳給 driver 的額外的 Java 選項(xiàng)

--driver-library-path傳給 driver 的額外的庫(kù)路徑

--driver-class-path傳給 driver 的額外的類路徑

--driver-coresDriver 的核數(shù)篮洁,默認(rèn)是1。在 yarn 或者 standalone 下使用

--executor-memory每個(gè) executor 的內(nèi)存殃姓,默認(rèn)是1G

--total-executor-cores所有 executor 總共的核數(shù)袁波。僅僅在 mesos 或者 standalone 下使用

--num-executors啟動(dòng)的 executor 數(shù)量。默認(rèn)為2蜗侈。在 yarn 下使用

--executor-core每個(gè) executor 的核數(shù)锋叨。在yarn或者standalone下使用

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市宛篇,隨后出現(xiàn)的幾起案子娃磺,更是在濱河造成了極大的恐慌,老刑警劉巖叫倍,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件偷卧,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡吆倦,警方通過(guò)查閱死者的電腦和手機(jī)听诸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)蚕泽,“玉大人晌梨,你說(shuō)我怎么就攤上這事⌒肫蓿” “怎么了仔蝌?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)荒吏。 經(jīng)常有香客問(wèn)我敛惊,道長(zhǎng),這世上最難降的妖魔是什么绰更? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任瞧挤,我火速辦了婚禮,結(jié)果婚禮上儡湾,老公的妹妹穿的比我還像新娘特恬。我一直安慰自己,他們只是感情好徐钠,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布癌刽。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪妒穴。 梳的紋絲不亂的頭發(fā)上宋税,一...
    開(kāi)封第一講書(shū)人閱讀 52,682評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音讼油,去河邊找鬼杰赛。 笑死,一個(gè)胖子當(dāng)著我的面吹牛矮台,可吹牛的內(nèi)容都是我干的乏屯。 我是一名探鬼主播,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼瘦赫,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼辰晕!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起确虱,我...
    開(kāi)封第一講書(shū)人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤含友,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后校辩,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體窘问,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年宜咒,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了惠赫。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡故黑,死狀恐怖儿咱,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情场晶,我是刑警寧澤混埠,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站峰搪,受9級(jí)特大地震影響岔冀,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜概耻,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望罐呼。 院中可真熱鬧鞠柄,春花似錦、人聲如沸嫉柴。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至夯尽,卻和暖如春瞧壮,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背匙握。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工咆槽, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人圈纺。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓秦忿,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親蛾娶。 傳聞我的和親對(duì)象是個(gè)殘疾皇子灯谣,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容