spark 運行環(huán)境搭建

第一步:下載spark-1.0.2-bin-hadoop2.tgz 湘换,scala-2.10.4.tgz 版本隨意拒逮,由于文件包大于10兆,上傳不了假残,自行下載吧,下載地址:http://spark.apache.org/downloads.html炉擅,http://www.scala-lang.org/download/
下載完后解壓到目錄 如:/exprot/servers 辉懒,命令tar -zxvf spark-1.0.2-bin-hadoop2.tgz

第二步:配置環(huán)境變量,命令vi /etc/profile
1.配置JAVA_HOME 如:export JAVA_HOME=/export/servers/jdk1.7.0_80,jdk請自行下載
2.配置SCALA_HOME 如:export SCALA_HOME=/export/servers/scala-2.10.4
3.配置SPARK_HOME 如:export SPARK_HOME=/export/servers/spark-1.0.2-bin-hadoop2
4.配置PATH ,可以自己新增一個 如:export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

第三步:配置spark conf文件谍失,首先進入到conf目錄 cd /export/servers/spark-1.0.2-bin-hadoop2/conf,
1.如果該目錄下存在spark-env.sh.template這個文件 眶俩,那么請復(fù)制一份并改名為
spark-env.sh,如果沒有spark-env.sh.template快鱼,自己直接創(chuàng)建一個spark-env.sh
2.如果該目錄下存在slaves.template這個文件颠印,那么請復(fù)制一份并改名為slaves,如果存在slaves抹竹,那就什么不用做
3.配置spark-env.sh
export JAVA_HOME=/export/servers/jdk1.7.0_80
export SCALA_HOME=/export/servers/scala-2.10.4
export SPARK_MASTER_IP=192.168.195.159
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/export/servers/spark-1.0.2-bin-hadoop2/conf
SPARK_WORKER_INSTANCES=2

SPARK_WORKER_CORES=2
4.配置 slaves
192.168.158.94

jdbc:mysql:replication://[master-host]:[port],[slave-host]:[port],.../database?[property=<value>]

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末线罕,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子柒莉,更是在濱河造成了極大的恐慌闻坚,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件兢孝,死亡現(xiàn)場離奇詭異窿凤,居然都是意外死亡,警方通過查閱死者的電腦和手機跨蟹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進店門雳殊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人窗轩,你說我怎么就攤上這事夯秃。” “怎么了痢艺?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵仓洼,是天一觀的道長。 經(jīng)常有香客問我堤舒,道長色建,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任舌缤,我火速辦了婚禮箕戳,結(jié)果婚禮上某残,老公的妹妹穿的比我還像新娘。我一直安慰自己陵吸,他們只是感情好玻墅,可當我...
    茶點故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著壮虫,像睡著了一般澳厢。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上旨指,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天赏酥,我揣著相機與錄音,去河邊找鬼谆构。 笑死裸扶,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的搬素。 我是一名探鬼主播呵晨,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼熬尺!你這毒婦竟也來了摸屠?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤粱哼,失蹤者是張志新(化名)和其女友劉穎季二,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體揭措,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡胯舷,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了绊含。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片桑嘶。...
    茶點故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖躬充,靈堂內(nèi)的尸體忽然破棺而出逃顶,到底是詐尸還是另有隱情,我是刑警寧澤充甚,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布以政,位于F島的核電站,受9級特大地震影響伴找,放射性物質(zhì)發(fā)生泄漏妙蔗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一疆瑰、第九天 我趴在偏房一處隱蔽的房頂上張望眉反。 院中可真熱鬧,春花似錦穆役、人聲如沸寸五。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽梳杏。三九已至,卻和暖如春淹接,著一層夾襖步出監(jiān)牢的瞬間十性,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工塑悼, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留劲适,地道東北人。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓厢蒜,卻偏偏與公主長得像霞势,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子斑鸦,可洞房花燭夜當晚...
    茶點故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容