Spark On Yarn部署

本文使用的軟件環(huán)境同第一篇鲫尊,另增加了hadoop的環(huán)境:

  1. Linux 4.4.0-62-generic #83-Ubuntu x86_64 GNU/Linux
  2. java version "1.8.0_101" Java(TM) SE Runtime Environment (build 1.8.0_101-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
  3. Spark 2.1.0 built for Hadoop 2.7.3
  4. Hadoop 2.7.3

另外扯一句題外話昆稿,由于hadoop體系的復雜绊率,我會從最簡單的層級來配置缀台,多余的配置項不會列出。
所有機器的jdk魔吐、spark祷愉、hadoop版本,目錄位置都相同湖雹。

1 hadoop配置

配置的基礎是集群主機到從機的無密碼ssh登錄咏闪,spark需要hdfs和yarn集群同時運行。在官方文檔上一句話提及了這一點:

These configs are used to write to HDFS and connect to the YARN ResourceManager.

這是一個坑劝枣,很多文章都沒有強調(diào)hdfs集群配置的重要性汤踏。

1.1 hadoop核心配置

這一步主要參考Hadoop集群配置官方文檔
進入<HADOOP_DIR>/etc/hadoop/目錄舔腾,為了讓hadoop系列服務能夠啟動溪胶,首先需要修改hadoop-env.sh文件,指定JDK的目錄所在稳诚。JAVA_HOME這個變量如果在.bashrcexport了哗脖,hadoop執(zhí)行腳本時還是不行的,所以要在hadoop自己的配置文件中指定扳还。無論主從機都需要才避。
接著修改hadoop的一些核心配置,修改同目錄下的core-site.xml文件氨距,指定hdfs的NameNode的位置:


這個配置也是主從機都需要的桑逝。

1.2 hdfs集群配置

接著配置hdfs集群,需要修改同目錄下的hdfs-site.xml文件俏让,這個主從機有所不同楞遏,對于namenode,需要指定namenode存放文件的路徑:


對于datanode首昔,需要指定datanode存放文件的路徑:

然后需要在各個機器上建立好指定的目錄寡喝。

修改同目錄下的slaves文件,將從機名稱一機一行寫入勒奇。
在主機<HADOOP_DIR>下執(zhí)行Name Node的初始化及集群的啟動腳本:

./bin/hdfs namenode -format
./sbin/start-dfs.sh

需要檢驗一下hdfs集群是否成功预鬓,這里再次說明,不要相信jps的輸出赊颠,即便jps的輸出完備格二,各種角色都列出了劈彪,也不一定說明集群能正常運行了,只有從web控制臺看到主從機的信息才算配置正常了蟋定。
hdfs的默認web端口在50070粉臊,用瀏覽器訪問Name Node的50070端口就可以看到結(jié)果:


Live Nodes可以點開看每個slave機器的信息草添。

1.3 yarn集群配置

修改同目錄下的yarn-site.xml文件驶兜,設定yarn.resourcemanager.hostname為Resource Manager主機名,主從機都需要:

在主機<HADOOP_DIR>下執(zhí)行Yarn的啟動腳本

./sbin/start-yarn.sh

yarn的web控制臺默認端口是8088远寸,訪問Resouce Manager所在主機的8088端口就可以看到y(tǒng)arn的集群情況:


2 spark配置

修改<SPARK_DIR>/conf目錄下的spark-env.sh文件抄淑,將HADOOP_CONF_DIR變量指定到hadoop配置文件目錄并導出。


這個配置的修改是所有spark所在主機都要的驰后。
由于之前已經(jīng)搭建過了獨立模式的集群肆资,也為了控制臺執(zhí)行spark命令行時少輸入點參數(shù),還需要修改同目錄下的spark-defaults.conf文件灶芝,將spark.master指定為yarn郑原,同時修改默認的部署方式,將spark.submit.deployMode指定為cluster夜涕。這個修改也要應用到所有的spark中:

3 運行

在集群中任意機器上執(zhí)行以下測試看看結(jié)果:


在spark-submit運行過程中犯犁,yarn的web控制臺Applications界面會進行展示:

點擊Tracking UI欄中的鏈接,就可以看到熟悉的spark作業(yè)運行界面女器,這個界面只有spark作業(yè)運行期可以看到酸役。

如果需要中止運行,需要在yarn的web控制臺Applications界面通過Application ID一列中的鏈接進入Application的詳情界面驾胆,在左上角有個Kill Application按鈕:

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子癌蓖,更是在濱河造成了極大的恐慌髓帽,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件驳阎,死亡現(xiàn)場離奇詭異抗愁,居然都是意外死亡,警方通過查閱死者的電腦和手機搞隐,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門驹愚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人劣纲,你說我怎么就攤上這事逢捺。” “怎么了癞季?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵劫瞳,是天一觀的道長倘潜。 經(jīng)常有香客問我,道長志于,這世上最難降的妖魔是什么涮因? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮伺绽,結(jié)果婚禮上养泡,老公的妹妹穿的比我還像新娘。我一直安慰自己奈应,他們只是感情好澜掩,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著杖挣,像睡著了一般肩榕。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上惩妇,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天株汉,我揣著相機與錄音,去河邊找鬼歌殃。 笑死乔妈,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的挺份。 我是一名探鬼主播褒翰,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼匀泊!你這毒婦竟也來了优训?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤各聘,失蹤者是張志新(化名)和其女友劉穎揣非,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體躲因,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡早敬,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了大脉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片搞监。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖镰矿,靈堂內(nèi)的尸體忽然破棺而出琐驴,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布绝淡,位于F島的核電站宙刘,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏牢酵。R本人自食惡果不足惜悬包,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望馍乙。 院中可真熱鬧布近,春花似錦、人聲如沸潘拨。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽铁追。三九已至,卻和暖如春茫船,著一層夾襖步出監(jiān)牢的瞬間琅束,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工算谈, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留涩禀,地道東北人。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓然眼,卻偏偏與公主長得像艾船,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子高每,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容