Flink on Yarn HA模式部署

1. 配置yarn最大重試次數(shù)yarn-site.xml:

<property>
  <name>yarn.resourcemanager.am.max-attempts</name>
  <value>4</value>
</property>

2. 配置Yarn重試次數(shù)

[root@hadoop2 flink-1.5.0]# vi conf/flink-conf.yaml
 yarn.application-attempts: 10

此參數(shù)代表Flink Job(yarn中稱為application)在Jobmanager(或者叫Application Master)恢復時对湃,允許重啟的最大次數(shù)串远。

注意讳窟,Flink On Yarn環(huán)境中情连,當Jobmanager(Application Master)失敗時,yarn會嘗試重啟JobManager(AM)沽甥,重啟后屯换,會重新啟動Flink的Job(application)杠娱。因此挽牢,yarn.application-attempts的設置不應該超過yarn.resourcemanager.am.max-attemps.

3. 配置ZooKeeper:

[root@hadoop2 flink-1.5.0]# vi conf/flink-conf.yaml

 high-availability: zookeeper
 high-availability.storageDir: hdfs:///flink/ha/
 high-availability.zookeeper.quorum: 10.108.4.203:2181,10.108.4.204:2181,10.108.4.205:2181
 high-availability.zookeeper.path.root: /flink
 high-availability.cluster-id: /cluster_yarn

4. conf/masters修改

設置要啟用JobManager的節(jié)點及端口:

10.108.4.202:8081
10.108.4.203:8081

5. conf/zoo.cfg修改

server.1=10.108.4.203:2888:3888
server.2=10.108.4.204:2888:3888
server.3=10.108.4.205:2888:3888

PS: 修改完后,使用scp命令將flink-conf.yaml摊求、masters禽拔、 zoo.cfg文件同步到其他節(jié)點:

[root@hadoop2 conf]# scp flink-conf.yaml masters zoo.cfg  root@hadoop3:/opt/flink-1.5.0/conf

6. 啟動Flink Yarn Session

啟動Flink Yarn Session有2種模式:分離模式、客戶端模式

通過-d指定分離模式室叉,即客戶端在啟動Flink Yarn Session后睹栖,就不再屬于Yarn Cluster的一部分。如果想要停止Flink Yarn Application太惠,需要通過yarn application -kill 命令來停止磨淌。

我們這里采用分離模式來啟動Flink Yarn Session:
[root@hadoop2 bin]# ./yarn-session.sh -n 3 -jm 1024 -tm 1024  -s 3 -nm FlinkOnYarnSession -d -st
我們可以通過yarn的webUI查看一下當前啟動的Application:

可以看到名字是FlinkOnYarnSession,總內存6GB凿渊,運行使用的內存1GB(-jm指定了1GB)梁只,當前容器數(shù)量為3.
我們通過點擊ApplicationMaster選項 查看Flink的WebUI:

7. 提交Job

通過CLI方式提交:

flink run -c wikiedits.Test1 toptrade-flink-1.0.jar

我們看下目前Job的JobGraph:


8. HA測試

現(xiàn)在,我們kill掉Jobmanager(AM)進程YarnApplicationMasterRunner埃脏,看看Yarn Cluster的HA情況搪锣。

[root@hadoop2 flink-1.5.0]# jps 
32751 NodeManager
8911 YarnSessionClusterEntrypoint
[root@hadoop2 flink-1.5.0]# kill -9 8911

可以看到Application Attemp的ID增加了1:


我們再到mf42的$YARN_CONF_DIR(如果沒設置則在$HADOOP_CONF_DIR)下看看日志情況,當前AM的日志路徑在$HADOOP_CONF_DIR/userlogs//下彩掐,可以看出Yarn在重啟YarnApplicationMasterRunner進程构舟,并在重啟期后重新提交Flink的Job。

再次查看進程號:

[root@hadoop3 flink-1.5.0]# jps
22519 YarnSessionClusterEntrypoint

YarnApplicationMasterRunner進程號變了堵幽。
此時狗超,F(xiàn)link的WebUI又可以訪問了,而且Job被cancel掉后重新啟動了朴下。


最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末努咐,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子殴胧,更是在濱河造成了極大的恐慌渗稍,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,546評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件团滥,死亡現(xiàn)場離奇詭異竿屹,居然都是意外死亡,警方通過查閱死者的電腦和手機灸姊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,224評論 3 395
  • 文/潘曉璐 我一進店門拱燃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人厨钻,你說我怎么就攤上這事扼雏〖崾龋” “怎么了?”我有些...
    開封第一講書人閱讀 164,911評論 0 354
  • 文/不壞的土叔 我叫張陵诗充,是天一觀的道長苍蔬。 經常有香客問我,道長蝴蜓,這世上最難降的妖魔是什么碟绑? 我笑而不...
    開封第一講書人閱讀 58,737評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮茎匠,結果婚禮上格仲,老公的妹妹穿的比我還像新娘。我一直安慰自己诵冒,他們只是感情好凯肋,可當我...
    茶點故事閱讀 67,753評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著汽馋,像睡著了一般侮东。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上豹芯,一...
    開封第一講書人閱讀 51,598評論 1 305
  • 那天悄雅,我揣著相機與錄音,去河邊找鬼铁蹈。 笑死宽闲,一個胖子當著我的面吹牛,可吹牛的內容都是我干的握牧。 我是一名探鬼主播容诬,決...
    沈念sama閱讀 40,338評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼沿腰!你這毒婦竟也來了放案?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,249評論 0 276
  • 序言:老撾萬榮一對情侶失蹤矫俺,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后掸冤,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體厘托,經...
    沈念sama閱讀 45,696評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,888評論 3 336
  • 正文 我和宋清朗相戀三年稿湿,在試婚紗的時候發(fā)現(xiàn)自己被綠了铅匹。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,013評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡饺藤,死狀恐怖包斑,靈堂內的尸體忽然破棺而出流礁,到底是詐尸還是另有隱情,我是刑警寧澤罗丰,帶...
    沈念sama閱讀 35,731評論 5 346
  • 正文 年R本政府宣布神帅,位于F島的核電站,受9級特大地震影響萌抵,放射性物質發(fā)生泄漏找御。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,348評論 3 330
  • 文/蒙蒙 一绍填、第九天 我趴在偏房一處隱蔽的房頂上張望霎桅。 院中可真熱鬧,春花似錦讨永、人聲如沸滔驶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽揭糕。三九已至,卻和暖如春比原,著一層夾襖步出監(jiān)牢的瞬間插佛,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評論 1 270
  • 我被黑心中介騙來泰國打工量窘, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留雇寇,地道東北人。 一個月前我還...
    沈念sama閱讀 48,203評論 3 370
  • 正文 我出身青樓蚌铜,卻偏偏與公主長得像锨侯,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子冬殃,可洞房花燭夜當晚...
    茶點故事閱讀 44,960評論 2 355

推薦閱讀更多精彩內容