@TOC
Background
- 大數(shù)據(jù)平臺(tái)是基于CDH6.2搭建的,具體可以參考【Centos7.5+CDH 6.2搭建大數(shù)據(jù)平臺(tái)】,F(xiàn)link(1.9.0) 集群是后來(lái)集成的,具體可參考【CDH6.2/6.3 集成安裝Flink 簡(jiǎn)明教程】
在
yarn
模式下,F(xiàn)link 的相關(guān)命令和其他模式的所有不同吼砂,實(shí)驗(yàn)總結(jié)記錄方便以后查找厉颤,相關(guān)命令參數(shù)不再贅述绩鸣,若有問(wèn)題怀大,歡迎叨擾,記錄如下:
提交一個(gè)任務(wù)(或稱啟動(dòng)一個(gè)Flink集群)
flink run -d -m yarn-cluster -yjm 1024 -ytm 1024 -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
image.png
- 如上圖所示呀闻,提交成功會(huì)返回
application_1594793724312_0017
【容器ID】和1a34822e073f30fd7952622b9d4e5d63
【JobID】化借,在yarn的Web界面也可以看到正在運(yùn)行的該容器
觸發(fā)保存點(diǎn)(保存點(diǎn)需手動(dòng)觸發(fā),檢查點(diǎn)會(huì)自動(dòng)觸發(fā))
- 【注意】這個(gè)命令里的【容器ID】和【JobID】不是上一個(gè)的捡多,本來(lái)按順序演示的蓖康,結(jié)果這條給忘了哈,最后補(bǔ)上的
flink savepoint e005af8188c0697bbc6257e56a7d61f4 hdfs:///user/flink/savepoints -yid application_1594793724312_0013
image.png
停止(或稱取消)任務(wù)并創(chuàng)建保存點(diǎn)
flink stop 1a34822e073f30fd7952622b9d4e5d63 -p hdfs:///user/flink/savepoints -yid application_1594793724312_0017
image.png
- 這里用
stop
命令垒手,cancel
命令已過(guò)時(shí)蒜焊。需要傳入剛才返回的【容器ID】和【JobID】,還有保存點(diǎn)的位置科贬,成功會(huì)返回保存點(diǎn)的完整路徑泳梆,恢復(fù)任務(wù)要用到這個(gè)路徑
從保存點(diǎn)恢復(fù)任務(wù)
flink run -d -m yarn-cluster -s hdfs://sutong01.cloudansys.cn:8020/user/flink/savepoints/savepoint-1a3482-53090949ca2c -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
image.png