基于yarn模式Flink任務(wù)的基本操作

@TOC

Background

yarn模式下,F(xiàn)link 的相關(guān)命令和其他模式的所有不同吼砂,實(shí)驗(yàn)總結(jié)記錄方便以后查找厉颤,相關(guān)命令參數(shù)不再贅述绩鸣,若有問(wèn)題怀大,歡迎叨擾,記錄如下:

提交一個(gè)任務(wù)(或稱啟動(dòng)一個(gè)Flink集群)

flink run -d -m yarn-cluster -yjm 1024 -ytm 1024 -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
image.png
  • 如上圖所示呀闻,提交成功會(huì)返回application_1594793724312_0017【容器ID】和1a34822e073f30fd7952622b9d4e5d63【JobID】化借,在yarn的Web界面也可以看到正在運(yùn)行的該容器

觸發(fā)保存點(diǎn)(保存點(diǎn)需手動(dòng)觸發(fā),檢查點(diǎn)會(huì)自動(dòng)觸發(fā))

  • 【注意】這個(gè)命令里的【容器ID】和【JobID】不是上一個(gè)的捡多,本來(lái)按順序演示的蓖康,結(jié)果這條給忘了哈,最后補(bǔ)上的
flink savepoint e005af8188c0697bbc6257e56a7d61f4 hdfs:///user/flink/savepoints -yid application_1594793724312_0013
image.png

停止(或稱取消)任務(wù)并創(chuàng)建保存點(diǎn)

flink stop 1a34822e073f30fd7952622b9d4e5d63 -p hdfs:///user/flink/savepoints -yid application_1594793724312_0017
image.png
  • 這里用stop命令垒手,cancel命令已過(guò)時(shí)蒜焊。需要傳入剛才返回的【容器ID】和【JobID】,還有保存點(diǎn)的位置科贬,成功會(huì)返回保存點(diǎn)的完整路徑泳梆,恢復(fù)任務(wù)要用到這個(gè)路徑

從保存點(diǎn)恢復(fù)任務(wù)

flink run -d -m yarn-cluster -s hdfs://sutong01.cloudansys.cn:8020/user/flink/savepoints/savepoint-1a3482-53090949ca2c -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市榜掌,隨后出現(xiàn)的幾起案子优妙,更是在濱河造成了極大的恐慌,老刑警劉巖憎账,帶你破解...
    沈念sama閱讀 221,888評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件套硼,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡胞皱,警方通過(guò)查閱死者的電腦和手機(jī)邪意,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,677評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)朴恳,“玉大人抄罕,你說(shuō)我怎么就攤上這事∮谟保” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 168,386評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵嚷兔,是天一觀的道長(zhǎng)森渐。 經(jīng)常有香客問(wèn)我,道長(zhǎng)冒晰,這世上最難降的妖魔是什么同衣? 我笑而不...
    開(kāi)封第一講書人閱讀 59,726評(píng)論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮壶运,結(jié)果婚禮上耐齐,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好埠况,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,729評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布耸携。 她就那樣靜靜地躺著,像睡著了一般辕翰。 火紅的嫁衣襯著肌膚如雪夺衍。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 52,337評(píng)論 1 310
  • 那天喜命,我揣著相機(jī)與錄音沟沙,去河邊找鬼。 笑死壁榕,一個(gè)胖子當(dāng)著我的面吹牛矛紫,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播牌里,決...
    沈念sama閱讀 40,902評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼含衔,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了二庵?” 一聲冷哼從身側(cè)響起贪染,我...
    開(kāi)封第一講書人閱讀 39,807評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎催享,沒(méi)想到半個(gè)月后杭隙,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,349評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡因妙,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,439評(píng)論 3 340
  • 正文 我和宋清朗相戀三年痰憎,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片攀涵。...
    茶點(diǎn)故事閱讀 40,567評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡铣耘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出以故,到底是詐尸還是另有隱情蜗细,我是刑警寧澤,帶...
    沈念sama閱讀 36,242評(píng)論 5 350
  • 正文 年R本政府宣布怒详,位于F島的核電站炉媒,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏昆烁。R本人自食惡果不足惜吊骤,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,933評(píng)論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望静尼。 院中可真熱鬧白粉,春花似錦传泊、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,420評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至奕扣,卻和暖如春薪鹦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背惯豆。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,531評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工池磁, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人楷兽。 一個(gè)月前我還...
    沈念sama閱讀 48,995評(píng)論 3 377
  • 正文 我出身青樓地熄,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親芯杀。 傳聞我的和親對(duì)象是個(gè)殘疾皇子端考,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,585評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容