《從0到1學(xué)習(xí)Flink》—— Flink 項(xiàng)目如何運(yùn)行?

image

前言

之前寫(xiě)了不少 Flink 文章了玲昧,也有不少 demo栖茉,但是文章寫(xiě)的時(shí)候都是在本地直接運(yùn)行 Main 類(lèi)的 main 方法,其實(shí) Flink 是支持在 UI 上上傳 Flink Job 的 jar 包酌呆,然后運(yùn)行得衡载。最開(kāi)始在第一篇 《從0到1學(xué)習(xí)Flink》—— Mac 上搭建 Flink 1.6.0 環(huán)境并構(gòu)建運(yùn)行簡(jiǎn)單程序入門(mén) 中其實(shí)提到過(guò)了 Flink 自帶的 UI 界面,今天我們就來(lái)看看如何將我們的項(xiàng)目打包在這里發(fā)布運(yùn)行隙袁。

準(zhǔn)備

編譯打包

項(xiàng)目代碼就拿我之前的文章 《從0到1學(xué)習(xí)Flink》—— Flink 寫(xiě)入數(shù)據(jù)到 ElasticSearch 吧痰娱,代碼地址是在 GitHub 倉(cāng)庫(kù)地址:https://github.com/zhisheng17/flink-learning/tree/master/flink-learning-connectors/flink-learning-connectors-es6 ,如果感興趣的可以直接拿來(lái)打包試試水菩收。

我們?cè)谡麄€(gè)項(xiàng)目 (flink-learning)pom.xml 所在文件夾執(zhí)行以下命令打包:

mvn clean install
image

然后你會(huì)發(fā)現(xiàn)在 flink-learning-connectors-es6 的 target 目錄下有 flink-learning-connectors-es6-1.0-SNAPSHOT.jar 梨睁。

啟動(dòng) ES

注意你的 Kafka 數(shù)據(jù)源和 ES 都已經(jīng)啟動(dòng)好了, 清空了下 ES 目錄下的 data 數(shù)據(jù),為了就是查看是不是真的有數(shù)據(jù)存入進(jìn)來(lái)了娜饵。

image

提交 jar 包

將此文件提交到 Flinkserver 上坡贺,如下圖:

image

點(diǎn)擊下圖紅框中的"Upload"按鈕:

image

如下圖,選中剛剛上傳的文件箱舞,填寫(xiě)類(lèi)名遍坟,再點(diǎn)擊"Submit"按鈕即可啟動(dòng) Job:

image

查看運(yùn)行結(jié)果

如下圖,在 Overview 頁(yè)面可見(jiàn)正在運(yùn)行的任務(wù):

image

你可以看到 Task Manager 中關(guān)于任務(wù)的 metric 數(shù)據(jù)
晴股、日志信息以及 Stdout 信息愿伴。

image

查看 Kibana ,此時(shí) ES 中已經(jīng)有數(shù)據(jù)了:

image

我們可以在 flink ui 界面上的 overview cancel 這個(gè) job电湘,那么可以看到 job 的日志:

image
image

總結(jié)

本篇文章寫(xiě)了下如何將我們的 job 編譯打包并提交到 Flink 自帶到 Server UI 上面去運(yùn)行隔节,也算是對(duì)前面文章的一個(gè)補(bǔ)充,當(dāng)然了寂呛,F(xiàn)link job 不僅支持這種模式的運(yùn)行怎诫,它還可以運(yùn)行在 K8s,Mesos贷痪,等上面幻妓,等以后我接觸到再寫(xiě)寫(xiě)。

本文原創(chuàng)地址是: http://www.54tianzhisheng.cn/2019/01/05/Flink-run/ , 未經(jīng)允許禁止轉(zhuǎn)載劫拢。

關(guān)注我

微信公眾號(hào):zhisheng

另外我自己整理了些 Flink 的學(xué)習(xí)資料涌哲,目前已經(jīng)全部放到微信公眾號(hào)了胖缤。你可以加我的微信:zhisheng_tian,然后回復(fù)關(guān)鍵字:Flink 即可無(wú)條件獲取到阀圾。

image

更多私密資料請(qǐng)加入知識(shí)星球!

image

Github 代碼倉(cāng)庫(kù)

https://github.com/zhisheng17/flink-learning/

以后這個(gè)項(xiàng)目的所有代碼都將放在這個(gè)倉(cāng)庫(kù)里狗唉,包含了自己學(xué)習(xí) flink 的一些 demo 和博客初烘。

相關(guān)文章

1、《從0到1學(xué)習(xí)Flink》—— Apache Flink 介紹

2分俯、《從0到1學(xué)習(xí)Flink》—— Mac 上搭建 Flink 1.6.0 環(huán)境并構(gòu)建運(yùn)行簡(jiǎn)單程序入門(mén)

3肾筐、《從0到1學(xué)習(xí)Flink》—— Flink 配置文件詳解

4、《從0到1學(xué)習(xí)Flink》—— Data Source 介紹

5缸剪、《從0到1學(xué)習(xí)Flink》—— 如何自定義 Data Source 吗铐?

6、《從0到1學(xué)習(xí)Flink》—— Data Sink 介紹

7杏节、《從0到1學(xué)習(xí)Flink》—— 如何自定義 Data Sink 唬渗?

8、《從0到1學(xué)習(xí)Flink》—— Flink Data transformation(轉(zhuǎn)換)

9奋渔、《從0到1學(xué)習(xí)Flink》—— 介紹Flink中的Stream Windows

10镊逝、《從0到1學(xué)習(xí)Flink》—— Flink 中的幾種 Time 詳解

11、《從0到1學(xué)習(xí)Flink》—— Flink 寫(xiě)入數(shù)據(jù)到 ElasticSearch

12嫉鲸、《從0到1學(xué)習(xí)Flink》—— Flink 項(xiàng)目如何運(yùn)行撑蒜?

13、《從0到1學(xué)習(xí)Flink》—— Flink 寫(xiě)入數(shù)據(jù)到 Kafka

14玄渗、《從0到1學(xué)習(xí)Flink》—— Flink JobManager 高可用性配置

15座菠、《從0到1學(xué)習(xí)Flink》—— Flink parallelism 和 Slot 介紹

16、《從0到1學(xué)習(xí)Flink》—— Flink 讀取 Kafka 數(shù)據(jù)批量寫(xiě)入到 MySQL

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末藤树,一起剝皮案震驚了整個(gè)濱河市浴滴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌也榄,老刑警劉巖巡莹,帶你破解...
    沈念sama閱讀 219,110評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異甜紫,居然都是意外死亡降宅,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)囚霸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)腰根,“玉大人,你說(shuō)我怎么就攤上這事拓型《詈伲” “怎么了瘸恼?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,474評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)册养。 經(jīng)常有香客問(wèn)我东帅,道長(zhǎng),這世上最難降的妖魔是什么球拦? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,881評(píng)論 1 295
  • 正文 為了忘掉前任靠闭,我火速辦了婚禮,結(jié)果婚禮上坎炼,老公的妹妹穿的比我還像新娘愧膀。我一直安慰自己,他們只是感情好谣光,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,902評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布檩淋。 她就那樣靜靜地躺著,像睡著了一般萄金。 火紅的嫁衣襯著肌膚如雪蟀悦。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,698評(píng)論 1 305
  • 那天捡絮,我揣著相機(jī)與錄音熬芜,去河邊找鬼。 笑死福稳,一個(gè)胖子當(dāng)著我的面吹牛涎拉,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播的圆,決...
    沈念sama閱讀 40,418評(píng)論 3 419
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼鼓拧,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了越妈?” 一聲冷哼從身側(cè)響起季俩,我...
    開(kāi)封第一講書(shū)人閱讀 39,332評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎梅掠,沒(méi)想到半個(gè)月后酌住,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,796評(píng)論 1 316
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡阎抒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,968評(píng)論 3 337
  • 正文 我和宋清朗相戀三年酪我,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片且叁。...
    茶點(diǎn)故事閱讀 40,110評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡都哭,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情欺矫,我是刑警寧澤纱新,帶...
    沈念sama閱讀 35,792評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站穆趴,受9級(jí)特大地震影響脸爱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜毡代,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,455評(píng)論 3 331
  • 文/蒙蒙 一阅羹、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧教寂,春花似錦、人聲如沸执庐。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,003評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)轨淌。三九已至迂烁,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間递鹉,已是汗流浹背盟步。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,130評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留躏结,地道東北人却盘。 一個(gè)月前我還...
    沈念sama閱讀 48,348評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像媳拴,于是被迫代替她去往敵國(guó)和親黄橘。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,047評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容