如何在 Flink 集群部署 Alink瓶籽?

在 Flink 集群部署 Alink匠童,需要部署三個(gè) Jar 包(本文會(huì)有一個(gè)部分專門講述如何獲取)塑顺,對(duì)于不同 Flink 集群環(huán)境汤求,方式有些區(qū)別,本文主要討論 Standalone 集群和 Kubernetes 集群严拒。

獲取集群部署所需 Jar 包

由于 Alink 可以通過 Java 和 Python 兩種方式提交扬绪,建議在集群部署的時(shí)候?qū)⑾嚓P(guān) Jar 包一起部署上去。Alink 雖然沒有單獨(dú)提供集群部署 Jar 包的下載裤唠,但是所需 Jar 包與 PyAlink 所用的相同挤牛。所以可以從 PyAlink 的安裝 whl 包中獲取。具體方式如下:

1.下載 PyAlink 1.10 的 whl 包种蘸,相關(guān)鏈接:

https://github.com/alibaba/Alink/releases/tag/v1.1.0

2.解壓 PyAlink 1.10 的 whl 包

解壓后的文件結(jié)構(gòu)如下圖所示墓赴,在 pyalink/lib 下為集群部署所需的三個(gè) jar 包。

image

在 Standalone 集群上部署

將前面獲取的三個(gè) Jar 包拷貝到 Flink 目錄下航瞭,再啟動(dòng) Flink 集群即可诫硕。

  • 在 Flink 配置中增加:classloader.resolve-order: parent-first

  • 在 flink-[版本號(hào)]目錄下,運(yùn)行 bin/start-cluster.sh 啟動(dòng)集群

  • bin/taskmanager.sh start 可以增加 TM

更多內(nèi)容可以參考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/cluster_setup.html

在 Kubernetes 集群上部署

將前面獲取的三個(gè) Jar 包放置進(jìn) Docker 鏡像中刊侯,并將以下三個(gè)命令添加進(jìn) DockerFile章办,打包鏡像即可。

ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar

使用 Flink 官方提供的部署方式滨彻,其中增加 classloader.resolve-order: parent-first 配置項(xiàng)藕届。參考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市疮绷,隨后出現(xiàn)的幾起案子翰舌,更是在濱河造成了極大的恐慌嚣潜,老刑警劉巖冬骚,帶你破解...
    沈念sama閱讀 206,839評(píng)論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡只冻,警方通過查閱死者的電腦和手機(jī)庇麦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來喜德,“玉大人山橄,你說我怎么就攤上這事∩崦酰” “怎么了航棱?”我有些...
    開封第一講書人閱讀 153,116評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)萌衬。 經(jīng)常有香客問我饮醇,道長(zhǎng),這世上最難降的妖魔是什么秕豫? 我笑而不...
    開封第一講書人閱讀 55,371評(píng)論 1 279
  • 正文 為了忘掉前任朴艰,我火速辦了婚禮,結(jié)果婚禮上混移,老公的妹妹穿的比我還像新娘祠墅。我一直安慰自己,他們只是感情好歌径,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評(píng)論 5 374
  • 文/花漫 我一把揭開白布毁嗦。 她就那樣靜靜地躺著,像睡著了一般沮脖。 火紅的嫁衣襯著肌膚如雪金矛。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,111評(píng)論 1 285
  • 那天勺届,我揣著相機(jī)與錄音驶俊,去河邊找鬼。 笑死免姿,一個(gè)胖子當(dāng)著我的面吹牛饼酿,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播胚膊,決...
    沈念sama閱讀 38,416評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼故俐,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼泼差!你這毒婦竟也來了场勤?” 一聲冷哼從身側(cè)響起会油,我...
    開封第一講書人閱讀 37,053評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤昼接,失蹤者是張志新(化名)和其女友劉穎斗这,沒想到半個(gè)月后陆错,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體胰丁,經(jīng)...
    沈念sama閱讀 43,558評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡福荸,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了还栓。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片碌廓。...
    茶點(diǎn)故事閱讀 38,117評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖剩盒,靈堂內(nèi)的尸體忽然破棺而出谷婆,到底是詐尸還是另有隱情,我是刑警寧澤辽聊,帶...
    沈念sama閱讀 33,756評(píng)論 4 324
  • 正文 年R本政府宣布纪挎,位于F島的核電站,受9級(jí)特大地震影響跟匆,放射性物質(zhì)發(fā)生泄漏廷区。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評(píng)論 3 307
  • 文/蒙蒙 一贾铝、第九天 我趴在偏房一處隱蔽的房頂上張望隙轻。 院中可真熱鬧,春花似錦垢揩、人聲如沸玖绿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽斑匪。三九已至,卻和暖如春锋勺,著一層夾襖步出監(jiān)牢的瞬間蚀瘸,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評(píng)論 1 262
  • 我被黑心中介騙來泰國(guó)打工庶橱, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留贮勃,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,578評(píng)論 2 355
  • 正文 我出身青樓苏章,卻偏偏與公主長(zhǎng)得像寂嘉,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子枫绅,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評(píng)論 2 345