在 Flink 集群部署 Alink匠童,需要部署三個(gè) Jar 包(本文會(huì)有一個(gè)部分專門講述如何獲取)塑顺,對(duì)于不同 Flink 集群環(huán)境汤求,方式有些區(qū)別,本文主要討論 Standalone 集群和 Kubernetes 集群严拒。
獲取集群部署所需 Jar 包
由于 Alink 可以通過 Java 和 Python 兩種方式提交扬绪,建議在集群部署的時(shí)候?qū)⑾嚓P(guān) Jar 包一起部署上去。Alink 雖然沒有單獨(dú)提供集群部署 Jar 包的下載裤唠,但是所需 Jar 包與 PyAlink 所用的相同挤牛。所以可以從 PyAlink 的安裝 whl 包中獲取。具體方式如下:
1.下載 PyAlink 1.10 的 whl 包种蘸,相關(guān)鏈接:
https://github.com/alibaba/Alink/releases/tag/v1.1.0
2.解壓 PyAlink 1.10 的 whl 包
解壓后的文件結(jié)構(gòu)如下圖所示墓赴,在 pyalink/lib 下為集群部署所需的三個(gè) jar 包。
在 Standalone 集群上部署
將前面獲取的三個(gè) Jar 包拷貝到 Flink 目錄下航瞭,再啟動(dòng) Flink 集群即可诫硕。
在 Flink 配置中增加:classloader.resolve-order: parent-first
在 flink-[版本號(hào)]目錄下,運(yùn)行 bin/start-cluster.sh 啟動(dòng)集群
bin/taskmanager.sh start 可以增加 TM
更多內(nèi)容可以參考:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/cluster_setup.html
在 Kubernetes 集群上部署
將前面獲取的三個(gè) Jar 包放置進(jìn) Docker 鏡像中刊侯,并將以下三個(gè)命令添加進(jìn) DockerFile章办,打包鏡像即可。
ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar
使用 Flink 官方提供的部署方式滨彻,其中增加 classloader.resolve-order: parent-first 配置項(xiàng)藕届。參考:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html