背景
實驗室環(huán)境能夠申請的環(huán)境就是ZDH中興的R4B4集群,尚未能支持Flink組件。根據(jù)咨詢ZDH工程師,最新版本的應(yīng)該已經(jīng)有Flink組件了搂妻,但是仍然是實驗性質(zhì),并不會立即商業(yè)支持辕棚。準(zhǔn)備配置1臺master+三臺slave小集群欲主。
啟動Flink 報錯 sed -E 不支持
自己下載Flink1.7.2 部署到集群master邓厕,嘗試啟動Flink ,報錯:
sed: invalid option -- E
這個是ZDH 不支持 sed -E 改成 sed -e 即可扁瓢,
對應(yīng)修改Flink bin 文件夾下 config.sh 文件中 sed -E 為 sed -e 详恼,記得應(yīng)該就一處
JDK 版本不支持
由于ZDH組件 安裝Java JDK還是1.7的,而目前準(zhǔn)備部署Flink 1.7.2版本引几,必須要Java JDK1.8+ 昧互, 否則無法運行Flink
嘗試運行 start-cluster.sh 會報UnsupportedClassVersionError 錯:
java.lang.UnsupportedClassVersionError
為了保證其他組件穩(wěn)定,不能直接修改安裝JDK1.8伟桅,所以需要單獨直接配置Flink對應(yīng)的JDK 敞掘,剛開始網(wǎng)上搜索需要在, flink-conf.yaml 指定Flink java home
env.java.home: /path_to_jdk1.8/
注意 配置變量的時候冒號后面要有空格贿讹,否則無效(折騰了好一會兒)
最后在官網(wǎng)看到 env.java.home 說明
env.java.home: The path to the Java installation to use (DEFAULT: system’s default Java installation, if found). Needs to be specified if the startup scripts fail to automatically resolve the java home directory. Can be specified to point to a specific java installation or version. If this option is not specified, the startup scripts also evaluate the JAVA_HOME environment variable.
至此渐逃,可以愉快的啟動單機(jī)了够掠。 要配置起來集群民褂,需要把其他三個slave節(jié)點都進(jìn)行同樣的配置,注意Flink路徑也要保持一致疯潭。
Standalone 集群配置
好麻煩赊堪,把slave節(jié)點都配好jdk1.8之后。 開始繼續(xù)配置集群了竖哩,F(xiàn)link官網(wǎng)寫的很詳細(xì)了Flink官網(wǎng)standalone-cluster
前面jdk也有說明哭廉。兩個地方說明:
- flink-conf.yaml 聲明master地址 jobmanager.rpc.address: master地址
- slaves 中配好 slaves的ip地址(多個就寫多行)
啟動
bin/start-cluster.sh
master 和 slave 通過SSH 溝通,因此可能會遇到讓你輸入slave的密碼相叁。
之后訪問web服務(wù)查看集群狀態(tài)即可遵绰。