flink學習筆記-環(huán)境搭建篇
flink部署模式總的來講分為三種：Local、Standlone八孝、Flink On Yarn/Mesos/K8s酝掩、S3等舔，Local模式相對比較簡單牺荠，可以直接參照官網(wǎng)翁巍，由于官網(wǎng)文檔在HA模式搭建不是很清晰，尤其是與Hadoop生態(tài)體系集成時休雌，沒有一個很好的引導灶壶，故本文將著重介紹后面兩種常用模式的配置搭建即：Standlone和Flink On Yarn。
一杈曲、環(huán)境清單：
1.系統(tǒng)：Mac OS驰凛、Linux 系統(tǒng)或者 Windows?
2.虛擬機：VMware funsion? 基于虛擬機的CentOS7安裝包 (可選)
3.Java運行環(huán)境 ：?Java 版本至少是Java 8 或者 java 8 +
4.flink-1.10.0-bin-scala_2.11.tgz? ?下載地址：flink官網(wǎng)下載地址
5.?hadoop-2.6.0-cdh5.16.2.tar.gz? 可從官網(wǎng)下載
6.Hadoop環(huán)境集成依賴jar包?flink-shaded-hadoop-2-uber-2.6.5-10.0.jar??flink-shaded-hadoop-2-uber-2.6.5-10.0?
二、Standalone模式部署
使用VMware虛擬機基于CentOS7搭建一個3個節(jié)點的集群：node01担扑，node02恰响，node03
節(jié)點角色分配
master節(jié)點：node01
slave節(jié)點：node02，node03
1）三臺節(jié)點先配置ssh免密登錄涌献，然后將flink-1.10.0-bin-scala_2.11.tgz 胚宦、hadoop-2.6.0-cdh5.16.2.tar.gz包上傳到node01節(jié)點。
scp? flink-1.10.0-bin-scala_2.11.tgz??root@node01:/apps/bigdata/
將flink-1.10.0-bin-scala_2.11.tgz 壓縮包解壓到指定目錄flink
tar -zxvf?flink-1.10.0-bin-scala_2.11.tgz -C flink
2）修改flink/conf/目錄下flink-conf.yaml
vim? flink/conf/flink-conf.yaml
##配置master節(jié)點ip
jobmanager.rpc.address: node01
##配置slave節(jié)點可用內(nèi)存燕垃，單位MB
taskmanager.heap.mb: 2048
##配置每個節(jié)點的可用slot枢劝，1 核CPU對應 1 slot
##the number of available CPUs per machine
taskmanager.numberOfTaskSlots: 5?
##默認并行度 1 slot資源
parallelism.default: 1
3）修改slave節(jié)點配置文件slaves，將node02卜壕、node3節(jié)點寫入
vim slaves
node02
node03
4）將修改好的flink整個目錄遠程拷貝到node02您旁、node03節(jié)點
scp -r flink/ node02:/apps/bigdata/
scp -r flink/ node03:/apps/bigdata/
5）啟動集群
##在master節(jié)點上執(zhí)行此腳本，就可以啟動集群轴捎，前提要保證master節(jié)點到slaver節(jié)點可以免密登錄鹤盒，
##因為它的啟動過程是：先在master節(jié)點啟動jobmanager進程，然后ssh到各slaver節(jié)點啟動taskmanager進程
./bin/start-cluster.sh
停止集群：
./bin/stop-cluster.sh
提交第一個flink任務侦副，執(zhí)行完成輸入即可侦锯。
./bin/flink run examples/streaming/WordCount.jar
三、Flink On Yarn模式
1）解壓hadoop-2.6.0-cdh5.16.2.tar.gz 到指定目錄跃洛，設置Hadoop環(huán)境變量率触，如果系統(tǒng)已配置好hadoop環(huán)境可以忽略
tar -zxvf??hadoop-2.6.0-cdh5.16.2.tar.gz? -C hadoop
vim /etc/profile?
#設置hadoop路徑
export HADOOP_CONF_DIR=/apps/bigdata/hadoop/
2）將flink與hadoop環(huán)境集成依賴包flink-shaded-hadoop-2-uber-2.6.5-10.0.jar放入flink/lib目錄
3）查看使用方法
./bin/yarn-session.sh -h
3）開啟動一個YARN session 即?開啟一個Yarn 模式的 Flink 集群
./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m -s 8
上面命令啟動了4個TaskManager终议，每個TaskManager內(nèi)存為4G且占用了8個核(是每個TaskManager汇竭，默認是1個核)。在啟動YARN session的時候會加載conf/flink-config.yaml配置文件穴张，我們可以根據(jù)自己的需求去修改里面的相關參數(shù).
YARN session啟動之后就可以使用bin/flink來啟動提交作業(yè)
./bin/flink run examples/streaming/WordCount.jar --input /apps/bigdata/logs/input --output /apps/bigdata/logs/output
后臺運行 yarn session
如果你不希望flink yarn client一直運行细燎，也可以啟動一個后臺運行的yarn session。使用這個參數(shù)：-d 或者 --detached 在這種情況下皂甘，flink yarn client將會只提交任務到集群然后關閉自己玻驻。注意：在這種情況下，無法使用flink停止yarn session。 必須使用yarn工具來停止yarn session璧瞬。
yarn application -kill <applicationId>?
