1丁寄、Flink簡介
Apache Flink是一個框架和分布式處理引擎苔可，用于對無界和有界數(shù)據(jù)流進行有狀態(tài)計算臀蛛。Flink被設(shè)計在所有常見的集群環(huán)境中運行刊殉，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計算闺阱。
Flink起源于Stratosphere項目炮车，Stratosphere是在2010~2014年由3所地處柏林的大學和歐洲的一些其他的大學共同進行的研究項目，2014年4月Stratosphere的代碼被復制并捐贈給了Apache軟件基金會酣溃，參加這個孵化項目的初始成員是Stratosphere系統(tǒng)的核心開發(fā)人員瘦穆，2014年12月，F(xiàn)link一躍成為Apache軟件基金會的頂級項目赊豌。
Flink雖然誕生的早(2010年)扛或，但是其實是起大早趕晚集，直到2015年才開始突然爆發(fā)熱度碘饼。
在Flink被apache提升為頂級項目之后熙兔，阿里實時計算團隊決定在阿里內(nèi)部建立一個Flink 分支 Blink，并對 Flink 進行大量的修改和完善艾恼，讓其適應(yīng)阿里巴巴這種超大規(guī)模的業(yè)務(wù)場景住涉。
Blink由2016年上線，服務(wù)于阿里集團內(nèi)部搜索钠绍、推薦舆声、廣告和螞蟻等大量核心實時業(yè)務(wù)。與2019年1月Blink正式開源，目前阿里70%的技術(shù)部門都有使用該版本媳握。
Blink比起Flink的優(yōu)勢就是對SQL語法的更完善的支持以及執(zhí)行SQL的性能提升碱屁。
2、Flink 安裝部署 HA
a:下載 Flink tar 包
略坑的地方是蛾找，flink 包賊難下載娩脾，巨慢，有需要聯(lián)系博主
b:解壓 Flink tar 包
當我們解壓完成后打毛，看一下原始目錄
c:修改conf 下 ?flink-conf.yaml
jobmanager.rpc.address: stat-master
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 2
parallelism.default: 1
taskmanager.tmp.dirs: /opt/hadoop/flink-1.7.0/tmp
high-availability: zookeeper
high-availability.storageDir: hdfs://stat-master:9000/flink/ha/
high-availability.zookeeper.quorum: core-master:2181,core-slave01:2181,core-slave02:2181
high-availability.zookeeper.client.acl: open
state.backend: filesystem
state.checkpoints.dir: hdfs://stat-master:9000/flink-checkpoints
rest.port: 8081
d:修改 conf 下 masters
這時候有大家可能不知道我的hosts文件映射晦雨，我截圖給大家說明
e:修改conf 下 slaves
f:修改 conf下 zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181
server.1=core-master:2888:3888
server.2=core-slave01:2888:3888
server.3=core-slave02:2888:3888
g:分別上傳 給各個機器?
h:啟動 / 停止 flink 集群
進入到 bin 目錄下 執(zhí)行?
啟動?./start-cluster.sh
停止?./stop-cluster.sh
jps 查看進程
i:驗證服務(wù)是否啟動成功
進行模擬連接 webUI 執(zhí)行?curl 172.16.16.204:8081
查看端口號??netstat -tunlp
webUI 界面
然后進行kill 掉進程 進行了切換
至此 Flink HA 全部搭建完畢，后續(xù)博主會更新如何提交任務(wù)隘冲，F(xiàn)link 使用以及整體鏈路闹瞧，如果幫助到大家記得點個贊哦~
