Flink學習筆記(1):Word Count

本文是學習Apache Flink的開始,記錄了Flink Local模式的部署,并運行了Word Count例子。

1.下載和部署俊扭。

Flink可以運行在Linux、MacOS和Windows系統(tǒng)上坠陈,需要JDK1.7+的支持萨惑。本文記錄了在linux(CentOS 6.7)上部署過程捐康,默認已經(jīng)安裝了JDK1.8。

1.1 下載

從下面的鏈接中下載二進制的Flink,根據(jù)你喜歡的Hadoop/Scala版本選擇對應的Flink版本庸蔼。
http://flink.apache.org/downloads.html

1.2 部署

我們選擇的版本是flink-1.1.2-bin-hadoop26-scala_2.11.tgz解总,放置在/opt目錄下。

# 去下載目錄
cd /opt
# 解壓下載的壓縮包
tar zxvf flink-1.1.2-bin-hadoop26-scala_2.11.tgz
cd flink-1.1.2
# 啟動Flink
bin/start-local.sh

如要停止Flink朱嘴,請使用命令:bin/stop-local.sh 倾鲫。

如果Flink采用local模式部署,則JobManager和TaskManager在同一個進程內(nèi)萍嬉,可以通過jps 或者 ps -ef|grep flink來查看進程乌昔,只有一個名為JobManager的進程。這一點壤追,在start-local.sh腳本里也可以發(fā)現(xiàn)磕道,腳本內(nèi)容如下。

STREAMING_MODE=$1

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
. "$bin"/config.sh

# local mode, only bring up job manager. 
   # The job manager will start an internal task manager
"$FLINK_BIN_DIR"/jobmanager.sh start local

1.3 訪問Flink監(jiān)控界面

訪問Flink前端界面行冰,確認系統(tǒng)啟動溺蕉,地址:http://localhost:8081

jobmanager-1.png

2. 運行WordCount

在數(shù)據(jù)處理領域悼做,WordCount就是HelloWorld疯特。Flink自帶WordCount例子,它通過socket讀取text數(shù)據(jù)肛走,并且統(tǒng)計每個單詞出現(xiàn)的次數(shù)漓雅。如果你想查閱例子源碼,請點擊鏈接:SocketWindowWordCount源碼朽色。

2.1 啟動本地監(jiān)聽

首先邻吞,使用nc命令啟動一個本地監(jiān)聽,命令是:

nc -l 9000

如果報錯:-bash: command not found葫男,請先安裝nc抱冷,在線安裝命令:yum -y install nc

新開一個shell窗口梢褐,通過netstat命令觀察9000端口旺遮。

netstat -anlp | grep 9000

觀察結(jié)果如下

#協(xié)議 收 發(fā)  內(nèi)部地址        外部地址    狀態(tài)     進程
tcp      0  0    0.0.0.0:9000   0.0.0.0:*  LISTEN  19514/nc

2.2 提交WordCount程序

提交WordCount程序的命令:

cd /opt/flink-1.1.2
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

日志信息如下:

09/23/2016 12:33:49    Job execution switched to status RUNNING.
09/23/2016 12:33:49    Source: Socket Stream -> Flat Map(1/1) switched to SCHEDULED 
09/23/2016 12:33:49    Source: Socket Stream -> Flat Map(1/1) switched to DEPLOYING 
09/23/2016 12:33:49    Fast SlidingProcessingTimeWindows(5000, 1000) of WindowedStream.main(SocketWindowWordCount.java:79) -> Sink: Unnamed(1/1) switched to SCHEDULED 
09/23/2016 12:33:49    Fast SlidingProcessingTimeWindows(5000, 1000) of WindowedStream.main(SocketWindowWordCount.java:79) -> Sink: Unnamed(1/1) switched to DEPLOYING 
09/23/2016 12:33:49    Fast SlidingProcessingTimeWindows(5000, 1000) of WindowedStream.main(SocketWindowWordCount.java:79) -> Sink: Unnamed(1/1) switched to RUNNING 
09/23/2016 12:33:49    Source: Socket Stream -> Flat Map(1/1) switched to RUNNING 

新開一個shell窗口,通過netstat命令觀察9000端口利职。

netstat -anlp | grep 9000

觀察結(jié)果如下趣效,18569是Flink的進程號,19857是nc進程號猪贪,兩者之間建立了一條連接。

#協(xié)議 收 發(fā)  內(nèi)部地址        外部地址    狀態(tài)     進程
tcp  0  0   0.0.0.0:9000   0.0.0.0:*  LISTEN   19857/nc            
tcp  0  0  127.0.0.1:9000  127.0.0.1:57454  ESTABLISHED 19857/nc            
tcp  0    0  ::ffff:127.0.0.1:57454  ::ffff:127.0.0.1:9000  ESTABLISHED 18569/java

Flink前端界面可以觀察到有一個Running Job讯私。

![Uploading jobmanager-3_342282.png . . .]
jobmanager-3.png

2.3 發(fā)送數(shù)據(jù)

在啟動nc的shell窗口热押,輸入

cup cup cup water water
Paste_Image.png

新開一個shell窗口西傀,去/opt/flink-1.1.2/log目錄下,執(zhí)行tail -f flink*.out,可以查看到word count的結(jié)果桶癣。

cup : 3
water : 2

如要停止Flink拥褂,請使用命令:bin/stop-local.sh

https://ci.apache.org/projects/flink/flink-docs-release-1.1/quickstart/setup_quickstart.html

(完)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市牙寞,隨后出現(xiàn)的幾起案子饺鹃,更是在濱河造成了極大的恐慌,老刑警劉巖间雀,帶你破解...
    沈念sama閱讀 211,817評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件悔详,死亡現(xiàn)場離奇詭異,居然都是意外死亡惹挟,警方通過查閱死者的電腦和手機茄螃,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來连锯,“玉大人,你說我怎么就攤上這事∫胝蹋” “怎么了搀矫?”我有些...
    開封第一講書人閱讀 157,354評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長摇展。 經(jīng)常有香客問我吻氧,道長,這世上最難降的妖魔是什么吗购? 我笑而不...
    開封第一講書人閱讀 56,498評論 1 284
  • 正文 為了忘掉前任医男,我火速辦了婚禮,結(jié)果婚禮上捻勉,老公的妹妹穿的比我還像新娘镀梭。我一直安慰自己,他們只是感情好踱启,可當我...
    茶點故事閱讀 65,600評論 6 386
  • 文/花漫 我一把揭開白布报账。 她就那樣靜靜地躺著,像睡著了一般埠偿。 火紅的嫁衣襯著肌膚如雪透罢。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,829評論 1 290
  • 那天冠蒋,我揣著相機與錄音羽圃,去河邊找鬼。 笑死抖剿,一個胖子當著我的面吹牛朽寞,可吹牛的內(nèi)容都是我干的识窿。 我是一名探鬼主播,決...
    沈念sama閱讀 38,979評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼脑融,長吁一口氣:“原來是場噩夢啊……” “哼喻频!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起肘迎,我...
    開封第一講書人閱讀 37,722評論 0 266
  • 序言:老撾萬榮一對情侶失蹤甥温,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后妓布,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體姻蚓,經(jīng)...
    沈念sama閱讀 44,189評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,519評論 2 327
  • 正文 我和宋清朗相戀三年秋茫,在試婚紗的時候發(fā)現(xiàn)自己被綠了史简。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,654評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡肛著,死狀恐怖圆兵,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情枢贿,我是刑警寧澤殉农,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站局荚,受9級特大地震影響超凳,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜耀态,卻給世界環(huán)境...
    茶點故事閱讀 39,940評論 3 313
  • 文/蒙蒙 一轮傍、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧首装,春花似錦创夜、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至系奉,卻和暖如春檬贰,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背缺亮。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1 266
  • 我被黑心中介騙來泰國打工翁涤, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 46,382評論 2 360
  • 正文 我出身青樓迷雪,卻偏偏與公主長得像限书,于是被迫代替她去往敵國和親虫蝶。 傳聞我的和親對象是個殘疾皇子章咧,可洞房花燭夜當晚...
    茶點故事閱讀 43,543評論 2 349

推薦閱讀更多精彩內(nèi)容