Flink 快速入門(隨意翻譯---不一定準(zhǔn)確)

原文鏈接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/quickstart/setup_quickstart.html

Setup: Download and Start Flink

Flink可以運(yùn)行在Linux狰右、Mac OS X以及Windows中,F(xiàn)link運(yùn)行的唯一條件就是安裝Java

7.X以上的版本的jdk抓半。Windows用戶請(qǐng)查看一下Flink on Windows文檔递礼,這個(gè)文檔描述了如何在window運(yùn)行單機(jī)的Flink割疾。Flink on Windows:https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/flink_on_windows.html

你可以通過下面的命令行來查看安裝的Java版本是否正確:

java -version

如果你安裝的是Java 8的話垒手,會(huì)返回下面的信息:

java version"1.8.0_111"

Java(TM)SE Runtime Environment(build 1.8.0_111-b14)

Java HotSpot(TM)64-Bit Server VM(build 25.111-b14, mixed mode)

Downloadand Compile

從Flink的代碼庫中clone代碼题暖,如下:

$git clone https://github.com/apache/flink.git

$cdflink

$mvn clean package -DskipTests# this will take up to 10 minutes

$cdbuild-target# this is where Flink is installed to

Starta Local Flink Cluster

$./bin/start-local.sh# Start Flink

通過http://localhost:8081來檢查JobManager的Web前臺(tái)单刁,確保每一個(gè)進(jìn)程都起來了。在這個(gè)Web前臺(tái)中應(yīng)該只有一個(gè)TaskManager實(shí)例猜拾。


還可以通過檢查日志目錄中的日志文件來判斷系統(tǒng)是否正常運(yùn)行

$tail log/flink-*-jobmanager-*.log

INFO ... - Starting JobManager

INFO ... - Starting JobManager web frontend

INFO ... - Web frontend listening at 127.0.0.1:8081

INFO ... - Registered TaskManager at 127.0.0.1(akka://flink/user/taskmanager)

Readthe Code

你可以在GitHub中查看到這個(gè)SocketWindowWordCount實(shí)例完整的Java代碼和Scala代碼即舌。

Scala:

object SocketWindowWordCount {??

? def main(args: Array[String]) : Unit = {? ? ? ? // the port to connect to?

?? ? ? val port: Int = try {? ? ? ? ? ??

? ? ? ? ? ? ParameterTool.fromArgs(args).getInt("port")? ? ? ??

? ? ? ?} catch {? ? ? ? ? ?

? ? ? ? ? ? ?case e: Exception => {?

?? ? ? ? ? ? ? System.err.println("No port specified. Please run 'SocketWindowWordCount --port'")

? ? ? ? ? ? ? ?return

? ? ? ? }

}

// get the execution environment

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

// get input data by connecting to the socket

val text = env.socketTextStream("localhost", port, '\n')

// parse the data, group it, window it, and aggregate the counts

val windowCounts = text.flatMap { w => w.split("\\s") }

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? .map { w => WordWithCount(w, 1) }

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?.keyBy("word")

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?.timeWindow(Time.seconds(5), Time.seconds(1))

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? .sum("count")

// print the results with a single thread, rather than in parallel

windowCounts.print().setParallelism(1)

env.execute("Socket Window WordCount")

}

// Data type for words with count

case class WordWithCount(word: String, count: Long)

}

Runthe Example

現(xiàn)在我們將去執(zhí)行這個(gè)Flink程序,這個(gè)程序?qū)⑷プx取socket中產(chǎn)生的文本挎袜,并且每隔5秒打印一下前5秒內(nèi)產(chǎn)生的不同的單次產(chǎn)生的次數(shù)顽聂。

首先,我們通過netcat來打開一個(gè)本地的服務(wù):

$nc -l 9000

提交Flink程序

$./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

Cluster configuration: Standalone cluster with JobManager at /127.0.0.1:6123

Using address 127.0.0.1:6123 to connect to JobManager.

JobManager web interface address http://127.0.0.1:8081

Starting execution of program

Submitting job with JobID: 574a10c8debda3dccd0c78a3bde55e1b. Waitingforjob completion.

Connected to JobManager at Actor[akka.tcp://flink@127.0.0.1:6123/user/jobmanager#297388688]

11/04/2016 14:04:50Job execution switched to status RUNNING.

11/04/2016 14:04:50Source: Socket Stream -> Flat Map(1/1)switched to SCHEDULED

11/04/2016 14:04:50Source: Socket Stream -> Flat Map(1/1)switched to DEPLOYING

11/04/2016 14:04:50Fast TumblingProcessingTimeWindows(5000)of WindowedStream.main(SocketWindowWordCount.java:79)-> Sink: Unnamed(1/1)switched to SCHEDULED

11/04/2016 14:04:51Fast TumblingProcessingTimeWindows(5000)of WindowedStream.main(SocketWindowWordCount.java:79)-> Sink: Unnamed(1/1)switched to DEPLOYING

11/04/2016 14:04:51Fast TumblingProcessingTimeWindows(5000)of WindowedStream.main(SocketWindowWordCount.java:79)-> Sink: Unnamed(1/1)switched to RUNNING

11/04/2016 14:04:51Source: Socket Stream -> Flat Map(1/1)switched to RUNNING

程序?qū)⑴csocket連接并等待輸入盯仪,你可以通過web前臺(tái)來查看作業(yè)是否如預(yù)期執(zhí)行紊搪。



單詞在一個(gè)間隔5秒的window(窗口)中執(zhí)行并且打印到stdout中。監(jiān)控JobManager的輸出文件并寫些文檔到nc中全景。

$nc -l 9000

lorem ipsum

ipsum ipsum ipsum

bye

只要單詞源源不斷的流入的話耀石,.out文件將在時(shí)間窗口的最后截止時(shí)間打印出單詞的計(jì)數(shù):例如:

$tail -f log/flink-*-jobmanager-*.out

lorem : 1

bye : 1

ipsum : 4

運(yùn)行結(jié)束后可以停掉Flink:

$./bin/stop-local.sh

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市爸黄,隨后出現(xiàn)的幾起案子滞伟,更是在濱河造成了極大的恐慌,老刑警劉巖炕贵,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件梆奈,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡称开,警方通過查閱死者的電腦和手機(jī)亩钟,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鳖轰,“玉大人径荔,你說我怎么就攤上這事〈圉” “怎么了总处?”我有些...
    開封第一講書人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)睛蛛。 經(jīng)常有香客問我鹦马,道長(zhǎng),這世上最難降的妖魔是什么忆肾? 我笑而不...
    開封第一講書人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任荸频,我火速辦了婚禮,結(jié)果婚禮上客冈,老公的妹妹穿的比我還像新娘旭从。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開白布和悦。 她就那樣靜靜地躺著退疫,像睡著了一般。 火紅的嫁衣襯著肌膚如雪鸽素。 梳的紋絲不亂的頭發(fā)上褒繁,一...
    開封第一講書人閱讀 49,816評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音馍忽,去河邊找鬼棒坏。 笑死,一個(gè)胖子當(dāng)著我的面吹牛遭笋,可吹牛的內(nèi)容都是我干的坝冕。 我是一名探鬼主播,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼瓦呼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼喂窟!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起吵血,我...
    開封第一講書人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎偷溺,沒想到半個(gè)月后蹋辅,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡挫掏,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年侦另,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片尉共。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡褒傅,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出袄友,到底是詐尸還是另有隱情殿托,我是刑警寧澤,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布剧蚣,位于F島的核電站支竹,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏鸠按。R本人自食惡果不足惜礼搁,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望目尖。 院中可真熱鬧馒吴,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至莹捡,卻和暖如春鬼吵,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背篮赢。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來泰國打工齿椅, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人启泣。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓涣脚,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親寥茫。 傳聞我的和親對(duì)象是個(gè)殘疾皇子遣蚀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 原文鏈接:https://ci.apache.org/projects/flink/flink-docs-rele...
    寫B(tài)ug的張小天閱讀 1,020評(píng)論 0 1
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)纱耻,斷路器芭梯,智...
    卡卡羅2017閱讀 134,633評(píng)論 18 139
  • 車鏈啟示 夏季 午后 雨初過 想去逛街 準(zhǔn)備騎車 但棄置太久 鏈條早已生銹 忽然想起老同學(xué) 打個(gè)電話 表示問候 ...
    莫須有V閱讀 269評(píng)論 0 2
  • 宜家東西的好處就是自己可以組裝
    turbop閱讀 168評(píng)論 0 1
  • (1)今天約見保險(xiǎn)業(yè)精英,曾同事弄喘,參觀環(huán)保超市玖喘,在現(xiàn)場(chǎng)才知道超市服務(wù)臺(tái)不予辦理會(huì)員,只能網(wǎng)上辦理蘑志,第一次遇見這事累奈,...
    森林晨曦閱讀 168評(píng)論 0 0