Mac 在IDEA 部署flink 并編寫第一個(gè)流式WordCount程序

1磕蛇、環(huán)境配置

Java 環(huán)境配置:https://www.runoob.com/java/java-environment-setup.html

Maven 教程:https://www.runoob.com/maven/maven-setup.html

Intellij Idea:https://www.jetbrains.com/idea/

2、創(chuàng)建Maven 項(xiàng)目

簡單使用Intellij Idea內(nèi)置的Maven工具創(chuàng)建

(1)

(2)

(3)

(4)

(5)

(6)

這里特別重要堰乔,否則會(huì)沒有src目錄

(7)

這里就算安裝成功了,語句可以在這里寫

object StreamingJob {

? def main(args: Array[String]) {

? ? // 創(chuàng)建 Flink 執(zhí)行環(huán)境

? ? val env = StreamExecutionEnvironment.getExecutionEnvironment

? ? // 接收socket的輸入流

? ? // 使用本地9000端口脐恩,如端口被占用可換一個(gè)端口

? ? val textStream = env.socketTextStream("localhost", 9000, '\n')

? ? // 使用Flink算子對(duì)輸入流的文本進(jìn)行操作

? ? // 按空格切詞镐侯、計(jì)數(shù)、分組驶冒、設(shè)置時(shí)間窗口苟翻、聚合

? ? val windowWordCount = textStream

? ? ? .flatMap(line => line.split("\\s"))

? ? ? .map(word => (word, 1))

? ? ? .keyBy(0)

? ? ? //.timeWindow(Time.seconds(5))

? ? ? .sum(1)

? ? // 單線程打印結(jié)果

? ? windowWordCount.print().setParallelism(1)

? ? // execute program

? ? env.execute("Socket Window WordCount")

? }

}

3、啟動(dòng)任務(wù)

(1)終端寫入nc -l 9000

(2)

(3)

(4)

4骗污、本地部署flink 集群

(1) 終端輸入brew info apache-flink 查詢你的安裝目錄

(2)$ cd /usr/local/Cellar/apache-flink/1.9.0


(3)$ ./libexec/bin/start-cluster.sh


這就算啟動(dòng)起來了

(4) 網(wǎng)頁輸入http://localhost:8081/就能看到這樣的頁面


5崇猫、將任務(wù)打包成jar,發(fā)布到集群中

(1)

(2)

(3)

(4)

6身堡、停止集群

終端輸入

$ cd /usr/local/Cellar/apache-flink/1.9.0

$ ./libexec/bin/stop-cluster.sh

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末邓尤,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌汞扎,老刑警劉巖季稳,帶你破解...
    沈念sama閱讀 217,826評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異澈魄,居然都是意外死亡景鼠,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門痹扇,熙熙樓的掌柜王于貴愁眉苦臉地迎上來铛漓,“玉大人,你說我怎么就攤上這事鲫构∨ǘ瘢” “怎么了?”我有些...
    開封第一講書人閱讀 164,234評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵结笨,是天一觀的道長包晰。 經(jīng)常有香客問我,道長炕吸,這世上最難降的妖魔是什么伐憾? 我笑而不...
    開封第一講書人閱讀 58,562評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮赫模,結(jié)果婚禮上树肃,老公的妹妹穿的比我還像新娘。我一直安慰自己瀑罗,他們只是感情好胸嘴,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著斩祭,像睡著了一般筛谚。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上停忿,一...
    開封第一講書人閱讀 51,482評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音蚊伞,去河邊找鬼席赂。 笑死,一個(gè)胖子當(dāng)著我的面吹牛时迫,可吹牛的內(nèi)容都是我干的颅停。 我是一名探鬼主播,決...
    沈念sama閱讀 40,271評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼掠拳,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼癞揉!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,166評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤喊熟,失蹤者是張志新(化名)和其女友劉穎柏肪,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體芥牌,經(jīng)...
    沈念sama閱讀 45,608評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡烦味,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了壁拉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片谬俄。...
    茶點(diǎn)故事閱讀 39,926評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖弃理,靈堂內(nèi)的尸體忽然破棺而出溃论,到底是詐尸還是另有隱情,我是刑警寧澤痘昌,帶...
    沈念sama閱讀 35,644評(píng)論 5 346
  • 正文 年R本政府宣布钥勋,位于F島的核電站,受9級(jí)特大地震影響控汉,放射性物質(zhì)發(fā)生泄漏笔诵。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評(píng)論 3 329
  • 文/蒙蒙 一姑子、第九天 我趴在偏房一處隱蔽的房頂上張望乎婿。 院中可真熱鬧,春花似錦街佑、人聲如沸谢翎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽森逮。三九已至,卻和暖如春磁携,著一層夾襖步出監(jiān)牢的瞬間褒侧,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評(píng)論 1 269
  • 我被黑心中介騙來泰國打工谊迄, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留闷供,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,063評(píng)論 3 370
  • 正文 我出身青樓统诺,卻偏偏與公主長得像歪脏,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子粮呢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評(píng)論 2 354