好玩的大數(shù)據(jù)之53:flink編程實(shí)驗(yàn)3(利用eclipse +maven構(gòu)造flink-quick-start程序,java版)

一亲桦、簡介


? ??????Eclipse 是一個開放源代碼的求晶、基于Java的可擴(kuò)展開發(fā)平臺焰雕。就其本身而言,它只是一個框架和一組服務(wù)芳杏,用于通過插件組件構(gòu)建開發(fā)環(huán)境淀散。幸運(yùn)的是,Eclipse 附帶了一個標(biāo)準(zhǔn)的插件集蚜锨,包括Java開發(fā)工具(Java Development Kit档插,JDK)

? ? ? ? 本文基于windows環(huán)境下來安裝和配置eclipse,以創(chuàng)建flink版的WordCount為例亚再,介紹eclipse+maven來開發(fā)大數(shù)據(jù)相關(guān)應(yīng)用郭膛,關(guān)于eclipse本身的使用不做介紹。

二氛悬、下載


? ? ? ? ? ? 下載地址:https://www.eclipse.org/downloads/

? ? ? ? ? ? 下載得到:eclipse-java-2020-06-R-win32-x86_64.zip

三则剃、安裝


? ? ? ? 不需要安裝,直接解壓縮后就可以使用如捅,解壓縮后雙擊eclipse.exe即可

四棍现、配置


? ? ? 1.安裝maven

? ? ? ? 在進(jìn)行下一步之前,需要安裝好maven镜遣,maven的安裝其實(shí)就是解壓縮

? ? ? 2.配置maven環(huán)境變量

? ? ? ? windows環(huán)境下的安裝方法與linux基本一致:就是找個解壓縮軟件己肮,將其解壓縮到某一個目錄即可,然后在環(huán)境變量中添加MAVEN_HOME,以及在PATH中添加%MAVEN_HOME%\bin即可

? ? ? ? 文件管理器在“此電腦”圖標(biāo)上右擊鼠標(biāo)=>屬性

屬性


高級系統(tǒng)設(shè)置

增加MAVEN_HOME及MAVEN_OPTS

MAVEN_HOME


? ? ? 2.配置maven國內(nèi)倉庫(maven編譯時需要下載n多文件谎僻,國內(nèi)倉庫會大大加快下載速度)

? ? ? ? 找到maven安裝目錄下的conf子目錄娄柳,其下有一個settings.xml文件,打開編輯之

? ???????找到<mirrors>艘绍,在其下增加以下子元素:

? ?????? <mirror>

? ? ? <id>alimaven</id>

? ? ? <name>aliyun maven</name>

? ? ? <url>http://maven.aliyun.com/nexus/content/groups/public/</url>

? ? ? <mirrorOf>central</mirrorOf>

? ? </mirror>

? ? ? 3.在eclipse里配置maven安裝目錄

? ? ? ? ?點(diǎn)擊菜單windows=>performance

performance

? ? ? ? 選擇左邊的Maven=>installations赤拒,然后點(diǎn)擊右邊的add...按鈕

添加maven安裝位置

? ? ? ? ?選擇maven的安裝路徑,安裝名自動會顯示诱鞠,保留該名則可

設(shè)置maven安裝路徑

? ? ? ? 選擇剛添加的maven的安裝路徑挎挖,然后Apply and Close

選中剛剛的maven安裝目錄

????4.在eclipse里配置maven參數(shù)文件位置

? ??????????點(diǎn)擊菜單windows=>performance

????????????選擇左邊的Maven=>User Settings,然后點(diǎn)擊右邊的Browse...按鈕航夺,在打開的對話框中選中maven安裝目錄下conf子目錄下的settings.xml文件肋乍,然后選擇Update Settings,再選擇Apply and Close

配置maven參數(shù)文件位置


五敷存、創(chuàng)建項(xiàng)目(project)


點(diǎn)擊菜單File=>New

New Project

? ? ? ? 選擇Maven下的Maven Project墓造,然后Next

Maven Project

? ? ? ? 選Next

Next

? ? ? ? ? ? 這一步很關(guān)鍵俄(我在這里卡了N久),選擇Configure...

Configure

? ? ? ? ? ? ? ? 選Add Remote Catalog...

Add Remote Catalog...

? ? ? ? Catalog File:https://mirrors.huaweicloud.com/repository/maven/

? ? ? ? ? ? ? ? ?注锚烦,測試發(fā)現(xiàn)阿里的maven倉庫地址不行

? ? ? ? Desciption:????huawei(隨意)

? ? ? ? 點(diǎn)擊Verify...可以驗(yàn)證一下地址

? ? ? ? 最后OK

添加Remote地址

? ? ? ? 選擇本地和huawei,選擇Apply and Close

在Catalog中選擇All Catalogs

在Filter中?輸入flink

然后選擇GoupID為org.apache.flink的其中一個Artifact觅闽,Next

選擇ArtheType

輸入Groupid,Artifact id涮俄,然后Finish

Finish

之后eclipse會下載依賴的文件蛉拙,同時報(bào)一堆錯,這是由于flink的版本號問題造成的

打開pom.xml彻亲,修改版本號后保存

? ? flink:1.11.1

? ? scala:? 2.11

配置Run Configuration...

配置Run Configuration..

配置Run Configuration...

設(shè)置Name

點(diǎn)擊WorkSpace

在Goals中輸入:clearn compile package

選擇: Skip Tests

?最后Run

Run

開始編譯和打包

開始下載孕锄、編譯、打包


打包成功

在文件管理器中會發(fā)現(xiàn)jar文件

包文件

運(yùn)行之:

flink run -m master:8081 -c?Group1.FlinkTest.BatchJob?FlinkTest-0.0.1-SNAPSHOT.jar?

結(jié)果出現(xiàn)錯誤:rg.apache.flink.client.program.ProgramInvocationException: The main method caused an error: No data sinks have been created yet. A program needs at least one sink that consumes data. Examples are writing the data set or printing it.

出錯了

從flink.apache.org下載flink-1.11.1-src.tgz苞尝,(下載地址:https://www.apache.org/dyn/closer.lua/flink/flink-1.11.1/flink-1.11.1-src.tgz)

也可以從https://github.com/中搜flink畸肆,然后點(diǎn)擊apache/flink下載源碼

將flink-1.11.1-src.tgz解壓縮后,

找到子目錄\flink-1.11.1-src\flink-1.11.1\flink-examples\flink-examples-batch\src\main\java\org\apache\flink\examples\java\wordcount

copy文件

將其下的WordCount.java文件及util文件夾復(fù)制到FlinkTest工程的以下子目錄下

FlinkTest\src\main\java\Group1\FlinkTest

然后到eclipse宙址,在FlinkTest右擊鼠標(biāo)轴脐,選擇refresh

refresh

刷新后,文件就出來了

把WordCountData.java中的package全改為 package Group1.FlinkTest.util;

修改WordCountData.java

把WordCount.java中的

package改為Group1.FlinkTest

import org.apache.flink.examples.java.wordcount.util.WordCountData;

改為

import Group1.FlinkTest.util.WordCountData;

修改Wordcount.java

選中項(xiàng)目FlinkTest抡砂,點(diǎn)擊菜單Run=>Run As=>Maven build

rebuild

編譯大咱,打包成功

編譯,打包成功


運(yùn)行之:

flink run -m master:8081 -c?Group1.FlinkTest.WordCount FlinkTest-0.0.1-SNAPSHOT.jar --input $FLINK_HOME/LICENSE --output /home/hadoop/wordcount-result001.txt

本地文件

也可以到hdfs里面試試身手

hadoop fs -put?$FLINK_HOME/LICENSE /mylab/mydata

hadoop fs -ls /mylab/mydata

flink run -m master:8081 -c?Group1.FlinkTest.WordCount FlinkTest-0.0.1-SNAPSHOT.jar --input?hdfs:///mylab/mydata/LICENSE --output hdfs:///mylab/mydata/wordcount-result001.txt

hdfs

至此注益,全部搞定碴巾!


七、排錯


有時候出現(xiàn)問題的話丑搔,也有網(wǎng)上說厦瓢,在pom.xml提揍,找到 <build>在其后面添加子元素

<defaultGoal>compile</defaultGoal>

然后再選擇菜單Run=>maven build

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市旷痕,隨后出現(xiàn)的幾起案子碳锈,更是在濱河造成了極大的恐慌顽冶,老刑警劉巖欺抗,帶你破解...
    沈念sama閱讀 221,695評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異强重,居然都是意外死亡绞呈,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,569評論 3 399
  • 文/潘曉璐 我一進(jìn)店門间景,熙熙樓的掌柜王于貴愁眉苦臉地迎上來佃声,“玉大人,你說我怎么就攤上這事倘要』鳎” “怎么了?”我有些...
    開封第一講書人閱讀 168,130評論 0 360
  • 文/不壞的土叔 我叫張陵封拧,是天一觀的道長志鹃。 經(jīng)常有香客問我,道長泽西,這世上最難降的妖魔是什么曹铃? 我笑而不...
    開封第一講書人閱讀 59,648評論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮捧杉,結(jié)果婚禮上陕见,老公的妹妹穿的比我還像新娘。我一直安慰自己味抖,他們只是感情好评甜,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,655評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著仔涩,像睡著了一般蜕着。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上红柱,一...
    開封第一講書人閱讀 52,268評論 1 309
  • 那天承匣,我揣著相機(jī)與錄音,去河邊找鬼锤悄。 笑死韧骗,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的零聚。 我是一名探鬼主播袍暴,決...
    沈念sama閱讀 40,835評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼些侍,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了政模?” 一聲冷哼從身側(cè)響起岗宣,我...
    開封第一講書人閱讀 39,740評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎淋样,沒想到半個月后耗式,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,286評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡趁猴,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,375評論 3 340
  • 正文 我和宋清朗相戀三年刊咳,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片儡司。...
    茶點(diǎn)故事閱讀 40,505評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡娱挨,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出捕犬,到底是詐尸還是另有隱情跷坝,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布碉碉,位于F島的核電站柴钻,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏誉裆。R本人自食惡果不足惜顿颅,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,873評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望足丢。 院中可真熱鬧粱腻,春花似錦、人聲如沸斩跌。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,357評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽耀鸦。三九已至柬批,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間袖订,已是汗流浹背氮帐。 一陣腳步聲響...
    開封第一講書人閱讀 33,466評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留洛姑,地道東北人上沐。 一個月前我還...
    沈念sama閱讀 48,921評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像楞艾,于是被迫代替她去往敵國和親参咙。 傳聞我的和親對象是個殘疾皇子龄广,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,515評論 2 359