Storm簡(jiǎn)介
Apache Storm是一個(gè)分布式實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)胞皱。Storm設(shè)計(jì)用于在容錯(cuò)和水平可擴(kuò)展方法中處理大量數(shù)據(jù)躺屁。
Storm框架主要由7部分組成
Topology:一個(gè)實(shí)時(shí)應(yīng)用的計(jì)算任務(wù)被打包作為Topology發(fā)布伍俘,這同Hadoop的MapReduce任務(wù)相似。
Spout:Storm中的消息源,用于為Topology生產(chǎn)消息(數(shù)據(jù))魄衅,一般是從外部數(shù)據(jù)源(如Message Queue廷臼、RDBMS苍在、NoSQL、Realtime Log)不間斷地讀取數(shù)據(jù)并發(fā)送給Topology消息(tuple元組)荠商。
Bolt:Storm中的消息處理者寂恬,用于為Topology進(jìn)行消息的處理,Bolt可以執(zhí)行過濾结啼,聚合掠剑, 查詢數(shù)據(jù)庫(kù)等操作,而且可以一級(jí)一級(jí)的進(jìn)行處理郊愧。
Stream:產(chǎn)生的數(shù)據(jù)(tuple元組)朴译。
Stream grouping:在Bolt任務(wù)中定義的Stream進(jìn)行區(qū)分。
Task:每個(gè)Spout或者Bolt在集群執(zhí)行許多任務(wù)属铁。
Worker:Topology跨一個(gè)或多個(gè)Worker節(jié)點(diǎn)的進(jìn)程執(zhí)行眠寿。
Window開發(fā)環(huán)境安裝
1、安裝JDK
下載最新的JDK1.8安裝焦蘑,這里不詳述
配置環(huán)境變量
新建系統(tǒng)變量:JAVA_HOME 盯拱、CLASSPATH 和Path
變量名:JAVA_HOME
變量值:C:\Program Files\Java\jdk1.8.0_144
變量名:CLASSPATH
變量值:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
變量名:Path
變量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
注意: 變量名JAVA_HOME 的變量值是要根據(jù)你自己安裝jdk的文件目錄,因此如果你更改了安裝文件目錄,就可能和我所給出的不一樣狡逢;
查看是否安裝成功
2宁舰、安裝Maven
下載最新版本的Maven
http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
解壓到指定文件夾,如:D:\Program Files\apache-maven-3.5.0
配置環(huán)境變量
新建系統(tǒng)變量
變量名:MAVEN_HOME
變量值:D:\Program Files\apache-maven-3.5.0
變量名:M2_HOME
變量值:D:\Program Files\apache-maven-3.5.0
變量名:Path
變量值:%MAVEN_HOME%\bin;%M2_HOME%\bin;
查看Maven是否安裝成功
3奢浑、安裝Eclipse
下載Mars以上版本的(因?yàn)镸ars以上自帶maven插件)蛮艰,這里下載Neon版本
http://www.eclipse.org/downloads/packages/release/Neon/3
你可以下載Eclipse IDE for Java Developers,或者Eclipse IDE for Java EE Developers
主要區(qū)別是Java EE多一些Java Web開發(fā)相關(guān)組件
下載后解壓到指定目錄即可
Eclipse配置Maven
首先修改Maven配置:
D:\Program Files\apache-maven-3.5.0\conf\settings.xml
<!-- 修改倉(cāng)庫(kù)保存目錄 -->
<localRepository>E:\Java\Maven\repository</localRepository>
<!-- 添加內(nèi)地鏡像雀彼,開發(fā)時(shí)壤蚜,如果發(fā)現(xiàn)內(nèi)地鏡像有問題,可取消鏡像徊哑,自行翻墻 -->
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>
Eclipse打開 Window-->Preferences-->Maven
配置maven安裝目錄
配置User Settings
注:點(diǎn)擊Update Settings按鈕袜刷,點(diǎn)擊Apply
新建項(xiàng)目
配置pom.xml
注:下方可切換到代碼模式
添加storm依賴
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-core</artifactId>
<version>1.0.4</version>
</dependency>
配置完成,這時(shí)Maven已為你自動(dòng)下載storm相關(guān)的jar包
到此莺丑,我們的項(xiàng)目已配置完成著蟹,可以進(jìn)行Storm入門開發(fā)了。
有同學(xué)可能會(huì)疑問窒盐,為什么沒有安裝storm草则?
同學(xué)別急,這時(shí)因?yàn)槲覀兪褂肕aven配置蟹漓,Maven已為我們自動(dòng)下載Storm相關(guān)的依賴包炕横,在Eclipse已經(jīng)可以正常運(yùn)行。
如果你不是使用Maven葡粒,那么需要下載Storm安裝份殿,并需在Eclipse自行添加依賴包,如Storm依賴包可能在這個(gè)目錄:
D:\Program Files\apache-storm-1.0.4\lib
我們這里使用Maven嗽交,所以不用這么麻煩卿嘲。
當(dāng)然,如果你開發(fā)完成夫壁,需要真實(shí)發(fā)布你的jar包拾枣,那么才需要安裝Storm進(jìn)行測(cè)試。
下一節(jié)我們?cè)敿?xì)講解一個(gè)入門實(shí)例