最詳細(xì)的Storm入門教程(一)

Storm簡(jiǎn)介

Apache Storm是一個(gè)分布式實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)胞皱。Storm設(shè)計(jì)用于在容錯(cuò)和水平可擴(kuò)展方法中處理大量數(shù)據(jù)躺屁。

Storm框架主要由7部分組成

Topology:一個(gè)實(shí)時(shí)應(yīng)用的計(jì)算任務(wù)被打包作為Topology發(fā)布伍俘,這同Hadoop的MapReduce任務(wù)相似。
Spout:Storm中的消息源,用于為Topology生產(chǎn)消息(數(shù)據(jù))魄衅,一般是從外部數(shù)據(jù)源(如Message Queue廷臼、RDBMS苍在、NoSQL、Realtime Log)不間斷地讀取數(shù)據(jù)并發(fā)送給Topology消息(tuple元組)荠商。
Bolt:Storm中的消息處理者寂恬,用于為Topology進(jìn)行消息的處理,Bolt可以執(zhí)行過濾结啼,聚合掠剑, 查詢數(shù)據(jù)庫(kù)等操作,而且可以一級(jí)一級(jí)的進(jìn)行處理郊愧。
Stream:產(chǎn)生的數(shù)據(jù)(tuple元組)朴译。
Stream grouping:在Bolt任務(wù)中定義的Stream進(jìn)行區(qū)分。
Task:每個(gè)Spout或者Bolt在集群執(zhí)行許多任務(wù)属铁。
Worker:Topology跨一個(gè)或多個(gè)Worker節(jié)點(diǎn)的進(jìn)程執(zhí)行眠寿。

Window開發(fā)環(huán)境安裝

1、安裝JDK
下載最新的JDK1.8安裝焦蘑,這里不詳述

配置環(huán)境變量
新建系統(tǒng)變量:JAVA_HOME 盯拱、CLASSPATH 和Path
變量名:JAVA_HOME
變量值:C:\Program Files\Java\jdk1.8.0_144
變量名:CLASSPATH
變量值:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
變量名:Path
變量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
注意: 變量名JAVA_HOME 的變量值是要根據(jù)你自己安裝jdk的文件目錄,因此如果你更改了安裝文件目錄,就可能和我所給出的不一樣狡逢;

查看是否安裝成功


查看JDK是否安裝成功

2宁舰、安裝Maven
下載最新版本的Maven
http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz

解壓到指定文件夾,如:D:\Program Files\apache-maven-3.5.0

配置環(huán)境變量

新建系統(tǒng)變量
變量名:MAVEN_HOME
變量值:D:\Program Files\apache-maven-3.5.0
變量名:M2_HOME
變量值:D:\Program Files\apache-maven-3.5.0
變量名:Path 
變量值:%MAVEN_HOME%\bin;%M2_HOME%\bin;

查看Maven是否安裝成功


查看Maven是否安裝成功

3奢浑、安裝Eclipse
下載Mars以上版本的(因?yàn)镸ars以上自帶maven插件)蛮艰,這里下載Neon版本
http://www.eclipse.org/downloads/packages/release/Neon/3

你可以下載Eclipse IDE for Java Developers,或者Eclipse IDE for Java EE Developers
主要區(qū)別是Java EE多一些Java Web開發(fā)相關(guān)組件

下載后解壓到指定目錄即可

Eclipse配置Maven

首先修改Maven配置:
D:\Program Files\apache-maven-3.5.0\conf\settings.xml

<!-- 修改倉(cāng)庫(kù)保存目錄 -->
<localRepository>E:\Java\Maven\repository</localRepository>

<!-- 添加內(nèi)地鏡像雀彼,開發(fā)時(shí)壤蚜,如果發(fā)現(xiàn)內(nèi)地鏡像有問題,可取消鏡像徊哑,自行翻墻 -->
<mirrors>
<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>        
</mirror>
</mirrors>

Eclipse打開 Window-->Preferences-->Maven

配置maven安裝目錄

配置maven安裝目錄

配置User Settings


配置User Settings

注:點(diǎn)擊Update Settings按鈕袜刷,點(diǎn)擊Apply

新建項(xiàng)目

新建Maven項(xiàng)目
新建Maven項(xiàng)目
新建Maven項(xiàng)目

配置pom.xml

配置pom

注:下方可切換到代碼模式

添加storm依賴
添加storm依賴
<dependency>
  <groupId>org.apache.storm</groupId>
  <artifactId>storm-core</artifactId>
  <version>1.0.4</version>
</dependency>

配置完成,這時(shí)Maven已為你自動(dòng)下載storm相關(guān)的jar包

Maven依賴包

到此莺丑,我們的項(xiàng)目已配置完成著蟹,可以進(jìn)行Storm入門開發(fā)了。
有同學(xué)可能會(huì)疑問窒盐,為什么沒有安裝storm草则?

同學(xué)別急,這時(shí)因?yàn)槲覀兪褂肕aven配置蟹漓,Maven已為我們自動(dòng)下載Storm相關(guān)的依賴包炕横,在Eclipse已經(jīng)可以正常運(yùn)行。

如果你不是使用Maven葡粒,那么需要下載Storm安裝份殿,并需在Eclipse自行添加依賴包,如Storm依賴包可能在這個(gè)目錄:
D:\Program Files\apache-storm-1.0.4\lib

我們這里使用Maven嗽交,所以不用這么麻煩卿嘲。

當(dāng)然,如果你開發(fā)完成夫壁,需要真實(shí)發(fā)布你的jar包拾枣,那么才需要安裝Storm進(jìn)行測(cè)試。

下一節(jié)我們?cè)敿?xì)講解一個(gè)入門實(shí)例

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末盒让,一起剝皮案震驚了整個(gè)濱河市梅肤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌邑茄,老刑警劉巖姨蝴,帶你破解...
    沈念sama閱讀 211,423評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異肺缕,居然都是意外死亡左医,警方通過查閱死者的電腦和手機(jī)授帕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,147評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來浮梢,“玉大人跛十,你說我怎么就攤上這事★跸酰” “怎么了偶器?”我有些...
    開封第一講書人閱讀 157,019評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)缝裤。 經(jīng)常有香客問我,道長(zhǎng)颊郎,這世上最難降的妖魔是什么憋飞? 我笑而不...
    開封第一講書人閱讀 56,443評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮姆吭,結(jié)果婚禮上榛做,老公的妹妹穿的比我還像新娘。我一直安慰自己内狸,他們只是感情好检眯,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,535評(píng)論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著昆淡,像睡著了一般锰瘸。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上昂灵,一...
    開封第一講書人閱讀 49,798評(píng)論 1 290
  • 那天避凝,我揣著相機(jī)與錄音,去河邊找鬼眨补。 笑死管削,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的撑螺。 我是一名探鬼主播含思,決...
    沈念sama閱讀 38,941評(píng)論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼甘晤!你這毒婦竟也來了含潘?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,704評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤安皱,失蹤者是張志新(化名)和其女友劉穎调鬓,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體酌伊,經(jīng)...
    沈念sama閱讀 44,152評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡腾窝,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,494評(píng)論 2 327
  • 正文 我和宋清朗相戀三年缀踪,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片虹脯。...
    茶點(diǎn)故事閱讀 38,629評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡驴娃,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出循集,到底是詐尸還是另有隱情唇敞,我是刑警寧澤,帶...
    沈念sama閱讀 34,295評(píng)論 4 329
  • 正文 年R本政府宣布咒彤,位于F島的核電站疆柔,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏镶柱。R本人自食惡果不足惜旷档,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,901評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望歇拆。 院中可真熱鬧鞋屈,春花似錦、人聲如沸故觅。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,742評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽输吏。三九已至权旷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間贯溅,已是汗流浹背炼杖。 一陣腳步聲響...
    開封第一講書人閱讀 31,978評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留盗迟,地道東北人坤邪。 一個(gè)月前我還...
    沈念sama閱讀 46,333評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像罚缕,于是被迫代替她去往敵國(guó)和親艇纺。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,499評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數(shù)據(jù)處理平臺(tái)對(duì)實(shí)時(shí)數(shù)據(jù)處理的相關(guān)...
    一只很努力爬樹的貓閱讀 2,162評(píng)論 0 4
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理邮弹,服務(wù)發(fā)現(xiàn)黔衡,斷路器,智...
    卡卡羅2017閱讀 134,631評(píng)論 18 139
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,773評(píng)論 6 342
  • 五.坐轎出嫁 媒婆一聲“起一一轎腌乡!”剎時(shí)鞭炮齊鳴盟劫,吹吹打打,鼓樂喧天与纽。幾個(gè)身強(qiáng)力壯的轎夫蕩悠悠地抬著一輛紅色的八抬...
    梅廬_黃碧琴閱讀 829評(píng)論 12 16
  • 織女牽牛星皎皎侣签,仙河兩隔何迢渺塘装。兩眼望穿情未了,情未了影所,鵲橋相會(huì)多么好蹦肴。 莫道人間人易老,有情更比無情惱猴娩。難得今宵...
    雪窗_武立之閱讀 249評(píng)論 0 3