Storm集群提交任務(wù)

準(zhǔn)備工作:

  1. 將開(kāi)發(fā)好的jar包上傳到服務(wù)器package目錄下
  2. Storm集群已經(jīng)啟動(dòng)

我們提交一個(gè)WordCount任務(wù):

為了方便么库,我們?nèi)砸?a target="_blank" rel="nofollow">blogchong老師的代碼為例 GitHub項(xiàng)目鏈接,請(qǐng)讀者自行打包并上傳到nimbus節(jié)點(diǎn)上

  • nimbus服務(wù)器進(jìn)入package目錄
cd /root/storm1/package
  • 執(zhí)行命令
storm jar ./storm-example-0.0.1-SNAPSHOT.jar com.blogchong.storm.helloworld.WordCountTopology task

解釋下這條命令中的各個(gè)參數(shù):

  • jar:運(yùn)行你的storm job,topology是類(lèi)中的主函數(shù)
  • ./storm-example-0.0.1-SNAPSHOT.jar:這個(gè)就不用說(shuō)了,你要提交的jar包
  • com.blogchong.storm.helloworld.WordCountTopology:執(zhí)行的主類(lèi)
  • task:Topology任務(wù)名稱(chēng),注意這個(gè)是不能重復(fù)的

執(zhí)行結(jié)果如圖所示

提交拓?fù)淙蝿?wù)

稍等下就會(huì)顯示拓?fù)淙蝿?wù)提交成功苍苞。

  • 命令行查看storm任務(wù)
storm list

執(zhí)行后會(huì)顯示storm當(dāng)前任務(wù)列表,證明任務(wù)確實(shí)提交成功了

拓?fù)淙蝿?wù)列表
  • 在storm監(jiān)控UI上查看
    打開(kāi)http://192.168.1.150:8080狼纬,查看storm監(jiān)控UI
監(jiān)控UI

在這里我們可以看到當(dāng)前有1條任務(wù)羹呵,并且運(yùn)行在storm2的supervisor上。

  • 查看worker日志
    登錄storm2主機(jī)疗琉,進(jìn)入logs目錄
logs目錄

我們可以看到冈欢,這里有個(gè)worker-6703.log文件,這個(gè)文件就是6703端口的worker的工作日志盈简。查看該日志

tail -f worker-6703.log

我們可以看到凑耻,終端中已經(jīng)出現(xiàn)了不斷變化的詞頻統(tǒng)計(jì)

日志

到此為止犯戏,我們的wordcount任務(wù)提交完成,當(dāng)然這只是提交一個(gè)最基本的拓?fù)淙蝿?wù)拳话,更復(fù)雜的以后我們?cè)僬f(shuō)。

storm相關(guān)命令

  • activate :激活指定任務(wù)种吸;
  • classpath:打印storm的classpath 弃衍;
  • deactivate :暫停storm的任務(wù);
  • dev-zookeeper :?jiǎn)?dòng)一個(gè)新的Zookeeper坚俗,這種情況只用于dev/test 镜盯;
  • drpc:?jiǎn)?dòng)一個(gè)DRPC進(jìn)程;
  • help :命令解釋及操作提示猖败;
  • jar :運(yùn)行你的storm job速缆,topology是類(lèi)中的主函數(shù);
  • kill:通過(guò)任務(wù)名稱(chēng)kill一個(gè)任務(wù)恩闻;
  • list:列出正在運(yùn)行的topolofies和狀態(tài)艺糜;
  • localconfvalue:打印出具體配置參數(shù)在本地storm配置文件中的值;
  • nimbus:?jiǎn)?dòng)一個(gè)nimubs進(jìn)程幢尚;
  • supervisor:?jiǎn)?dòng)一個(gè)supervisor進(jìn)程破停;
  • ui:?jiǎn)?dòng)監(jiān)控頁(yè)面UI的后臺(tái)進(jìn)程;
  • rebalance:節(jié)點(diǎn)擴(kuò)展之后進(jìn)行負(fù)載均衡尉剩;
  • remoteconfvalue:打印出具體配置參數(shù)在storm cluster中的值真慢;
  • version :獲取版本Storm號(hào);
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末理茎,一起剝皮案震驚了整個(gè)濱河市黑界,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌皂林,老刑警劉巖朗鸠,帶你破解...
    沈念sama閱讀 218,755評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異式撼,居然都是意外死亡童社,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)著隆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)扰楼,“玉大人,你說(shuō)我怎么就攤上這事美浦∠依担” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,138評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵浦辨,是天一觀的道長(zhǎng)蹬竖。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么币厕? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,791評(píng)論 1 295
  • 正文 為了忘掉前任列另,我火速辦了婚禮,結(jié)果婚禮上旦装,老公的妹妹穿的比我還像新娘页衙。我一直安慰自己,他們只是感情好阴绢,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,794評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布店乐。 她就那樣靜靜地躺著,像睡著了一般呻袭。 火紅的嫁衣襯著肌膚如雪眨八。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,631評(píng)論 1 305
  • 那天左电,我揣著相機(jī)與錄音廉侧,去河邊找鬼。 笑死券腔,一個(gè)胖子當(dāng)著我的面吹牛伏穆,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播纷纫,決...
    沈念sama閱讀 40,362評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼枕扫,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了辱魁?” 一聲冷哼從身側(cè)響起烟瞧,我...
    開(kāi)封第一講書(shū)人閱讀 39,264評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎染簇,沒(méi)想到半個(gè)月后参滴,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,724評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡锻弓,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年砾赔,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片青灼。...
    茶點(diǎn)故事閱讀 40,040評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡暴心,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出杂拨,到底是詐尸還是另有隱情专普,我是刑警寧澤,帶...
    沈念sama閱讀 35,742評(píng)論 5 346
  • 正文 年R本政府宣布弹沽,位于F島的核電站檀夹,受9級(jí)特大地震影響筋粗,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜炸渡,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,364評(píng)論 3 330
  • 文/蒙蒙 一娜亿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蚌堵,春花似錦暇唾、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,944評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)瘸味。三九已至宫仗,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間旁仿,已是汗流浹背藕夫。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,060評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留枯冈,地道東北人毅贮。 一個(gè)月前我還...
    沈念sama閱讀 48,247評(píng)論 3 371
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像尘奏,于是被迫代替她去往敵國(guó)和親滩褥。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,979評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • Strom集群結(jié)構(gòu)是有一個(gè)主節(jié)點(diǎn)(nimbus)和多個(gè)工作節(jié)點(diǎn)(supervisor)組成的主從結(jié)構(gòu)炫加,主節(jié)點(diǎn)通過(guò)配...
    看山遠(yuǎn)兮閱讀 2,860評(píng)論 0 7
  • 目錄 場(chǎng)景假設(shè) 調(diào)優(yōu)步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機(jī)制 Storm UI...
    mtide閱讀 17,113評(píng)論 30 60
  • 1. Storm介紹: Storm是實(shí)時(shí)流計(jì)算框架瑰煎。企業(yè)中典型實(shí)時(shí)分析框架搭建模式: Flume + Kafka ...
    奉先閱讀 1,656評(píng)論 0 3
  • 背景 OpenShift是目前比較主流的基于Kubernetes的容器云解決方案,OpenShift在kubern...
    小白_18M閱讀 1,180評(píng)論 0 5
  • 01 新雨后 秋意濃 晚裝冗 02 三行情書(shū) 情深文稀 欲語(yǔ)還休 03 千里千尋 為你 千千萬(wàn)萬(wàn)遍 04 階前雨俗孝,...
    蘭風(fēng)蕙露閱讀 336評(píng)論 2 4