Fluem的安裝及使用

1.下載flume1.6.0,下載地址:http://archive.apache.org/dist/flume/

2.減壓裹虫,在conf目錄下修改flume-env.sh文件幔虏,將java的安裝目錄配置進去

3.編寫flume的agent瞬捕,在conf目錄下創(chuàng)建一個名為a1.conf绊寻,內(nèi)容如下:

#創(chuàng)建agent晒屎,為source佑附,channel搞乏,sinks指定名稱

a1.sources = r1

a1.channels = c1

a1.sinks = k1


#創(chuàng)建source邻眷,這里采用netcat的模式眠屎,即通過telnet的方式

a1.sources.r1.type = netcat

#指定主機名

a1.sources.r1.bind = master

#指定端口號

a1.sources.r1.port = 44444


#創(chuàng)建channel,指定為memory的方式存儲channel內(nèi)容

a1.channels.c1.type = memory

#可選參數(shù)肆饶,指定channel的最大可容納的event數(shù)量

a1.channels.c1.capacity = 1000

#可選參數(shù)改衩,指定一次傳輸給sink的字節(jié)數(shù)

a1.channels.c1.transactionCapacity = 1000


#創(chuàng)建sink,并指定以logger的方式輸出

a1.sinks.k1.type = logger

#可選參數(shù)驯镊,指定一次輸出的最大字節(jié)數(shù)

a1.sinks.k1.maxBytesToLog = 1024


#將source葫督,sink連接到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

4.如果沒有安裝telnet,則先安裝telnet板惑,若已經(jīng)安裝了橄镜,可跳過這一步,安裝的軟件如下圖所示冯乘,文章末尾會給出下載地址:

安裝命令為:

chmod u+x ./* ? ? ? ? ? ?給要安裝的軟件附執(zhí)行權(quán)限

rpm -ivh ./*.rpm ? ? ? ? ?這里偷懶洽胶,直接一鍵安裝了所有軟件

/etc/rc.d/init.d/xinetd ? restart ? ? ? 重啟telnet服務(wù)

5.啟動fluem的agent,在fluem的減壓目錄下裆馒,運行如下命令啟動:

bin/fluem-ng agent? --conf? conf? --name? a1? --conf-file? conf/a1.conf? -Dflume.root.logger=DEBUG,console

6.通過netstat查看是否啟動了指定的端口姊氓,這里是44444:

netstat ?-tnlp

7.啟動telnet,發(fā)送消息领追,看flume是否能接受到消息:

telnet master 44444

至此他膳,fluem的安裝搭建及測試完成,歡迎大家批評指正H抟ぁW厮铩!


telnet下載地址:

鏈接:http://pan.baidu.com/s/1dFs5Snn? 密碼:gzpy


fluem的官方參考wiki地址:

http://flume.apache.org/FlumeUserGuide.html#logger-sink

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蟀俊,隨后出現(xiàn)的幾起案子钦铺,更是在濱河造成了極大的恐慌,老刑警劉巖肢预,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件矛洞,死亡現(xiàn)場離奇詭異,居然都是意外死亡烫映,警方通過查閱死者的電腦和手機沼本,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來锭沟,“玉大人抽兆,你說我怎么就攤上這事∽寤矗” “怎么了辫红?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長祝辣。 經(jīng)常有香客問我贴妻,道長,這世上最難降的妖魔是什么蝙斜? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任名惩,我火速辦了婚禮,結(jié)果婚禮上乍炉,老公的妹妹穿的比我還像新娘绢片。我一直安慰自己滤馍,他們只是感情好岛琼,可當我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著巢株,像睡著了一般槐瑞。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上阁苞,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天困檩,我揣著相機與錄音,去河邊找鬼那槽。 笑死悼沿,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的骚灸。 我是一名探鬼主播糟趾,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了义郑?” 一聲冷哼從身側(cè)響起蝶柿,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎非驮,沒想到半個月后交汤,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡劫笙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年芙扎,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片填大。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡纵顾,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出栋盹,到底是詐尸還是另有隱情施逾,我是刑警寧澤,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布例获,位于F島的核電站汉额,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏榨汤。R本人自食惡果不足惜蠕搜,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望收壕。 院中可真熱鬧妓灌,春花似錦、人聲如沸蜜宪。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽圃验。三九已至掉伏,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間澳窑,已是汗流浹背斧散。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留摊聋,地道東北人鸡捐。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像麻裁,于是被迫代替她去往敵國和親箍镜。 傳聞我的和親對象是個殘疾皇子瞻鹏,可洞房花燭夜當晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容

  • Flume的官網(wǎng)地址:http://flume.apache.org/FlumeUserGuide.html#ex...
    24格的世界閱讀 906評論 0 1
  • 這里主要介紹幾種常見的日志的source來源,包括監(jiān)控文件型鹿寨,監(jiān)控文件內(nèi)容增量新博,TCP和HTTP。 Spool類型...
    歡醉閱讀 1,398評論 0 10
  • Flume的功能和架構(gòu)特點 ** 功能 **flume 是一個分布式的脚草,可靠的赫悄,可用的,可以非常有效率的對大數(shù)據(jù)的...
    心_的方向閱讀 2,516評論 1 10
  • 常用的source1.1 nettcat1.2 Avro Source1.3 Exec Source1.4 spo...
    水他閱讀 1,752評論 0 50
  • 博客原文 翻譯作品馏慨,水平有限埂淮,如有錯誤,煩請留言指正写隶。原文請見 官網(wǎng)英文文檔 引言 概述 Apache Flume...
    rabbitGYK閱讀 11,469評論 13 34