flume windows安裝及讀取日志

使用版本
flume1.9.0
http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

flume安裝
flume環(huán)境準(zhǔn)備
jdk 1.7+
jdk環(huán)境配置
解壓flume到D盤根目錄,添加系統(tǒng)環(huán)境變量 FLUME_HOME = D:\apache-flume-1.9.0-bin(flume所在目錄)
Path添加 %FLUME_HOME%\conf;%FLUME_HOME%\bin;
進(jìn)入flume中的conf文件夾镜撩,復(fù)制一份flume-env.sh.template文件约巷,命名為flume-env.sh,修改java路徑

export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_162

在conf目錄下新增example.conf文件,將配置寫入其中(也可以使用官方配置文件比被,官方配置文件flume讀取數(shù)據(jù)源類型為netcat芯丧,數(shù)據(jù)源為 loaclhost:4444,這里我是指定文件夾讀取日志數(shù)據(jù))

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /test/flumeSpool 
a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a1.sources.r1.type = spooldir,flume 讀取的數(shù)據(jù)文件類型: spooldir = 指定文件褐望,
a1.sources.r1.spoolDir = /test/flumeSpool 指定讀取文件夾的路徑
并在該路徑下創(chuàng)建相應(yīng)的文件夾。

修改log4j日志輸出方式串前,修改confi目錄下的flume.root.logger為

-flume.root.logger=INFO,console

在flume/conf目錄下 shift + 右鍵 打開命令面板,輸入命令啟動(dòng)flume

flume-ng agent --conf ../conf --conf-file example.conf --name a1

flume-ng agnet --conf "配置文件文件目錄相對(duì)路徑或絕對(duì)路徑" --conf-file "配置文件" --name "配置文件里agent的名字"

往/test/flumeSpool文件夾中添加日志文件瘫里,注意,添加荡碾,不是新建

查看D:\apache-flume-1.9.0-bin\conf\logs文件夾內(nèi)的日志


succeed.jpg

flume安裝測(cè)試完成

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末谨读,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子坛吁,更是在濱河造成了極大的恐慌劳殖,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,270評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件拨脉,死亡現(xiàn)場(chǎng)離奇詭異哆姻,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)玫膀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門矛缨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事箕昭×榉粒” “怎么了?”我有些...
    開封第一講書人閱讀 165,630評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵落竹,是天一觀的道長(zhǎng)泌霍。 經(jīng)常有香客問我,道長(zhǎng)述召,這世上最難降的妖魔是什么朱转? 我笑而不...
    開封第一講書人閱讀 58,906評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮积暖,結(jié)果婚禮上肋拔,老公的妹妹穿的比我還像新娘。我一直安慰自己呀酸,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6 392
  • 文/花漫 我一把揭開白布琼梆。 她就那樣靜靜地躺著性誉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪茎杂。 梳的紋絲不亂的頭發(fā)上错览,一...
    開封第一講書人閱讀 51,718評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音煌往,去河邊找鬼倾哺。 笑死,一個(gè)胖子當(dāng)著我的面吹牛刽脖,可吹牛的內(nèi)容都是我干的羞海。 我是一名探鬼主播,決...
    沈念sama閱讀 40,442評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼曲管,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼却邓!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起院水,我...
    開封第一講書人閱讀 39,345評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤腊徙,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后檬某,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體撬腾,經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3 337
  • 正文 我和宋清朗相戀三年恢恼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了民傻。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖饰潜,靈堂內(nèi)的尸體忽然破棺而出初坠,到底是詐尸還是另有隱情,我是刑警寧澤彭雾,帶...
    沈念sama閱讀 35,810評(píng)論 5 346
  • 正文 年R本政府宣布碟刺,位于F島的核電站,受9級(jí)特大地震影響薯酝,放射性物質(zhì)發(fā)生泄漏半沽。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3 331
  • 文/蒙蒙 一吴菠、第九天 我趴在偏房一處隱蔽的房頂上張望者填。 院中可真熱鬧,春花似錦做葵、人聲如沸占哟。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)榨乎。三九已至,卻和暖如春瘫筐,著一層夾襖步出監(jiān)牢的瞬間蜜暑,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工策肝, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留肛捍,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3 373
  • 正文 我出身青樓之众,卻偏偏與公主長(zhǎng)得像拙毫,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子棺禾,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容