Flume的安裝與使用詳解

Flume的簡(jiǎn)單介紹
Flume是一個(gè)分布式睁壁、可靠背苦、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)潘明。
Flume可以采集文件行剂,socket數(shù)據(jù)包等各種形式源數(shù)據(jù),又可以將采集到的數(shù)據(jù)輸出到HDFS钉疫、hbase、hive巢价、kafka等眾多外部存儲(chǔ)系統(tǒng)中
Flume的運(yùn)行機(jī)制
1牲阁、Flume分布式系統(tǒng)中最核心的角色是agent,flume采集系統(tǒng)就是由一個(gè)個(gè)agent所連接起來(lái)形成
2壤躲、每一個(gè)agent相當(dāng)于一個(gè)數(shù)據(jù)傳遞員Source 到 Channel 到 Sink之間傳遞數(shù)據(jù)的形式是Event事件城菊;Event事件是一個(gè)數(shù)據(jù)流單元。

內(nèi)部有三個(gè)組件:
a)Source:采集源碉克,用于跟數(shù)據(jù)源對(duì)接凌唬,以獲取數(shù)據(jù)
b)Sink:下沉地,采集數(shù)據(jù)的傳送目的漏麦,用于往下一級(jí)agent傳遞數(shù)據(jù)或者往最終存儲(chǔ)系統(tǒng)傳遞數(shù)據(jù)
c)Channel:angent內(nèi)部的數(shù)據(jù)傳輸通道客税,用于從source將數(shù)據(jù)傳遞到sink
單個(gè)agent采集數(shù)據(jù)

image.png

多個(gè)agent直接串聯(lián)采集數(shù)據(jù)

image.png

Flume的安裝與使用
安裝Flume之前確保安裝了hadoop,假設(shè)是安裝了hadoop的前提下撕贞,介紹Flume的安裝更耻,其實(shí)解壓下就行了。
我這里使用的是apache-flume-1.6.0-bin.tar.gz捏膨,上傳到linux秧均,解壓到指定包即可,我這里解壓到了apps這個(gè)包号涯,里面放了我解壓的hadoo目胡、hive和zookeeper,安裝就完了链快。
注:其實(shí)在conf目錄里面需要配置JAVA_HOME,但是我沒(méi)配置使用也沒(méi)問(wèn)題的誉己。如果出現(xiàn)問(wèn)題了再配置看。

Flume的使用(一)
這里打算做的是域蜗,接收網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)巫延。也就是flume(安裝在mini1)的作用是荤堪,然后在mini2這臺(tái)機(jī)器上藏雏,發(fā)送數(shù)據(jù),mini1上能采集到,可以下沉到hdfs(為了方便戴陡,這里暫時(shí)打印在控制臺(tái))
注:為了方便我這里就在mini1這條機(jī)器打開(kāi)兩個(gè)窗口來(lái)進(jìn)行發(fā)送和采集數(shù)據(jù)了。
進(jìn)入到flume的conf目錄下耗啦,創(chuàng)建文件嗅骄,進(jìn)行配置

[root@mini1 ~]# cd apps/apache-flume-1.6.0-bin/conf/
[root@mini1 conf]# ll
總用量 28
-rw-r--r--. 1  501 games 1661 5月   9 2015 flume-conf.properties.template
-rw-r--r--. 1  501 games 1110 5月   9 2015 flume-env.ps1.template
-rw-r--r--. 1  501 games 1214 5月   9 2015 flume-env.sh.template
-rw-r--r--. 1  501 games 3107 5月   9 2015 log4j.properties
-rw-r--r--. 1 root root   487 10月 19 14:34 netcat-logger.conf
-rw-r--r--. 1 root root   507 10月 19 01:57 spool-logger.conf
-rw-r--r--. 1 root root  1271 10月 19 15:11 tail-hdfs.conf
[root@mini1 conf]# vi netcat-logger.conf 
# example.conf: A single-node Flume configuration

# Name the components on this agent
#給那三個(gè)組件取個(gè)名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#類型, 從網(wǎng)絡(luò)端口接收數(shù)據(jù),本機(jī)mini1, type=spoolDir采集目錄源,目錄里有就采
a1.sources.r1.type = netcat
a1.sources.r1.bind = mini1
a1.sources.r1.port = 44444

# Describe the sink 日志下沉到log4j,打印在屏幕上
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#下沉的時(shí)候是一批一批的, 下沉的時(shí)候是一個(gè)個(gè)event
Channel參數(shù)解釋:
#capacity:默認(rèn)該通道中最大的可以存儲(chǔ)的event數(shù)量 1000條數(shù)據(jù)(1000個(gè)event,source拿到的數(shù)據(jù)是封裝成event事件的)
#trasactionCapacity:每次最大可以從source中拿到或者送到sink中的event數(shù)量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

配置好了就可以啟動(dòng)了

[root@mini1 apache-flume-1.6.0-bin]# bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
Warning: JAVA_HOME is not set!
...
2017-10-20 05:00:13,317 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:173)] Starting Sink k1
2017-10-20 05:00:13,318 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:184)] Starting Source r1
2017-10-20 05:00:13,320 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:150)] Source starting
2017-10-20 05:00:13,350 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:164)] Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/192.168.25.127:44444]

在mini1上重開(kāi)一個(gè)窗口(或者其它機(jī)器),發(fā)送數(shù)據(jù)進(jìn)行測(cè)試

[root@mini1 ~]# telnet mini1 44444
Trying 192.168.25.127...
Connected to mini1.
Escape character is '^]'.
jinbingmin
OK
haha
OK
oyasumi
OK

發(fā)送了三句話婆廊。
注:如果沒(méi)有telnet命令迅细,做法如下

rpm -qa telnet-server 查看有沒(méi)有安裝,沒(méi)有輸出的話淘邻,那么執(zhí)行
yum install telnet-server  
rpm -qa telnet 來(lái)查看telnet-server 安裝包有沒(méi)有安裝茵典,如果沒(méi)有輸出,那么執(zhí)行安裝
yum install telnet
退出的話使用ctrl+],接著quit

再次查看服務(wù)端有沒(méi)有采集到

2017-10-20 05:00:59,699 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 6A 69 6E 62 69 6E 67 6D 69 6E 0D                jinbingmin. }
2017-10-20 05:01:14,704 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 68 61 68 61 0D                                  haha. }
2017-10-20 05:01:19,421 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 6F 79 61 73 75 6D 69 0D      oyasumi. }

發(fā)現(xiàn)已經(jīng)采集到了打印到了控制臺(tái)

使用Flume監(jiān)聽(tīng)日志變化

進(jìn)入到flume的conf目錄下宾舅,創(chuàng)建文件统阿,進(jìn)行配置

[root@mini1 ~]# cd apps/apache-flume-1.6.0-bin/conf/
[root@mini1 conf]# ll
總用量 28
-rw-r--r--. 1  501 games 1661 5月   9 2015 flume-conf.properties.template
-rw-r--r--. 1  501 games 1110 5月   9 2015 flume-env.ps1.template
-rw-r--r--. 1  501 games 1214 5月   9 2015 flume-env.sh.template
-rw-r--r--. 1  501 games 3107 5月   9 2015 log4j.properties
-rw-r--r--. 1 root root   487 10月 19 14:34 netcat-logger.conf
-rw-r--r--. 1 root root   507 10月 19 01:57 spool-logger.conf
-rw-r--r--. 1 root root  1271 10月 19 15:11 tail-hdfs.conf
[root@mini1 conf]# vi netcat-logger.conf 
# example.conf: A single-node Flume configuration

# Name the components on this agent
#給那三個(gè)組件取個(gè)名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
## exec表示flume回去調(diào)用給的命令,然后從給的命令的結(jié)果中去拿數(shù)據(jù)
a1.sources.r1.type = exec
## 使用tail這個(gè)命令來(lái)讀數(shù)據(jù)
a1.sources.r1.command = tail -F /opt/test.log
a1.sources.r1.channels = c1

# Describe the sink 日志下沉到log4j,打印在屏幕上
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#下沉的時(shí)候是一批一批的, 下沉的時(shí)候是一個(gè)個(gè)event
Channel參數(shù)解釋:
#capacity:默認(rèn)該通道中最大的可以存儲(chǔ)的event數(shù)量 1000條數(shù)據(jù)(1000個(gè)event,source拿到的數(shù)據(jù)是封裝成event事件的)
#trasactionCapacity:每次最大可以從source中拿到或者送到sink中的event數(shù)量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

配置好了就可以啟動(dòng)了

[root@mini1 apache-flume-1.6.0-bin]# bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
Warning: JAVA_HOME is not set!
...
2017-10-20 05:00:13,317 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:173)] Starting Sink k1
2017-10-20 05:00:13,318 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:184)] Starting Source r1
2017-10-20 05:00:13,320 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:150)] Source starting
2017-10-20 05:00:13,350 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:164)] Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/192.168.25.127:44444]

通過(guò)寫一個(gè)死循環(huán)往test.log中寫數(shù)據(jù)的方式模式日志文件增長(zhǎng)

編寫shell腳本筹我,模擬日志增長(zhǎng)變化扶平。

[root@hadoop1 flumedata]# cd /home/tuzq/software/flumedata
[root@hadoop1 flumedata]# while true
>do
> date >> test.log
> sleep 2
> done

查看日志變化

[root@hadoop1 ~]# cd /home/tuzq/software/flumedata/
[root@hadoop1 flumedata]# ls
access.log  error.log  test.log
[root@hadoop1 flumedata]# tail -f test.log 
2017年 06月 13日 星期二 22:02:22 CST
2017年 06月 13日 星期二 22:02:24 CST
2017年 06月 13日 星期二 22:02:26 CST
2017年 06月 13日 星期二 22:02:28 CST
2017年 06月 13日 星期二 22:02:30 CST
2017年 06月 13日 星期二 22:02:32 CST

通過(guò)上面的文件,可以看到test.log在不停的追加數(shù)據(jù)蔬蕊。

Flume的使用(三)

采集數(shù)據(jù)到hdfs

這里要添加的配置文件里面的采集源和下沉地就都有變化了结澄。

[root@mini1 conf]# vi tail-hdfs.conf 
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#exec 指的是命令
# Describe/configure the source
a1.sources.r1.type = exec
#F根據(jù)文件名追中, f根據(jù)文件的nodeid追中
a1.sources.r1.command = tail -F /opt/test.log
a1.sources.r1.channels = c1
# Describe the sink
#下沉目標(biāo)
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=/flume/testout9/
a1.sinks.k1.hdfs.filePrefix=cmcc
a1.sinks.k1.hdfs.minBlockReplicas=1
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.rollInterval=0
a1.sinks.k1.hdfs.rollSize=10240
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=0

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume+kafka

spooldir.sources= eventDir
spooldir.channels= memoryChannel
spooldir.sinks= eventHDFS

spooldir.channels.memoryChannel.type= memory
spooldir.channels.memoryChannel.capacity= 10000
spooldir.channels.memoryChannel.transactioncapacity= 1000000

spooldir.sources.eventDir.type=exec
spooldir.sources.eventDir.command=tail -F /opt/log.txt

spooldir.sinks.eventHDFS.type = org.apache.flume.sink.kafka.KafkaSink
spooldir.sinks.eventHDFS.topic = orderMq
spooldir.sinks.eventHDFS.brokerList = hadoop01:9092,hadoop02:9092,hadoop03:9092

spooldir.sources.eventDir.channels= memoryChannel
spooldir.sinks.eventHDFS.channel= memoryChannel

參考
https://blog.csdn.net/zengmingen/article/details/65444823

https://blog.csdn.net/HG_Harvey/article/details/78358304

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市岸夯,隨后出現(xiàn)的幾起案子麻献,更是在濱河造成了極大的恐慌,老刑警劉巖猜扮,帶你破解...
    沈念sama閱讀 218,607評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件赎瑰,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡破镰,警方通過(guò)查閱死者的電腦和手機(jī)餐曼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)鲜漩,“玉大人源譬,你說(shuō)我怎么就攤上這事≡兴疲” “怎么了踩娘?”我有些...
    開(kāi)封第一講書人閱讀 164,960評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我养渴,道長(zhǎng)雷绢,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 58,750評(píng)論 1 294
  • 正文 為了忘掉前任理卑,我火速辦了婚禮翘紊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘藐唠。我一直安慰自己帆疟,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,764評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布宇立。 她就那樣靜靜地躺著踪宠,像睡著了一般。 火紅的嫁衣襯著肌膚如雪妈嘹。 梳的紋絲不亂的頭發(fā)上柳琢,一...
    開(kāi)封第一講書人閱讀 51,604評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音润脸,去河邊找鬼柬脸。 笑死,一個(gè)胖子當(dāng)著我的面吹牛津函,可吹牛的內(nèi)容都是我干的肖粮。 我是一名探鬼主播孤页,決...
    沈念sama閱讀 40,347評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼尔苦,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了行施?” 一聲冷哼從身側(cè)響起允坚,我...
    開(kāi)封第一講書人閱讀 39,253評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蛾号,沒(méi)想到半個(gè)月后稠项,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,702評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡鲜结,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,893評(píng)論 3 336
  • 正文 我和宋清朗相戀三年展运,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片精刷。...
    茶點(diǎn)故事閱讀 40,015評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拗胜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出怒允,到底是詐尸還是另有隱情埂软,我是刑警寧澤,帶...
    沈念sama閱讀 35,734評(píng)論 5 346
  • 正文 年R本政府宣布纫事,位于F島的核電站勘畔,受9級(jí)特大地震影響所灸,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜炫七,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,352評(píng)論 3 330
  • 文/蒙蒙 一爬立、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧诉字,春花似錦懦尝、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,934評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至伍绳,卻和暖如春踊挠,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背冲杀。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,052評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工效床, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人权谁。 一個(gè)月前我還...
    沈念sama閱讀 48,216評(píng)論 3 371
  • 正文 我出身青樓剩檀,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親旺芽。 傳聞我的和親對(duì)象是個(gè)殘疾皇子沪猴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,969評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 博客原文 翻譯作品,水平有限采章,如有錯(cuò)誤运嗜,煩請(qǐng)留言指正。原文請(qǐng)見(jiàn) 官網(wǎng)英文文檔 引言 概述 Apache Flume...
    rabbitGYK閱讀 11,469評(píng)論 13 34
  • title: Flume構(gòu)建日志采集系統(tǒng)date: 2018-02-03 19:45tags: [flume,k...
    溯水心生閱讀 16,134評(píng)論 3 25
  • 介紹 概述 Apache Flume是為有效收集聚合和移動(dòng)大量來(lái)自不同源到中心數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的可分布悯舟,可靠的担租,可用...
    ximengchj閱讀 3,522評(píng)論 0 13
  • 1. Flume簡(jiǎn)介 Apache Flume是一個(gè)分布式的、可靠的抵怎、可用的奋救,從多種不同的源收集、聚集反惕、移動(dòng)大量日...
    奉先閱讀 4,489評(píng)論 2 5
  • 每次別離都會(huì)觸人淚傾尝艘。曾幾時(shí)為友人的相送搓紅眼睛,熱淚盈眶承璃,追憶起來(lái)都會(huì)暗暗的發(fā)笑利耍。追其原因,大概是未成熟...
    dai我回家閱讀 622評(píng)論 1 0