Flume的簡(jiǎn)單介紹
Flume是一個(gè)分布式造垛、可靠斯入、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)蕉拢。
Flume可以采集文件特碳，socket數(shù)據(jù)包等各種形式源數(shù)據(jù)，又可以將采集到的數(shù)據(jù)輸出到HDFS晕换、hbase午乓、hive、kafka等眾多外部存儲(chǔ)系統(tǒng)中
Flume的運(yùn)行機(jī)制
1闸准、Flume分布式系統(tǒng)中最核心的角色是agent硅瞧，flume采集系統(tǒng)就是由一個(gè)個(gè)agent所連接起來(lái)形成
2、每一個(gè)agent相當(dāng)于一個(gè)數(shù)據(jù)傳遞員Source 到 Channel 到 Sink之間傳遞數(shù)據(jù)的形式是Event事件恕汇；Event事件是一個(gè)數(shù)據(jù)流單元腕唧。
內(nèi)部有三個(gè)組件：
a)Source：采集源或辖，用于跟數(shù)據(jù)源對(duì)接，以獲取數(shù)據(jù)
b)Sink：下沉地枣接，采集數(shù)據(jù)的傳送目的颂暇，用于往下一級(jí)agent傳遞數(shù)據(jù)或者往最終存儲(chǔ)系統(tǒng)傳遞數(shù)據(jù)
c)Channel：angent內(nèi)部的數(shù)據(jù)傳輸通道，用于從source將數(shù)據(jù)傳遞到sink
單個(gè)agent采集數(shù)據(jù)
image
image.gif
?
多個(gè)agent直接串聯(lián)采集數(shù)據(jù)
image
image.gif
?
Flume的安裝與使用
安裝Flume之前確保安裝了hadoop但惶，假設(shè)是安裝了hadoop的前提下耳鸯，介紹Flume的安裝，其實(shí)解壓下就行了膀曾。
我這里使用的是apache-flume-1.6.0-bin.tar.gz县爬，上傳到linux，解壓到指定包即可添谊，我這里解壓到了apps這個(gè)包财喳，里面放了我解壓的hadoo、hive和zookeeper斩狱，安裝就完了耳高。
注：其實(shí)在conf目錄里面需要配置JAVA_HOME,但是我沒(méi)配置使用也沒(méi)問(wèn)題的。如果出現(xiàn)問(wèn)題了再配置看所踊。
3臺(tái)電腦安裝netcat
yum install -y nc.x86_64
image.gif
hadoop03在9999端口監(jiān)聽(tīng)
nc -l 9999
image.gif
hadoop05連接hadoop03泌枪，發(fā)送數(shù)據(jù)
nc hadoop03 9999
image.gif
Flume的使用（一）
這里打算做的是，接收網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)秕岛。也就是flume（安裝在mini1）的作用是碌燕，然后在mini2這臺(tái)機(jī)器上，發(fā)送數(shù)據(jù)继薛，mini1上能采集到修壕，可以下沉到hdfs（為了方便，這里暫時(shí)打印在控制臺(tái)）
注：為了方便我這里就在mini1這條機(jī)器打開(kāi)兩個(gè)窗口來(lái)進(jìn)行發(fā)送和采集數(shù)據(jù)了惋增。
進(jìn)入到flume的conf目錄下叠殷，創(chuàng)建文件，進(jìn)行配置
[root@mini1 ~]# cd apps/apache-flume-1.6.0-bin/conf/
[root@mini1 conf]# ll
總用量 28
-rw-r--r--. 1 501 games 1661 5月 9 2015 flume-conf.properties.template
-rw-r--r--. 1 501 games 1110 5月 9 2015 flume-env.ps1.template
-rw-r--r--. 1 501 games 1214 5月 9 2015 flume-env.sh.template
-rw-r--r--. 1 501 games 3107 5月 9 2015 log4j.properties
-rw-r--r--. 1 root root 487 10月 19 14:34 netcat-logger.conf
-rw-r--r--. 1 root root 507 10月 19 01:57 spool-logger.conf
-rw-r--r--. 1 root root 1271 10月 19 15:11 tail-hdfs.conf
[root@mini1 conf]# vi netcat-logger.conf
# example.conf: A single-node Flume configuration
# Name the components on this agent
#給那三個(gè)組件取個(gè)名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
#類(lèi)型, 從網(wǎng)絡(luò)端口接收數(shù)據(jù),本機(jī)mini1, type=spoolDir采集目錄源,目錄里有就采
a1.sources.r1.type = netcat
a1.sources.r1.bind = mini1
a1.sources.r1.port = 44444
# Describe the sink 日志下沉到log4j,打印在屏幕上
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
#下沉的時(shí)候是一批一批的, 下沉的時(shí)候是一個(gè)個(gè)event
Channel參數(shù)解釋?zhuān)?#capacity：默認(rèn)該通道中最大的可以存儲(chǔ)的event數(shù)量 1000條數(shù)據(jù)(1000個(gè)event,source拿到的數(shù)據(jù)是封裝成event事件的)
#trasactionCapacity：每次最大可以從source中拿到或者送到sink中的event數(shù)量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
image.gif
配置好了就可以啟動(dòng)了
[root@mini1 apache-flume-1.6.0-bin]# bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
Warning: JAVA_HOME is not set!
...
2017-10-20 05:00:13,317 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:173)] Starting Sink k1
2017-10-20 05:00:13,318 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:184)] Starting Source r1
2017-10-20 05:00:13,320 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:150)] Source starting
2017-10-20 05:00:13,350 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:164)] Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/192.168.25.127:44444]
image.gif
flume內(nèi)部啟動(dòng)netcat诈皿，監(jiān)聽(tīng)44444端口林束，收到數(shù)據(jù)，顯示到終端控制臺(tái)
在mini1上重開(kāi)一個(gè)窗口（或者其它機(jī)器）稽亏，發(fā)送數(shù)據(jù)進(jìn)行測(cè)試
[root@mini1 ~]# telnet mini1 44444
Trying 192.168.25.127...
Connected to mini1.
Escape character is '^]'.
jinbingmin
OK
haha
OK
oyasumi
OK
image.gif
發(fā)送了三句話(huà)壶冒。
注：如果沒(méi)有telnet命令，做法如下
rpm -qa telnet-server 查看有沒(méi)有安裝截歉，沒(méi)有輸出的話(huà)胖腾，那么執(zhí)行
yum install telnet-server
rpm -qa telnet 來(lái)查看telnet-server 安裝包有沒(méi)有安裝，如果沒(méi)有輸出，那么執(zhí)行安裝
yum install telnet
退出的話(huà)使用ctrl+],接著quit
image.gif
再次查看服務(wù)端有沒(méi)有采集到
2017-10-20 05:00:59,699 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 6A 69 6E 62 69 6E 67 6D 69 6E 0D jinbingmin. }
2017-10-20 05:01:14,704 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 68 61 68 61 0D haha. }
2017-10-20 05:01:19,421 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 6F 79 61 73 75 6D 69 0D oyasumi. }
image.gif
發(fā)現(xiàn)已經(jīng)采集到了打印到了控制臺(tái)
使用Flume監(jiān)聽(tīng)日志變化
進(jìn)入到flume的conf目錄下咸作，創(chuàng)建文件锨阿，進(jìn)行配置
[root@mini1 ~]# cd apps/apache-flume-1.6.0-bin/conf/
[root@mini1 conf]# ll
總用量 28
-rw-r--r--. 1 501 games 1661 5月 9 2015 flume-conf.properties.template
-rw-r--r--. 1 501 games 1110 5月 9 2015 flume-env.ps1.template
-rw-r--r--. 1 501 games 1214 5月 9 2015 flume-env.sh.template
-rw-r--r--. 1 501 games 3107 5月 9 2015 log4j.properties
-rw-r--r--. 1 root root 487 10月 19 14:34 netcat-logger.conf
-rw-r--r--. 1 root root 507 10月 19 01:57 spool-logger.conf
-rw-r--r--. 1 root root 1271 10月 19 15:11 tail-hdfs.conf
[root@mini1 conf]# vi netcat-logger.conf
# example.conf: A single-node Flume configuration
# Name the components on this agent
#給那三個(gè)組件取個(gè)名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
## exec表示flume回去調(diào)用給的命令，然后從給的命令的結(jié)果中去拿數(shù)據(jù)
a1.sources.r1.type = exec
## 使用tail這個(gè)命令來(lái)讀數(shù)據(jù)
a1.sources.r1.command = tail -F /opt/test.log
a1.sources.r1.channels = c1
# Describe the sink 日志下沉到log4j,打印在屏幕上
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
#下沉的時(shí)候是一批一批的, 下沉的時(shí)候是一個(gè)個(gè)event
Channel參數(shù)解釋?zhuān)?#capacity：默認(rèn)該通道中最大的可以存儲(chǔ)的event數(shù)量 1000條數(shù)據(jù)(1000個(gè)event,source拿到的數(shù)據(jù)是封裝成event事件的)
#trasactionCapacity：每次最大可以從source中拿到或者送到sink中的event數(shù)量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
image.gif
配置好了就可以啟動(dòng)了
[root@mini1 apache-flume-1.6.0-bin]# bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
Warning: JAVA_HOME is not set!
...
2017-10-20 05:00:13,317 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:173)] Starting Sink k1
2017-10-20 05:00:13,318 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:184)] Starting Source r1
2017-10-20 05:00:13,320 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:150)] Source starting
2017-10-20 05:00:13,350 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:164)] Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/192.168.25.127:44444]
image.gif
通過(guò)寫(xiě)一個(gè)死循環(huán)往test.log中寫(xiě)數(shù)據(jù)的方式模式日志文件增長(zhǎng)
編寫(xiě)shell腳本记罚，模擬日志增長(zhǎng)變化墅诡。
#!/bin/bash
[root@hadoop1 flumedata]# cd /home/tuzq/software/flumedata
[root@hadoop1 flumedata]# while true
>do
> date >> test.log
> sleep 2
> done
image.gif
查看日志變化
[root@hadoop1 ~]# cd /home/tuzq/software/flumedata/
[root@hadoop1 flumedata]# ls
access.log error.log test.log
[root@hadoop1 flumedata]# tail -f test.log
2017年 06月 13日 星期二 22:02:22 CST
2017年 06月 13日 星期二 22:02:24 CST
2017年 06月 13日 星期二 22:02:26 CST
2017年 06月 13日 星期二 22:02:28 CST
2017年 06月 13日 星期二 22:02:30 CST
2017年 06月 13日 星期二 22:02:32 CST
image.gif
通過(guò)上面的文件，可以看到test.log在不停的追加數(shù)據(jù)桐智。
Flume的使用（三）
采集數(shù)據(jù)到hdfs
這里要添加的配置文件里面的采集源和下沉地就都有變化了末早。
[root@mini1 conf]# vi tail-hdfs.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#exec 指的是命令
# Describe/configure the source
a1.sources.r1.type = exec
#F根據(jù)文件名追中, f根據(jù)文件的nodeid追中
a1.sources.r1.command = tail -F /opt/test.log
a1.sources.r1.channels = c1
# Describe the sink
#下沉目標(biāo)
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=/flume/testout9/
a1.sinks.k1.hdfs.filePrefix=cmcc
a1.sinks.k1.hdfs.minBlockReplicas=1
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.rollInterval=0
a1.sinks.k1.hdfs.rollSize=10240
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=0
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
image.gif
flume+kafka
spooldir.sources= eventDir
spooldir.channels= memoryChannel
spooldir.sinks= eventHDFS
spooldir.channels.memoryChannel.type= memory
spooldir.channels.memoryChannel.capacity= 10000
spooldir.channels.memoryChannel.transactioncapacity= 1000000
spooldir.sources.eventDir.type=exec
spooldir.sources.eventDir.command=tail -F /opt/log.txt
spooldir.sinks.eventHDFS.type = org.apache.flume.sink.kafka.KafkaSink
spooldir.sinks.eventHDFS.topic = orderMq
spooldir.sinks.eventHDFS.brokerList = hadoop01:9092,hadoop02:9092,hadoop03:9092
spooldir.sources.eventDir.channels= memoryChannel
spooldir.sinks.eventHDFS.channel= memoryChannel
image.gif
參考
https://blog.csdn.net/zengmingen/article/details/65444823
