什么是Flume？
Flume是Cloudera提供的一個高可用的，高可靠的循诉，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)淳附，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方议慰，用于收集數(shù)據(jù)；同時奴曙，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力草讶。
Flume的體系結(jié)構(gòu)
-
簡單結(jié)構(gòu)
單個agent采集數(shù)據(jù)
Source：接受數(shù)據(jù)洽糟，類型有多種。
Channel：臨時存放地堕战，對Source中來的數(shù)據(jù)進(jìn)行緩沖坤溃，直到sink消費(fèi)掉。
Sink： 從channel提取數(shù)據(jù)存放到中央化存儲(hadoop / hbase)嘱丢。
1.png -
復(fù)雜結(jié)構(gòu)
多級agent之間串聯(lián)
2.png
安裝和配置Flume
Flume的安裝非常簡單薪介，只需要解壓即可，當(dāng)然越驻，前提是已有hadoop環(huán)境,上傳安裝包到數(shù)據(jù)源所在節(jié)點(diǎn)上然后解壓
tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /soft
配置環(huán)境變量/etc/profile
export FLUME_HOME=/soft/flume
export PATH=$PATH:$FLUME_HOME/bin
flume-ng -version // 驗(yàn)證
然后進(jìn)入flume的目錄汁政，修改conf下的flume-env.sh，在里面配置JAVA_HOME