flume 負(fù)載均配置

Flume的負(fù)載配置通過slink的group來實現(xiàn),每次按照一定的算法選擇slink輸出到指定的地方阵难,如果文件輸出量很大的情況下負(fù)載均衡還是很有必要的鳞陨,通過多通道輸出緩解輸出壓力烂瘫。
Flume內(nèi)置的負(fù)載均衡的算法默認(rèn)是round robin(輪詢算法)
文件從主機(jī)傳到HDFS上萧锉。
集群信息如下:
Flume集群采用4臺主機(jī)
Flumeapp1 load_balance
Flumeapp2 slink1
Flumeapp3 slink2
Flumeapp4 slink3

Load_balance配置如下(文件采用默認(rèn)的配置文件名conf/flume-conf.properties):

agent1.sources=source1
agent1.sinks=sink1 sink2 sink3
agent1.channels = channel1

source

agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /e3base/spooldir

配置原文件中與目標(biāo)文件名相同

agent1.sources.source1.basenameHeader=true
agent1.sources.source1.basenameHeaderKey=fileName

sink group

agent1.sinkgroups=group1
agent1.sinkgroups.group1.sinks=sink1 sink2 sink3
agent1.sinkgroups.group1.processor.type=load_balance
agent1.sinkgroups.group1.processor.backoff=true
agent1.sinkgroups.group1.processor.selector=round_robin

sink1

agent1.sinks.sink1.type=avro
agent1.sinks.sink1.hostname=134.32.50.13
agent1.sinks.sink1.port=21000

sink2

agent1.sinks.sink2.type=avro
agent1.sinks.sink2.hostname=134.32.50.14
agent1.sinks.sink2.port=21000

sink3

agent1.sinks.sink3.type=avro
agent1.sinks.sink3.hostname=134.32.152.49
agent1.sinks.sink3.port=21000

channel

agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapacity=100

bind

agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
agent1.sinks.sink2.channel = channel1
agent1.sinks.sink3.channel = channel1

Flumeapp2~Flumeapp4配置相同如下(文件采用默認(rèn)的配置文件名conf/flume-conf.properties):

agent1.sources=source1
agent1.channels=channel1
agent1.sinks = sink1

source

agent1.sources.source1.type=avro
agent1.sources.source1.bind= 134.32.152.49
agent1.sources.source1.port=21000
agent1.sources.source1.basenameHeader=true
agent1.sources.source1.basenameHeaderKey=filename

channels

agent1.channels.channel1.type=memory
agent1.channels.channel1.capacity=1000
agent1.channels.channel1.transactionCapacity=100

sinks

agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://drmcluster/test_bak/flume/
agent1.sinks.sink1.hdfs.filePrefix=%{fileName}
agent1.sinks.sink1.hdfs.fileType=DataStream
agent1.sinks.sink1.hdfs.rollCount=0
agent1.sinks.sink1.hdfs.rollSize=134217728
agent1.sinks.sink1.hdfs.rollInterval=60
agent1.sinks.sink1.hdfs.writeFormat=Text
agent1.sinks.sink1.hdfs.useLocalTimeStamp=true
agent1.sources.source1.channels=channel1
agent1.sinks.sink1.channel=channel1

agent1.sources=source1
agent1.channels=channel1
agent1.sinks = sink1
agnet1.channel=channel1

在集群中四個主機(jī)啟動 flume-ng
啟動命令:(conf,properties盡量用絕對路徑沐绒,否則會有意想不到的錯誤)
./flume-ng agent -c /e3base/flume/conf -f /e3base/flume/conf/flume-conf.properties -n agent1 -Dflume.root.logger=DEBUG,console -Dorg.apache.flume.log.printconfig=true -Dorg.apache.flume.log.rawdata=true
順序先啟sink1~sink3 然后再啟動load_balanc3否則主報端口找不到谋作。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末息裸,一起剝皮案震驚了整個濱河市舀锨,隨后出現(xiàn)的幾起案子岭洲,更是在濱河造成了極大的恐慌,老刑警劉巖坎匿,帶你破解...
    沈念sama閱讀 212,686評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件盾剩,死亡現(xiàn)場離奇詭異雷激,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)告私,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,668評論 3 385
  • 文/潘曉璐 我一進(jìn)店門屎暇,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人驻粟,你說我怎么就攤上這事根悼。” “怎么了格嗅?”我有些...
    開封第一講書人閱讀 158,160評論 0 348
  • 文/不壞的土叔 我叫張陵番挺,是天一觀的道長。 經(jīng)常有香客問我屯掖,道長玄柏,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,736評論 1 284
  • 正文 為了忘掉前任贴铜,我火速辦了婚禮粪摘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘绍坝。我一直安慰自己徘意,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,847評論 6 386
  • 文/花漫 我一把揭開白布轩褐。 她就那樣靜靜地躺著椎咧,像睡著了一般。 火紅的嫁衣襯著肌膚如雪把介。 梳的紋絲不亂的頭發(fā)上勤讽,一...
    開封第一講書人閱讀 50,043評論 1 291
  • 那天,我揣著相機(jī)與錄音拗踢,去河邊找鬼脚牍。 笑死,一個胖子當(dāng)著我的面吹牛巢墅,可吹牛的內(nèi)容都是我干的诸狭。 我是一名探鬼主播,決...
    沈念sama閱讀 39,129評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼君纫,長吁一口氣:“原來是場噩夢啊……” “哼驯遇!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蓄髓,我...
    開封第一講書人閱讀 37,872評論 0 268
  • 序言:老撾萬榮一對情侶失蹤妹懒,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后双吆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體眨唬,經(jīng)...
    沈念sama閱讀 44,318評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,645評論 2 327
  • 正文 我和宋清朗相戀三年好乐,在試婚紗的時候發(fā)現(xiàn)自己被綠了匾竿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,777評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡蔚万,死狀恐怖岭妖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情反璃,我是刑警寧澤昵慌,帶...
    沈念sama閱讀 34,470評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站淮蜈,受9級特大地震影響斋攀,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜梧田,卻給世界環(huán)境...
    茶點故事閱讀 40,126評論 3 317
  • 文/蒙蒙 一淳蔼、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧裁眯,春花似錦鹉梨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,861評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至逢艘,卻和暖如春旦袋,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背埋虹。 一陣腳步聲響...
    開封第一講書人閱讀 32,095評論 1 267
  • 我被黑心中介騙來泰國打工猜憎, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人搔课。 一個月前我還...
    沈念sama閱讀 46,589評論 2 362
  • 正文 我出身青樓胰柑,卻偏偏與公主長得像,于是被迫代替她去往敵國和親爬泥。 傳聞我的和親對象是個殘疾皇子柬讨,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,687評論 2 351

推薦閱讀更多精彩內(nèi)容