Kafka

Kafka

  • 開(kāi)啟zookeeper:
    bin/zookeeper-server-start.sh
    config/zookeeper.properties
  • 開(kāi)啟server:
    bin/kafka-server-start.sh
    config/server.properties
  • 查看Topic:
    bin/kafka-topics.sh --list --zookeeper localhost:2181
  • 創(chuàng)建一個(gè)Topic: b
    in/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic AnalyticsData
  • 向Kafka輸入數(shù)據(jù):
  • 開(kāi)啟Consumer:
    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic AnalyticsData --from-beginning

原理

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng):
高吞吐量:即使是非常普通的硬件kafka也可以支持每秒數(shù)十萬(wàn)的消息押桃。
支持通過(guò)kafka服務(wù)器和消費(fèi)機(jī)集群來(lái)分區(qū)消息凿菩。
支持Hadoop并行數(shù)據(jù)加載。
kafka本身有內(nèi)置zookeeper庸追。

一個(gè)典型的Kafka集群中包含若干Producer(可以是web前端產(chǎn)生的PageView湿痢,或者是服務(wù)器日志涝缝,系統(tǒng)CPU扑庞、Memory等),若干broker(Kafka支持水平擴(kuò)展拒逮,一般broker數(shù)量越多罐氨,集群吞吐率越高),若干Consumer Group滩援,以及一個(gè)Zookeeper集群栅隐。Kafka通過(guò)Zookeeper管理集群配置,選舉leader玩徊,以及在Consumer Group發(fā)生變化時(shí)進(jìn)行rebalance租悄。Producer使用push模式將消息發(fā)布到broker,Consumer使用pull模式從broker訂閱并消費(fèi)消息恩袱。

因此Kafka提供兩種策略刪除舊數(shù)據(jù)泣棋。一是基于時(shí)間,二是基于Partition文件大小畔塔。
例如可以通過(guò)配置$KAFKA_HOME/config/server.properties潭辈,讓Kafka刪除一周前的數(shù)據(jù),也可在Partition文件超過(guò)1GB時(shí)刪除舊數(shù)據(jù)俩檬。
Kafka的設(shè)計(jì)理念之一就是同時(shí)提供離線處理和實(shí)時(shí)處理萎胰。根據(jù)這一特性碾盟,可以使用Storm這種實(shí)時(shí)流處理系統(tǒng)對(duì)消息進(jìn)行實(shí)時(shí)在線處理棚辽,同時(shí)使用Hadoop這種批處理系統(tǒng)進(jìn)行離線處理,還可以同時(shí)將數(shù)據(jù)實(shí)時(shí)備份到另一個(gè)數(shù)據(jù)中心冰肴,只需要保證這三個(gè)操作所使用的Consumer屬于不同的Consumer Group即可屈藐。

def createProducer[K, V](bootstrapServers: String, keySerializer: String = KAFKA_SERIALIZATION_STRINGSERIALIZER, valueSerializer: String = KAFKA_SERIALIZATION_STRINGSERIALIZER) =
{ 
  val properties = new Properties() 
  properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, keySerializer) 
  properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, valueSerializer) 
  properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092") new KafkaProducer[K, V](properties) 
}

Flume

Flume是Cloudera提供的一個(gè)分布式、可靠熙尉、高可用的海量日志采集联逻、聚合、傳輸?shù)娜罩臼占到y(tǒng)检痰,支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方包归,用于收集數(shù)據(jù)。Flume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理铅歼,并寫(xiě)到各種數(shù)據(jù)接收方公壤。Flume提供了從console(控制臺(tái))、RPC(Thrift-RPC)椎椰、text(文件)厦幅、tail(UNIX tail)、syslog(syslog日志系統(tǒng)慨飘,支持TCP和UDP等2種模式)确憨,exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力,在我們的系統(tǒng)中目前使用exec方式進(jìn)行日志采集。Flume的數(shù)據(jù)接受方,可以是console(控制臺(tái))休弃、text(文件)吞歼、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系統(tǒng))等塔猾。在我們系統(tǒng)中由kafka來(lái)接收浆熔。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市桥帆,隨后出現(xiàn)的幾起案子医增,更是在濱河造成了極大的恐慌,老刑警劉巖老虫,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件叶骨,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡祈匙,警方通過(guò)查閱死者的電腦和手機(jī)忽刽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)夺欲,“玉大人跪帝,你說(shuō)我怎么就攤上這事⌒┰模” “怎么了伞剑?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)市埋。 經(jīng)常有香客問(wèn)我黎泣,道長(zhǎng),這世上最難降的妖魔是什么缤谎? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任抒倚,我火速辦了婚禮,結(jié)果婚禮上坷澡,老公的妹妹穿的比我還像新娘托呕。我一直安慰自己,他們只是感情好频敛,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布项郊。 她就那樣靜靜地躺著,像睡著了一般姻政。 火紅的嫁衣襯著肌膚如雪呆抑。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,713評(píng)論 1 312
  • 那天汁展,我揣著相機(jī)與錄音鹊碍,去河邊找鬼厌殉。 笑死,一個(gè)胖子當(dāng)著我的面吹牛侈咕,可吹牛的內(nèi)容都是我干的公罕。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼耀销,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼楼眷!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起熊尉,我...
    開(kāi)封第一講書(shū)人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤罐柳,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后狰住,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體张吉,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年催植,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了肮蛹。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡创南,死狀恐怖伦忠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情稿辙,我是刑警寧澤昆码,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站邓深,受9級(jí)特大地震影響未桥,放射性物質(zhì)發(fā)生泄漏笔刹。R本人自食惡果不足惜芥备,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望舌菜。 院中可真熱鬧萌壳,春花似錦、人聲如沸日月。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)爱咬。三九已至尺借,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間精拟,已是汗流浹背燎斩。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工虱歪, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人栅表。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓笋鄙,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親怪瓶。 傳聞我的和親對(duì)象是個(gè)殘疾皇子萧落,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容