python 操作Kafka

Pyhon操作Kafka數(shù)據(jù)庫


1.Python需要安裝pykafka模塊

pykafka官方手冊: http://pykafka.readthedocs.io/en/latest/index.html

pip install pykafka

2.python 存入kafka消息

# -*- coding: utf-8 -*-

from kafka import KafkaProducer 

producer = KafkaProducer(bootstrap_servers=['127.0.0.1:9092'])
 #此處ip可以是多個['0.0.0.1:9092','0.0.0.2:9092','0.0.0.3:9092' ]
for i in range(3):
     msg = "msg %d" % i
     print msg
     producer.send('test', msg)
producer.close()

3.讀取本地的所有 topic 信息

from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
for topic in client.topics:
    print topic

4.查看brokers信息

from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
print client.brokers

for n in client.brokers:
    host = client.brokers[n].host
    port = client.brokers[n].port
    id = client.brokers[n].id
    print "host=%s | port=%s | broker.id=%s " %(host,port,id)

5.直接消費kafka

#encoding:utf8
from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
topic = client.topics['test']
# 獲取 consumer 消費者
consumer = topic.get_simple_consumer(consumer_group="test",reset_offset_on_start=True)
for message in consumer:
    print message
    if message is not None:      
        print ">>>>>>>>>>",message.offset
        print ">>>>>>>>>>",message.value  

6.從zookeeper消費

from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
topic = client.topics['test']
balanced_consumer= topic.get_balanced_consumer(consumer_group='test',auto_commit_enable=True,reset_offset_on_start=True,zookeeper_connect='127.0.0.1:9092')

    for message in balanced_consumer:
        if message is not None:
            print message.offset, message.value

文章采集:https://www.linuxhub.org/?p=4317

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末淮椰,一起剝皮案震驚了整個濱河市只壳,隨后出現(xiàn)的幾起案子博秫,更是在濱河造成了極大的恐慌,老刑警劉巖得滤,帶你破解...
    沈念sama閱讀 223,126評論 6 520
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡巴席,警方通過查閱死者的電腦和手機大猛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,421評論 3 400
  • 文/潘曉璐 我一進店門扭倾,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人挽绩,你說我怎么就攤上這事膛壹。” “怎么了唉堪?”我有些...
    開封第一講書人閱讀 169,941評論 0 366
  • 文/不壞的土叔 我叫張陵模聋,是天一觀的道長。 經(jīng)常有香客問我唠亚,道長链方,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,294評論 1 300
  • 正文 為了忘掉前任灶搜,我火速辦了婚禮祟蚀,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘割卖。我一直安慰自己前酿,他們只是感情好,可當我...
    茶點故事閱讀 69,295評論 6 398
  • 文/花漫 我一把揭開白布鹏溯。 她就那樣靜靜地躺著罢维,像睡著了一般。 火紅的嫁衣襯著肌膚如雪丙挽。 梳的紋絲不亂的頭發(fā)上肺孵,一...
    開封第一講書人閱讀 52,874評論 1 314
  • 那天攻人,我揣著相機與錄音,去河邊找鬼悬槽。 笑死怀吻,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的初婆。 我是一名探鬼主播蓬坡,決...
    沈念sama閱讀 41,285評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼磅叛!你這毒婦竟也來了屑咳?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,249評論 0 277
  • 序言:老撾萬榮一對情侶失蹤弊琴,失蹤者是張志新(化名)和其女友劉穎兆龙,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體敲董,經(jīng)...
    沈念sama閱讀 46,760評論 1 321
  • 正文 獨居荒郊野嶺守林人離奇死亡紫皇,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,840評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了腋寨。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片聪铺。...
    茶點故事閱讀 40,973評論 1 354
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖萄窜,靈堂內(nèi)的尸體忽然破棺而出铃剔,到底是詐尸還是另有隱情,我是刑警寧澤查刻,帶...
    沈念sama閱讀 36,631評論 5 351
  • 正文 年R本政府宣布键兜,位于F島的核電站,受9級特大地震影響穗泵,放射性物質(zhì)發(fā)生泄漏普气。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,315評論 3 336
  • 文/蒙蒙 一火欧、第九天 我趴在偏房一處隱蔽的房頂上張望棋电。 院中可真熱鬧,春花似錦苇侵、人聲如沸赶盔。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,797評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽于未。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間烘浦,已是汗流浹背抖坪。 一陣腳步聲響...
    開封第一講書人閱讀 33,926評論 1 275
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留闷叉,地道東北人擦俐。 一個月前我還...
    沈念sama閱讀 49,431評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像握侧,于是被迫代替她去往敵國和親蚯瞧。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,982評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 你好
    簡一HJH閱讀 117評論 0 0
  • 遇到這么多的人 好像我喜歡的很少 也許是我少了一份熱情吧 今天跟男朋友吵架 突然覺得想要靜下來想想自己究竟想要一份...
    BBM閱讀 196評論 0 0
  • 一個人追求的事物可以有很多種品擎,金錢埋合、愛情、權(quán)力萄传,不一而足甚颂,或者只是一段時期內(nèi)的小小心愿。在想要和得到之間秀菱,只要欲望...
    會寫詩的小妮子閱讀 917評論 0 0
  • 今晚振诬,又有兩朵曇花要開了。一如次次的開放答朋,她總是令你那樣的猝不及妨贷揽。坐等她開,個把小時過去梦碗,感覺花苞似乎...
    克已復(fù)禮閱讀 1,018評論 0 6
  • 文/逗逗循捺,資料/網(wǎng)絡(luò) 1. 我身高163cm斩例,體重120斤。 男朋友說喜歡我胖从橘,然后每天都要問我吃飯沒有念赶,我說了吃...
    遇見逗逗閱讀 477評論 0 0