Kafka常用命令

啟動Kafka并生產(chǎn)消費消息

啟動ZooKeeper

# 啟動ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

啟動Kafka

# 前臺啟動Kafka
$ bin/kafka-server-start.sh config/server.properties
# 后臺啟動方法1
$ nohup bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &
# 后臺啟動方法2(推薦)
$ bin/kafka-server-start.sh -daemon config/server.properties

查看啟動后kafka的版本

ps -ef | grep kafka

生產(chǎn)者發(fā)送消息

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic MY-TOPIC

消費消息時指定group id(0.11版本)

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MY-TOPIC  --consumer-property group.id=my_test_group

查看某個offset開始的消息摹迷,確定消費時需要跳過的消息

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic MY-TOPIC --partition 0 --offset 110823 --max-messages 1

從歷史消息中過濾出指定的消息

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic MY-TOPIC --from-beginning | grep "1738124945-1623549602774"

消費某個topic并轉發(fā)到另一個topic

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic MY-TOPIC --offset 110823 --consumer-property group.id=replayworker \
| tee message.txt \
| ./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic MY-TOPIC2

查看修改topic收擦、group命令

1栋猖、查看kafka topic列表,使用--list參數(shù)

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

2、查看kafka特定topic的詳情望众,使用--topic與--describe參數(shù)

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic MY-TOPIC --describe

3、查看失效副本

[root@kafka-192-168-3-149 kafka_2.11-0.11.0.3]# bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic MY-TOPIC --under-replicated-partitions
        Topic: MY-TOPIC  Partition: 0    Leader: 4       Replicas: 4,2,3 Isr: 4,3
        Topic: MY-TOPIC  Partition: 1    Leader: 3       Replicas: 2,3,4 Isr: 3,4
        Topic: MY-TOPIC  Partition: 2    Leader: 3       Replicas: 3,4,2 Isr: 4,3
        Topic: MY-TOPIC  Partition: 3    Leader: 4       Replicas: 4,3,2 Isr: 4,3
        Topic: MY-TOPIC  Partition: 4    Leader: 4       Replicas: 2,4,3 Isr: 4,3
        Topic: MY-TOPIC  Partition: 5    Leader: 3       Replicas: 3,2,4 Isr: 4,3
        Topic: MY-TOPIC  Partition: 6    Leader: 4       Replicas: 4,2,3 Isr: 4,3
        Topic: MY-TOPIC  Partition: 7    Leader: 3       Replicas: 2,3,4 Isr: 4,3
        Topic: MY-TOPIC  Partition: 8    Leader: 3       Replicas: 3,4,2 Isr: 4,3

4、修改分區(qū)數(shù)

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic MY-TOPIC --partitions 10

5虹统、查看topic某分區(qū)偏移量最大(小)值

./kafka-run-class.sh kafka.tools.GetOffsetShell --topic MY-TOPIC --time -1 --broker-list 127.0.0.1:9092 --partitions 0

6隧甚、查看consumer group列表车荔,使用--list參數(shù)

查看consumer group列表有新、舊兩種命令戚扳,分別查看新版consumer列表(信息保存在broker中)和老版consumer列表(信息保存在zookeeper中)忧便,因而需要區(qū)分指定bootstrap--server和zookeeper參數(shù):

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list #新
bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list #舊

7、查看特定consumer group詳情(包含group的offset)帽借,使用--group與--describe參數(shù)

同樣根據(jù)新/舊版本的consumer珠增,分別指定bootstrap-server與zookeeper參數(shù):

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group my_test_group --describe #新
bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group my_test_group --describe #舊

新版consumer執(zhí)行輸出如下:

[root@dami-03 bin]# ./kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group my_test_group --describe
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).


TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
MY-TOPIC                0          73423           73423           0          rdkafka-52aa7145-45f6-403f-ac52-5aa3a69a85f1      /127.0.0.1                rdkafka
MY-TOPIC                1          73422           73422           0          rdkafka-52aa7145-45f6-403f-ac52-5aa3a69a85f1      /127.0.0.1                rdkafka
MY-TOPIC                2          73424           73424           0          rdkafka-52aa7145-45f6-403f-ac52-5aa3a69a85f1      /127.0.0.1                rdkafka

8、修改某個消費組的偏移量(offset)

0.11版本以下方法不生效

bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group my_test_group --topic MY-TOPIC:0 --reset-offsets --to-offset 113115 -–execute

輸出如下砍艾,查看offset蒂教,發(fā)現(xiàn)并沒有改變。

[root@local-01 kafka_2.11-0.11.0.3]# bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group my_test_group --topic MY-TOPIC:0 --reset-offsets --to-offset 113115 –-execute
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).


TOPIC                          PARTITION  NEW-OFFSET     
MY-TOPIC                0          113115   

用這個方法

# offset值為 目標offset(113115) - 500 = 112615
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic MY-TOPIC --partition 2 --offset 112615 --max-messages 1 --consumer-property group.id=my_test_group

參考:

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末凝垛,一起剝皮案震驚了整個濱河市懊悯,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌梦皮,老刑警劉巖炭分,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異届氢,居然都是意外死亡欠窒,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進店門退子,熙熙樓的掌柜王于貴愁眉苦臉地迎上來岖妄,“玉大人,你說我怎么就攤上這事寂祥〖雠埃” “怎么了?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵丸凭,是天一觀的道長福扬。 經(jīng)常有香客問我,道長惜犀,這世上最難降的妖魔是什么铛碑? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮虽界,結果婚禮上汽烦,老公的妹妹穿的比我還像新娘。我一直安慰自己莉御,他們只是感情好撇吞,可當我...
    茶點故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著礁叔,像睡著了一般牍颈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上琅关,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天煮岁,我揣著相機與錄音,去河邊找鬼涣易。 笑死人乓,一個胖子當著我的面吹牛,可吹牛的內容都是我干的都毒。 我是一名探鬼主播,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼碰缔,長吁一口氣:“原來是場噩夢啊……” “哼账劲!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤瀑焦,失蹤者是張志新(化名)和其女友劉穎腌且,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體榛瓮,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡铺董,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了禀晓。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片精续。...
    茶點故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖粹懒,靈堂內的尸體忽然破棺而出重付,到底是詐尸還是另有隱情,我是刑警寧澤凫乖,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布确垫,位于F島的核電站,受9級特大地震影響帽芽,放射性物質發(fā)生泄漏删掀。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一导街、第九天 我趴在偏房一處隱蔽的房頂上張望披泪。 院中可真熱鬧,春花似錦菊匿、人聲如沸付呕。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽徽职。三九已至,卻和暖如春佩厚,著一層夾襖步出監(jiān)牢的瞬間姆钉,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工抄瓦, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留潮瓶,地道東北人。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓钙姊,卻偏偏與公主長得像毯辅,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子煞额,可洞房花燭夜當晚...
    茶點故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內容