Kafka | 常用命令行操作

本次實驗的kafka集群有三個節(jié)點漫拭,即有三個broker。

一、Topic 的增刪查

Topic操作的執(zhí)行腳本在bin目錄下的 kafka-topics.sh

1.查看當前服務(wù)器中已存在的topic

# --list  --zookeeper
[root@node01 bin]# ./kafka-topics.sh --list --zookeeper node01:2181

2.新增topic

# --create 新增操作
# --topic 定義topic名稱
# --partitions 定義分區(qū)數(shù)
# --replication-factor 定義副本數(shù)
[root@node01 bin]# ./kafka-topics.sh --create --zookeeper node01:2181 --topic first --partitions 2 --replication-factor 2

例子中創(chuàng)建名為first的topic,2個分區(qū)佛点,2個副本。
創(chuàng)建后可分別在三個節(jié)點下黎比,進入kafka的存放數(shù)據(jù)的目錄超营,查看topic的創(chuàng)建情況:first-0和first-1是以topic名和分區(qū)號組成,代表了2個分區(qū)阅虫;每個分區(qū)副本都是2個演闭,而且相同分區(qū)副本是放在不同的節(jié)點上的,例如first-0的副本在node01和node03節(jié)點上颓帝,first-1的副本在node01和node02上米碰。


node01的topic.png

node02的topic.png

node03的topic.png
如何定義分區(qū)數(shù)和副本數(shù)?

一般而言购城,kafka集群的擁有越多的分區(qū)也意味著可以獲取更高的吞吐吕座。
kafka集群內(nèi)部的副本機制,可以保證高可用瘪板。一個分區(qū)如果有多個副本吴趴,每個副本將會存儲到不同的broker上,副本被設(shè)計為leader和follow副本侮攀。副本數(shù)不能超過broker數(shù)锣枝。

3.刪除topic

# --delete 刪除操作
# --topic 指定需要刪除的topic
[root@node01 bin]# ./kafka-topics.sh --delete --zookeeper node01:2181 --topic first
Topic first is marked for deletion. //這個topic被標記刪除
Note: This will have no impact if delete.topic.enable is not set to true.如果delete.topic.enable //這個屬性不設(shè)置為true的話,將不會真正的刪除topic

查看數(shù)據(jù)目錄下的topic是否被刪除:發(fā)現(xiàn)topic名稱后面多了delete刪除標志兰英,不要著急撇叁,等過會來看這個topic就會被刪除。


執(zhí)行刪除操作的topic.png
遇到topic只是被標記為刪除箭昵,不是真正刪除税朴,應(yīng)怎么解決?

方案一:需要在server.properties中設(shè)置delete.topic.enable=true家制,重啟kafka正林。
方案二:手動刪除
1)刪除zookeeper上topic的數(shù)據(jù)
/brokers/ids/topics/xxx
/config/topics/xxx
2) 刪除該topic所有partition和replica的數(shù)據(jù)
數(shù)據(jù)在所有broker的log.dirs目錄下,文件夾結(jié)構(gòu)是topic-partition的方 式颤殴,直接將該topic的整個文件夾刪除即可

4.查看某個topic的詳情

# --describe  查看詳情操作
[root@node01 bin]# ./kafka-topics.sh --describe --zookeeper node01:2181 --topic second 
Topic: second   PartitionCount: 2   ReplicationFactor: 3    Configs: 
    Topic: second   Partition: 0    Leader: 2   Replicas: 2,3,1 Isr: 2,3,1
    Topic: second   Partition: 1    Leader: 3   Replicas: 3,1,2 Isr: 3,1,2
Isr代表的含義是什么觅廓?

二、控制臺生產(chǎn)者和消費者

圖片.png

啟動控制臺生產(chǎn)者

# --broker-list 選擇發(fā)送消息的kafka服務(wù)端
# --topic 指定topic
[root@node01 bin]# ./kafka-console-producer.sh --broker-list node01:9092 --topic second
> //再這里寫入消息

啟動控制臺消費者

# --bootstrap-server  選擇接收消息的kafka服務(wù)端
# --topic 指定topic涵但,接收哪個topic的消息
# --from-beginning:會把first主題中以往所有的數(shù)據(jù)都讀取出來杈绸。根據(jù)業(yè)務(wù)場景選擇是否增加該配置。
[root@node02 bin]# ./kafka-console-consumer.sh --bootstrap-server node01:9092 --topic second  --from-beginning

發(fā)送消息

#在生產(chǎn)者窗口輸入消息矮瘟,發(fā)送完成后Control+C退出
>hi
>my first kafka topic

每輸入一條消息瞳脓,消費者窗口會顯示生產(chǎn)者發(fā)出的消息

--broker-list 和 --bootstrap-server有什么區(qū)別?
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末澈侠,一起剝皮案震驚了整個濱河市劫侧,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌哨啃,老刑警劉巖烧栋,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異拳球,居然都是意外死亡审姓,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進店門祝峻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來魔吐,“玉大人,你說我怎么就攤上這事莱找〕昴罚” “怎么了?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵宋距,是天一觀的道長轴踱。 經(jīng)常有香客問我,道長谚赎,這世上最難降的妖魔是什么淫僻? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮壶唤,結(jié)果婚禮上雳灵,老公的妹妹穿的比我還像新娘。我一直安慰自己闸盔,他們只是感情好悯辙,可當我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般躲撰。 火紅的嫁衣襯著肌膚如雪针贬。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天拢蛋,我揣著相機與錄音桦他,去河邊找鬼。 笑死谆棱,一個胖子當著我的面吹牛快压,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播垃瞧,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼蔫劣,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了个从?” 一聲冷哼從身側(cè)響起脉幢,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎信姓,沒想到半個月后鸵隧,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡意推,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年豆瘫,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片菊值。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡外驱,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出腻窒,到底是詐尸還是另有隱情昵宇,我是刑警寧澤,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布儿子,位于F島的核電站瓦哎,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏柔逼。R本人自食惡果不足惜蒋譬,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望愉适。 院中可真熱鬧犯助,春花似錦、人聲如沸维咸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至瞬哼,卻和暖如春婚肆,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背倒槐。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工旬痹, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留附井,地道東北人讨越。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓,卻偏偏與公主長得像永毅,于是被迫代替她去往敵國和親把跨。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內(nèi)容