docker安裝kafka

1:kafka需要zookeeper管理,所以需要先安裝zookeeper绽昏。 下載docker pull wurstmeister/zookeeper:latest版本

docker pull wurstmeister/zookeeper

2:啟動鏡像生成容器

docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

3:下載kafka鏡像

docker pull wurstmeister/kafka

4:啟動kafka鏡像生成容器

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.155.56:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.155.56:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

-e KAFKA_BROKER_ID=0? 在kafka集群中褥赊,每個kafka都有一個BROKER_ID來區(qū)分自己

-e KAFKA_ZOOKEEPER_CONNECT=192.168.155.56:2181/kafka 配置zookeeper管理kafka的路徑192.168.155.56:2181/kafka

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.155.56:9092? 把kafka的地址端口注冊給zookeeper

-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092?配置kafka的監(jiān)聽端口

-v /etc/localtime:/etc/localtime 容器時間同步虛擬機的時間

5:驗證kafka是否可以使用

進入容器

docker exec -it kafka /bin/sh

進入路徑:/opt/kafka_2.11-2.0.0/bin下

運行kafka生產(chǎn)者發(fā)送消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic sun

發(fā)送消息

{"datas":[{"channel":"","metric":"temperature","producer":"ijinus","sn":"IJA0101-00002245","time":"1543207156000","value":"80"}],"ver":"1.0"}

運行kafka消費者接收消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning



-------------------------------------------------------------------關鍵總結------------------------------------------------------------------------

1:進入zookeeper容器內康吵,可以看到kafka注冊信息

docker exec -it zookeeper /bin/sh

進入bin目錄

運行zkCli.sh進入zookeeper客戶端

./zkCli.sh


ls /? 可以查看zookeeper根節(jié)點下都掛了那些目錄

可以看到我注冊的kafka目錄展懈,運行

ls /kafka/brokers/topics/sun/partitions?

可以看到我建立的topic叫sun主題的partitions信息

get命令會顯示該節(jié)點的節(jié)點數(shù)據(jù)內容和屬性信息
get /kafka/brokers/topics/sun

ls2命令會顯示該節(jié)點的子節(jié)點信息和屬性信息

ls2 /kafka/brokers/topics/sun

通過命令行創(chuàng)建topic和partitions

kafka-topics.sh --create --zookeeper 192.168.155.56:2181/kafka --topic topic-test1 --replication-factor 1 --partitions 2

當創(chuàng)建的replication-factor=2時史辙,因為zookeeper的zoo.cfg配置文件中tickTime=2000會報鏈接超時,把這個值調大一些浩习,重啟zookeeper静暂,再創(chuàng)建topic正常。

刪除topic 使用命令:

若 delete.topic.enable=true

直接徹底刪除該 Topic谱秽。

若 delete.topic.enable=false

如果當前 Topic 沒有使用過即沒有傳輸過信息:可以徹底刪除洽蛀。

如果當前 Topic 有使用過即有過傳輸過信息:并沒有真正刪除 Topic 只是把這個 Topic 標記為刪除(marked for deletion),重啟 Kafka Server 后刪除疟赊。

我的kafka版本是最新的郊供,在service.config文件中是找不到delete.topic.enable=true,系統(tǒng)默認是true.

進入kafka容器听绳,cd opt/kafka/bin

kafka-topics.sh --delete --zookeeper 192.168.155.56:2181/kafka --topic sun

命令可以刪除容器中的topic數(shù)據(jù)颂碘,還有zookeeper中的topic目錄。

可以在zookeeper中查看目錄是否已經(jīng)刪除掉了

進入zookeeper容器椅挣,在bin下運行./zkCli.sh

ls /kafka/brokers/topics

還有一種暴力刪除方法头岔,因為我啟動kafka容器的時候,沒有外掛topic路徑鼠证。所以我直接把容器刪除掉峡竣,再重新啟動一個新的容器也能實現(xiàn)topic的刪除。(這種方式不推薦用)

docker kafka 數(shù)據(jù)文件保存的路徑:

在配置文件service.config中配置的量九,log.dirs配置保存路徑适掰。

進入kafka容器,找到配置文件路徑/opt/kafka_2.11-2.0.0/config

vi?service.config?

默認配置在/kafka/kafka-logs-4eaa3ff7f59d下

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市荠列,隨后出現(xiàn)的幾起案子类浪,更是在濱河造成了極大的恐慌,老刑警劉巖肌似,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件费就,死亡現(xiàn)場離奇詭異,居然都是意外死亡川队,警方通過查閱死者的電腦和手機力细,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來固额,“玉大人眠蚂,你說我怎么就攤上這事《孵铮” “怎么了逝慧?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我笛臣,道長栅干,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任捐祠,我火速辦了婚禮碱鳞,結果婚禮上,老公的妹妹穿的比我還像新娘踱蛀。我一直安慰自己窿给,他們只是感情好,可當我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布率拒。 她就那樣靜靜地躺著崩泡,像睡著了一般。 火紅的嫁衣襯著肌膚如雪猬膨。 梳的紋絲不亂的頭發(fā)上角撞,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機與錄音勃痴,去河邊找鬼谒所。 笑死,一個胖子當著我的面吹牛沛申,可吹牛的內容都是我干的劣领。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼铁材,長吁一口氣:“原來是場噩夢啊……” “哼尖淘!你這毒婦竟也來了?” 一聲冷哼從身側響起著觉,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤村生,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后饼丘,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體趁桃,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年葬毫,在試婚紗的時候發(fā)現(xiàn)自己被綠了镇辉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片屡穗。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡贴捡,死狀恐怖,靈堂內的尸體忽然破棺而出村砂,到底是詐尸還是另有隱情烂斋,我是刑警寧澤,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站汛骂,受9級特大地震影響罕模,放射性物質發(fā)生泄漏。R本人自食惡果不足惜帘瞭,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一淑掌、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蝶念,春花似錦抛腕、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至廷蓉,卻和暖如春全封,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背桃犬。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工刹悴, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人攒暇。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓颂跨,卻偏偏與公主長得像,于是被迫代替她去往敵國和親扯饶。 傳聞我的和親對象是個殘疾皇子恒削,可洞房花燭夜當晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現(xiàn)尾序,斷路器钓丰,智...
    卡卡羅2017閱讀 134,651評論 18 139
  • ** 今天看了一下kafka官網(wǎng),嘗試著在自己電腦上安裝和配置每币,然后學一下官方document携丁。** Introd...
    RainChang閱讀 5,002評論 1 30
  • 環(huán)境: CentOS release 6.7 (Final)kafka_2.11-0.11.0.1.tgzzook...
    三更燈火閱讀 593評論 0 0
  • 大致可以通過上述情況進行排除 1.kafka服務器問題 查看日志是否有報錯,網(wǎng)絡訪問問題等兰怠。 2. kafka p...
    生活的探路者閱讀 7,587評論 0 10
  • 迷茫是生命的無效期梦鉴。
    Sophina閱讀 165評論 0 0