內(nèi)容
- kafka安裝
- kafka基本知識(shí)
- kafka demo例子
- 引用
一 安裝kafka
- docker 安裝kafka.原文鏈接
1文搂、kafka需要zookeeper管理抓韩，所以需要先安裝zookeeper壹甥。
下載zookeeper鏡像
$ docker pull wurstmeister/zookeeper
解決docker pull 速度慢問題
將docker鏡像源修改為國內(nèi)的：
在 /etc/docker/daemon.json 文件中添加以下參數(shù)（沒有該文件則新建）：
{
"registry-mirrors": ["https://mj9kvemk.mirror.aliyuncs.com"]
}
服務(wù)重啟：
systemctl daemon-reload
systemctl restart docker
2、啟動(dòng)鏡像生成容器
## docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
3睡腿、下載kafka鏡像
$ docker pull wurstmeister/kafka
4吨凑、啟動(dòng)kafka鏡像生成容器
## docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.6.121:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.6.121:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
參數(shù)說明：
-e KAFKA_BROKER_ID=0 在kafka集群中，每個(gè)kafka都有一個(gè)BROKER_ID來區(qū)分自己
-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路徑172.16.0.13:2181/kafka
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注冊(cè)給zookeeper集漾，如果是遠(yuǎn)程訪問要改成外網(wǎng)IP,類如Java程序訪問出現(xiàn)無法連接竖幔。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的監(jiān)聽端口
-v /etc/localtime:/etc/localtime 容器時(shí)間同步虛擬機(jī)的時(shí)間
5板乙、驗(yàn)證kafka是否可以使用
5.1、進(jìn)入容器
$ docker exec -it kafka bash
5.2拳氢、進(jìn)入 cd /opt/kafka_2.12-2.5.0/bin/ 目錄下
$ cd /opt/kafka_2.12-2.5.0/bin/
5.3募逞、運(yùn)行kafka生產(chǎn)者發(fā)送消息
$ ./kafka-console-producer.sh --broker-list localhost:9092 --topic mmr
發(fā)送消息
> {"datas":[{"channel":"","metric":"temperature","producer":"ijinus","sn":"IJA0101-00002245","time":"1543207156000","value":"80"}],"ver":"1.0"}
5.4、運(yùn)行kafka消費(fèi)者接收消息
$ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mmr --from-beginning
二 kafka基本知識(shí)
2.1 基本術(shù)語
- 消息：Record馋评。Kafka 是消息引擎嘛放接，這里的消息就是指 Kafka 處理的主要對(duì)象。
- 主題：Topic留特。主題是承載消息的邏輯容器纠脾，在實(shí)際使用中多用來區(qū)分具體的業(yè)務(wù)玛瘸。
- 分區(qū)：Partition。一個(gè)有序不變的消息序列苟蹈。每個(gè)主題下可以有多個(gè)分區(qū)糊渊。
- 消息位移：Offset。表示分區(qū)中每條消息的位置信息慧脱，是一個(gè)單調(diào)遞增且不變的值渺绒。
- 副本：Replica。Kafka 中同一條消息能夠被拷貝到多個(gè)地方以提供數(shù)據(jù)冗余菱鸥，這些地方就是所謂的副本宗兼。副本還分為領(lǐng)導(dǎo)者副本和追隨者副本，各自有不同的角色劃分氮采。副本是在分區(qū)層級(jí)下的殷绍，即每個(gè)分區(qū)可配置多個(gè)副本實(shí)現(xiàn)高可用。生產(chǎn)者：Producer鹊漠。向主題發(fā)布新消息的應(yīng)用程序主到。
- 消費(fèi)者：Consumer。從主題訂閱新消息的應(yīng)用程序贸呢。
- 消費(fèi)者位移：Consumer Offset镰烧。表征消費(fèi)者消費(fèi)進(jìn)度拢军，每個(gè)消費(fèi)者都有自己的消費(fèi)者位移楞陷。
- 消費(fèi)者組：Consumer Group。多個(gè)消費(fèi)者實(shí)例共同組成的一個(gè)組茉唉，同時(shí)消費(fèi)多個(gè)分區(qū)以實(shí)現(xiàn)高吞吐固蛾。
- 重平衡：Rebalance。消費(fèi)者組內(nèi)某個(gè)消費(fèi)者實(shí)例掛掉后度陆，其他消費(fèi)者實(shí)例自動(dòng)重新分配訂閱主題分區(qū)的過程艾凯。Rebalance 是 Kafka 消費(fèi)者端實(shí)現(xiàn)高可用的重要手段。
2.2 版本
截止到目前為止懂傀，kafka最新版本是2.7.0版本趾诗，kafka的版本號(hào)由scala的編譯器版本和版本號(hào)組成，例如下面所示蹬蚁，2.12是編譯kafka源碼的scala編譯器版本
image.png
image.png
2.3 kafka只是消息引擎系統(tǒng)嗎
image.png
三 kafka demo例子
引用：
