本篇主要講解SpringBoot 如何集成Kafka 榨崩，并且簡單的 編寫了一個(gè)Demo 來測試 發(fā)送和消費(fèi)功能
前言
選擇的版本如下：
springboot ： 2.3.4.RELEASE
spring-kafka ： 2.5.6.RELEASE
kafka : 2.5.1
zookeeper : 3.4.14
本Demo 使用的是 SpringBoot 比較高的版本 SpringBoot 2.3.4.RELEASE 它會(huì)引入 spring-kafka 2.5.6 RELEASE 谴垫，對應(yīng)了版本關(guān)系中的
Spring Boot 2.3 users should use 2.5.x (Boot dependency management will use the correct version).
spring和 kafka 的版本 關(guān)系
https://spring.io/projects/spring-kafka
1.搭建Kafka 和 Zookeeper 環(huán)境
搭建kafka 和 zookeeper 環(huán)境 并且啟動(dòng) 它們
2.創(chuàng)建Demo 項(xiàng)目引入spring-kafka
2.1 pom 文件
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
</dependency>
2.2 配置application.yml
spring:
kafka:
bootstrap-servers: 192.168.25.6:9092 #bootstrap-servers：連接kafka的地址，多個(gè)地址用逗號(hào)分隔
consumer:
group-id: myGroup
enable-auto-commit: true
auto-commit-interval: 100ms
properties:
session.timeout.ms: 15000
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
auto-offset-reset: earliest
producer:
retries: 0 #若設(shè)置大于0的值母蛛，客戶端會(huì)將發(fā)送失敗的記錄重新發(fā)送
batch-size: 16384 #當(dāng)將多個(gè)記錄被發(fā)送到同一個(gè)分區(qū)時(shí)翩剪， Producer 將嘗試將記錄組合到更少的請求中。這有助于提升客戶端和服務(wù)器端的性能。這個(gè)配置控制一個(gè)批次的默認(rèn)大小（以字節(jié)為單位）妻枕。16384是缺省的配置
buffer-memory: 33554432 #Producer 用來緩沖等待被發(fā)送到服務(wù)器的記錄的總字節(jié)數(shù)杭棵，33554432是缺省配置
key-serializer: org.apache.kafka.common.serialization.StringSerializer #關(guān)鍵字的序列化類
value-serializer: org.apache.kafka.common.serialization.StringSerializer #值的序列化類
2.3 定義消息體Message
/**
* @author johnny
* @create 2020-09-23 上午9:21
**/
@Data
public class Message {
private Long id;
private String msg;
private Date sendTime;
}
2.4 定義KafkaSender
主要利用 KafkaTemplate 來發(fā)送消息 ，將消息封裝成Message 并且進(jìn)行 轉(zhuǎn)化成Json串 發(fā)送到Kafka中
@Component
@Slf4j
public class KafkaSender {
private final KafkaTemplate<String, String> kafkaTemplate;
//構(gòu)造器方式注入 kafkaTemplate
public KafkaSender(KafkaTemplate<String, String> kafkaTemplate) {
this.kafkaTemplate = kafkaTemplate;
}
private Gson gson = new GsonBuilder().create();
public void send(String msg) {
Message message = new Message();
message.setId(System.currentTimeMillis());
message.setMsg(msg);
message.setSendTime(new Date());
log.info("【++++++++++++++++++ message ：{}】", gson.toJson(message));
//對 topic = hello2 的發(fā)送消息
kafkaTemplate.send("hello2",gson.toJson(message));
}
}
2.5 定義KafkaConsumer
在監(jiān)聽的方法上通過注解配置一個(gè)監(jiān)聽器即可椿胯，另外就是指定需要監(jiān)聽的topic
kafka的消息再接收端會(huì)被封裝成ConsumerRecord對象返回筷登，它內(nèi)部的value屬性就是實(shí)際的消息。
@Component
@Slf4j
public class KafkaConsumer {
@KafkaListener(topics = {"hello2"})
public void listen(ConsumerRecord<?, ?> record) {
Optional.ofNullable(record.value())
.ifPresent(message -> {
log.info("【+++++++++++++++++ record = {} 】", record);
log.info("【+++++++++++++++++ message = {}】", message);
});
}
}
3.測試 效果
提供一個(gè) Http接口調(diào)用 KafkaSender 去發(fā)送消息
3.1 提供Http 測試接口
@RestController
@Slf4j
public class TestController {
@Autowired
private KafkaSender kafkaSender;
@GetMapping("sendMessage/{msg}")
public void sendMessage(@PathVariable("msg") String msg){
kafkaSender.send(msg);
}
}
3.2 啟動(dòng)項(xiàng)目
監(jiān)聽8080 端口
KafkaMessageListenerContainer中有 consumer group = myGroup 有一個(gè) 監(jiān)聽 hello2-0 topic 的 消費(fèi)者
3.3 調(diào)用Http接口
http://localhost:8080/sendMessage/KafkaTestMsg
至此 SpringBoot集成Kafka 結(jié)束 哩盲。前方。
