在此之前石咬,我們已經(jīng)介紹過《RocketMQ:快速入門》和《RocketMQ:搭建集群》
〈着。現(xiàn)在我們已經(jīng)準(zhǔn)備好RocketMQ的環(huán)境了笤受,接下來就是通過實戰(zhàn)去演示RocketMQ中各種消息類型的生產(chǎn)和消費(fèi)了。
1. 開發(fā)環(huán)境
(1)引入RocketMQ客戶端依賴
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-client</artifactId>
<version>4.4.0</version>
</dependency>
(2)生產(chǎn)和消費(fèi)步驟分析
- 消息生產(chǎn)者
1.創(chuàng)建消息生產(chǎn)者producer为迈,并指定生產(chǎn)者組名
2.指定Nameserver地址
3.啟動producer
4.創(chuàng)建消息對象洲拇,指定主題Topic、Tag和消息體
5.發(fā)送消息
6.關(guān)閉生產(chǎn)者producer
- 消息消費(fèi)者
1.創(chuàng)建消費(fèi)者Consumer曲尸,制定消費(fèi)者組名
2.指定Nameserver地址
3.訂閱主題Topic和Tag
4.設(shè)置回調(diào)函數(shù)赋续,處理消息
5.啟動消費(fèi)者consumer
2. 基本樣例
2.2 消息發(fā)送
2.2.1 發(fā)送同步消息
這種可靠性同步地發(fā)送方式使用的比較廣泛,比如:重要的消息通知另患,短信通知纽乱。
public class SyncProducer {
public static void main(String[] args) throws Exception {
// 1.創(chuàng)建消息生產(chǎn)者producer,并指定生產(chǎn)者組名
DefaultMQProducer producer = new DefaultMQProducer("base-sync-producer");
// 2.指定NameServer地址
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.啟動producer
producer.start();
// 4.創(chuàng)建消息對象昆箕,指定topic鸦列、tag和消息體
Message message = new Message("TestTopic", "TagA", "Hello World!".getBytes());
// 5.發(fā)送消息
SendResult sendResult = producer.send(message);
System.out.printf("%s%n", sendResult);
// 6.關(guān)閉生產(chǎn)者
producer.shutdown();
}
}
2.2.2 發(fā)送異步消息
異步消息通常用在對響應(yīng)時間敏感的業(yè)務(wù)場景,即發(fā)送端不能容忍長時間地等待Broker的響應(yīng)鹏倘。
public class AsyncProducer {
public static void main(String[] args) throws Exception {
// 1.實例化消息生產(chǎn)者Producer
DefaultMQProducer producer = new DefaultMQProducer("base-async-producer");
// 2.設(shè)置NameServer的地址
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.啟動Producer實例
producer.start();
// 異步發(fā)送失敗時薯嗤,重試次數(shù)。默認(rèn)為2
producer.setRetryTimesWhenSendAsyncFailed(0);
for (int i = 0; i < 10; i++) {
final int index = i;
// 4.創(chuàng)建消息纤泵,并指定Topic骆姐,Tag和消息體
Message msg = new Message("TestTopic",
"TagA",
"OrderID188",
"Hello World!".getBytes(RemotingHelper.DEFAULT_CHARSET));
// 5.SendCallback接收異步返回結(jié)果的回調(diào)
producer.send(msg, new SendCallback() {
@Override
public void onSuccess(SendResult sendResult) {
System.out.printf("%-10d OK %s %n", index,
sendResult.getMsgId());
}
@Override
public void onException(Throwable e) {
System.out.printf("%-10d Exception %s %n", index, e);
e.printStackTrace();
}
});
}
// 休眠一分鐘,否則當(dāng)producer關(guān)閉時捏题,無法接收mq的異步回調(diào)結(jié)果
TimeUnit.MINUTES.sleep(1);
// 6.如果不再發(fā)送消息玻褪,關(guān)閉Producer實例。
producer.shutdown();
}
}
2.2.3 發(fā)送單向消息
這種方式主要用在不特別關(guān)心發(fā)送結(jié)果的場景公荧,例如日志發(fā)送带射。
public class OnewayProducer {
public static void main(String[] args) throws Exception {
// 1.實例化消息生產(chǎn)者Producer
DefaultMQProducer producer = new DefaultMQProducer("base-oneway-producer");
// 2.設(shè)置NameServer的地址
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.啟動Producer實例
producer.start();
for (int i = 0; i < 5; i++) {
// 4.創(chuàng)建消息,并指定Topic循狰,Tag和消息體
Message msg = new Message("TestTopic",
"TagA",
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
);
// 5.發(fā)送單向消息窟社,沒有任何返回結(jié)果
producer.sendOneway(msg);
}
// 6.如果不再發(fā)送消息,關(guān)閉Producer實例绪钥。
producer.shutdown();
}
}
2.2 消費(fèi)消息
2.2.1 負(fù)載均衡模式
消費(fèi)者采用負(fù)載均衡方式消費(fèi)消息灿里,多個消費(fèi)者共同消費(fèi)隊列消息,每個消費(fèi)者處理的消息不同昧识。
public class Consumer {
public static void main(String[] args) throws Exception {
// 1.實例化消息生產(chǎn)者钠四,指定組名
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
// 2.指定NameServer地址信息.
consumer.setNamesrvAddr("192.168.1.17:9876");
// 3.訂閱Topic
consumer.subscribe("TestTopic", "*");
// 4.負(fù)載均衡模式消費(fèi)(默認(rèn)就是負(fù)載均衡模式)
consumer.setMessageModel(MessageModel.CLUSTERING);
// 5.注冊回調(diào)函數(shù)盗扒,處理消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf("%s Receive New Messages: %s %n",
Thread.currentThread().getName(), msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
// 6.啟動消息者
consumer.start();
}
}
2.2.2 廣播模式
消費(fèi)者采用廣播的方式消費(fèi)消息跪楞,每個消費(fèi)者消費(fèi)的消息都是相同的缀去。
public class Consumer {
public static void main(String[] args) throws Exception {
// 1.實例化消息生產(chǎn)者,指定組名
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
// 2.指定NameServer地址信息.
consumer.setNamesrvAddr("192.168.1.17:9876");
// 3.訂閱Topic
consumer.subscribe("TestTopic", "*");
// 4.廣播模式消費(fèi)(默認(rèn)負(fù)載均衡模式)
consumer.setMessageModel(MessageModel.BROADCASTING);
// 5.注冊回調(diào)函數(shù)甸祭,處理消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf("%s Receive New Messages: %s %n",
Thread.currentThread().getName(), msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
// 6.啟動消息者
consumer.start();
}
}
注意:以下只會將關(guān)鍵的代碼附上缕碎,大家閱讀過程中知道以下幾個對象名稱就知道怎么使用了。比如:producer:表示生產(chǎn)者池户;consumer:表示消費(fèi)者咏雌;message:表示消息。
3. 順序消息
消息有序指的是可以按照消息的發(fā)送順序來消費(fèi)(FIFO)校焦。RocketMQ可以嚴(yán)格的保證消息有序赊抖,可以分為分區(qū)有序或者全局有序。
順序消費(fèi)的原理解析:在默認(rèn)的情況下消息發(fā)送會采取Round Robin輪詢方式把消息發(fā)送到不同的queue(分區(qū)隊列)寨典,而消費(fèi)消息的時候從多個queue上拉取消息氛雪,這種情況發(fā)送和消費(fèi)是不能保證順序。但是如果控制發(fā)送的順序消息只依次發(fā)送到同一個queue中耸成,消費(fèi)的時候只從這個queue上依次拉取报亩,則就保證了順序。當(dāng)發(fā)送和消費(fèi)參與的queue只有一個井氢,則是全局有序弦追;如果多個queue參與,則為分區(qū)有序花竞,即相對每個queue劲件,消息都是有序的。
3.1 發(fā)送順序消息
下面演示消息入隊列的片段代碼:
/**
* 參數(shù)一:消息對象
* 參數(shù)二:消息隊列選擇器
* 參數(shù)三:選擇隊列的業(yè)務(wù)標(biāo)識
*/
SendResult sendResult = producer.send(message, new MessageQueueSelector() {
/**
* 消息隊列選擇回調(diào)方法
* @param mqs 消息隊列集合
* @param msg 消息
* @param arg 業(yè)務(wù)標(biāo)識约急,也就是order.getId()
* @return
*/
@Override
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
Long id = (Long) arg; //根據(jù)訂單id選擇發(fā)送queue
long index = id % mqs.size();
return mqs.get((int) index);
}
}, order.getId());
3.2 消費(fèi)順序消息
消費(fèi)順序消息寇仓,RocketMQ會保證每個隊列只有唯一一個consumer線程來消費(fèi),這樣就保證了消息的分區(qū)有序烤宙。
consumer.registerMessageListener(new MessageListenerOrderly() {
@Override
public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
context.setAutoCommit(true);
for (MessageExt msg : msgs) {
// 可以看到每個queue有唯一的consume線程來消費(fèi), 訂單對每個queue(分區(qū))有序
System.out.println("consumeThread=" + Thread.currentThread().getName() + "遍烦,queueId=" + msg.getQueueId() + ", content:" + new String(msg.getBody()));
}
return ConsumeOrderlyStatus.SUCCESS;
}
});
4. 延時消息
延時消息通常用于在某個時間段后去投遞并消費(fèi)消息。比如我們平時買火車票躺枕,提交訂單后有半小時的支付時間服猪,此時在提交訂單時就有一條延時消息,半小時后去檢查這個訂單的狀態(tài)拐云,如果還是未付款就取消訂單罢猪。
4.1 發(fā)送延時消息
發(fā)送延時消息很簡單,只需要設(shè)置消息對象的延遲級別叉瘩,比如:
// 設(shè)置消息延遲級別為3膳帕,即延遲10s
message.setDelayTimeLevel(3);
默認(rèn)的延遲級別:1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h
,共18個級別。
4.2 消費(fèi)延時消息
消費(fèi)端不需要做任何的特殊處理危彩,比如:
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf("%s Receive New Messages: %s %n",
Thread.currentThread().getName(), msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
5. 批量消息
批量發(fā)送消息能顯著提高傳遞小消息的性能攒磨。限制是這些批量消息應(yīng)該有相同的topic,相同的waitStoreMsgOK汤徽,而且不能是延時消息娩缰。此外,默認(rèn)情況下這一批消息的總大小不應(yīng)超過4MB谒府。
5.1 發(fā)送批量消息
如果我們每次只發(fā)送不超過4MB的消息拼坎,則很容易使用批處理,樣例如下:
// 創(chuàng)建消息對象完疫,指定topic泰鸡、tag和消息體
List<Message> messages = new ArrayList<>();
messages.add(new Message(topic, "TagA", "Hello World 0".getBytes()));
messages.add(new Message(topic, "TagB", "Hello World 1".getBytes()));
messages.add(new Message(topic, "TagC", "Hello World 2".getBytes()));
// 發(fā)送消息
SendResult sendResult = producer.send(messages);
System.out.printf("%s%n", sendResult);
如果消息的總大小可能大于4MB時,最好把消息進(jìn)行分割:
public class ListSplitter implements Iterator<List<Message>> {
private final int SIZE_LIMIT = 1024 * 1024 * 4;
private final List<Message> messages;
private int currIndex;
public ListSplitter(List<Message> messages) {
this.messages = messages;
}
@Override
public boolean hasNext() {
return currIndex < messages.size();
}
@Override
public List<Message> next() {
int nextIndex = currIndex;
int totalSize = 0;
for (; nextIndex < messages.size(); nextIndex++) {
Message message = messages.get(nextIndex);
int tmpSize = message.getTopic().length() + message.getBody().length;
Map<String, String> properties = message.getProperties();
for (Map.Entry<String, String> entry : properties.entrySet()) {
tmpSize += entry.getKey().length() + entry.getValue().length();
}
tmpSize = tmpSize + 20; // 增加日志的開銷20字節(jié)
if (tmpSize > SIZE_LIMIT) {
//單個消息超過了最大的限制
//忽略,否則會阻塞分裂的進(jìn)程
if (nextIndex - currIndex == 0) {
//假如下一個子列表沒有元素,則添加這個子列表然后退出循環(huán),否則只是退出循環(huán)
nextIndex++;
}
break;
}
if (tmpSize + totalSize > SIZE_LIMIT) {
break;
} else {
totalSize += tmpSize;
}
}
List<Message> subList = messages.subList(currIndex, nextIndex);
currIndex = nextIndex;
return subList;
}
}
使用:
//把大的消息分裂成若干個小的消息
ListSplitter splitter = new ListSplitter(messages);
while (splitter.hasNext()) {
try {
List<Message> listItem = splitter.next();
producer.send(listItem);
} catch (Exception e) {
e.printStackTrace();
//處理error
}
}
6. 過濾消息
在大多數(shù)情況下壳鹤,TAG是一個簡單而有用的設(shè)計鸟顺,其可以來選擇您想要的消息。例如:
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampeConsumerGroup");
consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");
消費(fèi)者將接收包含TAGA或TAGB或TAGC的消息器虾。但是限制是一個消息只能有一個標(biāo)簽讯嫂,這對于復(fù)雜的場景可能不起作用。在這種情況下兆沙,可以使用SQL表達(dá)式篩選消息欧芽。SQL特性可以通過發(fā)送消息時的屬性來進(jìn)行計算。在RocketMQ定義的語法下葛圃,可以實現(xiàn)一些簡單的邏輯千扔。下面是一個例子:
------------
| message |
|----------| a > 5 AND b = 'abc'
| a = 10 | --------------------> Gotten
| b = 'abc'|
| c = true |
------------
------------
| message |
|----------| a > 5 AND b = 'abc'
| a = 1 | --------------------> Missed
| b = 'abc'|
| c = true |
------------
6.1 SQL基本語法
RocketMQ只定義了一些基本語法來支持這個特性。你也可以很容易地擴(kuò)展它库正。
- 數(shù)值比較曲楚,比如:>,>=褥符,<龙誊,<=,BETWEEN喷楣,=趟大;
- 字符比較,比如:=铣焊,<>逊朽,IN;
- IS NULL 或者 IS NOT NULL曲伊;
- 邏輯符號 AND叽讳,OR,NOT;
常量支持類型為:
- 數(shù)值岛蚤,比如:123邑狸,3.1415;
- 字符灭美,比如:'abc'推溃,必須用單引號包裹起來昂利;
- NULL届腐,特殊的常量
- 布爾值,TRUE 或 FALSE
只有使用push模式的消費(fèi)者才能用使用SQL92標(biāo)準(zhǔn)的sql語句蜂奸,接口如下:
public void subscribe(finalString topic, final MessageSelector messageSelector)
6.1 消息生產(chǎn)者
發(fā)送消息時犁苏,我們可以通過putUserProperty
來設(shè)置消息的屬性。
for (int i = 0; i < 10; i++) {
// 創(chuàng)建消息對象扩所,指定topic围详、tag和消息體
Message messages = new Message("TestTopic", ("Hello, this is filter msg body! My index is :" + i).getBytes());
messages.putUserProperty("index", String.valueOf(i));
// 發(fā)送消息
SendResult sendResult = producer.send(messages);
System.out.printf("%s%n", sendResult);
}
6.2 消息消費(fèi)者
用MessageSelector.bySql
來使用sql篩選消息。
// 訂閱Topic祖屏,且只有訂閱的消息有這個index屬性, index >=0 and index <= 3
consumer.subscribe("TestTopic", MessageSelector.bySql("index between 0 and 3"));
需要注意的是助赞,使用MessageSelector.bySql
時,需要在broker.conf
中配置enablePropertyFilter=true
袁勺,否則會報如下錯誤:
# org.apache.rocketmq.broker.processor.ClientManageProcessor.checkClientConfig()
The broker does not support consumer to filter message by SQL92
7. 事務(wù)消息
7.1 流程分析
事務(wù)消息的大致方案雹食,其中分為兩個流程:正常事務(wù)消息的發(fā)送及提交、事務(wù)消息的補(bǔ)償流程期丰。
7.1.1 事務(wù)消息發(fā)送及提交
(1) 發(fā)送消息(half消息)群叶。
(2) 服務(wù)端響應(yīng)消息寫入結(jié)果。
(3) 根據(jù)發(fā)送結(jié)果執(zhí)行本地事務(wù)(如果寫入失敗钝荡,此時half消息對業(yè)務(wù)不可見街立,本地邏輯不執(zhí)行)。
(4) 根據(jù)本地事務(wù)狀態(tài)執(zhí)行Commit或者Rollback(Commit操作生成消息索引埠通,消息對消費(fèi)者可見)赎离。
7.1.2 事務(wù)補(bǔ)償
(1) 對沒有Commit/Rollback的事務(wù)消息(pending狀態(tài)的消息),從服務(wù)端發(fā)起一次“回查”端辱。
(2) Producer收到回查消息蟹瘾,檢查回查消息對應(yīng)的本地事務(wù)的狀態(tài)。
(3) 根據(jù)本地事務(wù)狀態(tài)掠手,重新Commit或者Rollback憾朴。
其中,補(bǔ)償階段用于解決消息Commit或者Rollback發(fā)生超時或者失敗的情況喷鸽。
7.1.3 事務(wù)消息狀態(tài)
事務(wù)消息共有三種狀態(tài)众雷,提交狀態(tài)、回滾狀態(tài)、中間狀態(tài):
- TransactionStatus.CommitTransaction: 提交事務(wù)砾省,它允許消費(fèi)者消費(fèi)此消息鸡岗。
- TransactionStatus.RollbackTransaction: 回滾事務(wù),它代表該消息將被刪除编兄,不允許被消費(fèi)轩性。
- TransactionStatus.Unknown: 中間狀態(tài),它代表需要檢查消息隊列來確定狀態(tài)狠鸳。
7.2 發(fā)送事務(wù)消息
7.2.1 創(chuàng)建事務(wù)性生產(chǎn)者
使用 TransactionMQProducer
類創(chuàng)建生產(chǎn)者揣苏,并指定唯一的 ProducerGroup
,就可以設(shè)置自定義線程池來處理這些檢查請求件舵。執(zhí)行本地事務(wù)后卸察、需要根據(jù)執(zhí)行結(jié)果對消息隊列進(jìn)行回復(fù)。
public class TransactionMsgProducer {
public static void main(String[] args) throws MQClientException, InterruptedException {
// 1.創(chuàng)建事務(wù)監(jiān)聽器
TransactionListener transactionListener = new TransactionListenerImpl();
// 2.創(chuàng)建消息生產(chǎn)者
TransactionMQProducer producer = new TransactionMQProducer("ExampleProducerGroup");
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.設(shè)置事務(wù)監(jiān)聽器
producer.setTransactionListener(transactionListener);
// 4.啟動消息生產(chǎn)者
producer.start();
String[] tags = new String[]{"TagA", "TagB", "TagC"};
for (int i = 0; i < 3; i++) {
try {
Message msg = new Message("TransactionTopic", tags[i % tags.length], "KEY" + i,
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
SendResult sendResult = producer.sendMessageInTransaction(msg, null);
System.out.printf("%s%n", sendResult);
TimeUnit.SECONDS.sleep(1);
} catch (MQClientException | UnsupportedEncodingException e) {
e.printStackTrace();
}
}
// 5.關(guān)閉
producer.shutdown();
}
}
7.2.2 實現(xiàn)事務(wù)的監(jiān)聽接口
當(dāng)發(fā)送半消息成功時铅祸,我們使用 executeLocalTransaction
方法來執(zhí)行本地事務(wù)坑质。它返回前一節(jié)中提到的三個事務(wù)狀態(tài)之一。checkLocalTranscation
方法用于檢查本地事務(wù)狀態(tài)临梗,并回應(yīng)消息隊列的檢查請求涡扼。它也是返回前一節(jié)中提到的三個事務(wù)狀態(tài)之一。
public class TransactionListenerImpl implements TransactionListener {
@Override
public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
System.out.println("執(zhí)行本地事務(wù)");
if (StringUtils.equals("TagA", msg.getTags())) {
return LocalTransactionState.COMMIT_MESSAGE;
} else if (StringUtils.equals("TagB", msg.getTags())) {
return LocalTransactionState.ROLLBACK_MESSAGE;
} else {
return LocalTransactionState.UNKNOW;
}
}
@Override
public LocalTransactionState checkLocalTransaction(MessageExt msg) {
System.out.println("MQ檢查消息Tag【" + msg.getTags() + "】的本地事務(wù)執(zhí)行結(jié)果");
return LocalTransactionState.COMMIT_MESSAGE;
}
}
7.2.3 使用限制
- 事務(wù)消息不支持延時消息和批量消息盟庞。
- 為了避免單個消息被檢查太多次而導(dǎo)致半隊列消息累積吃沪,我們默認(rèn)將單個消息的檢查次數(shù)限制為 15 次,但是用戶可以通過 Broker 配置文件的
transactionCheckMax
參數(shù)來修改此限制茫经。如果已經(jīng)檢查某條消息超過 N 次的話( N =transactionCheckMax
) 則 Broker 將丟棄此消息巷波,并在默認(rèn)情況下同時打印錯誤日志。用戶可以通過重寫AbstractTransactionCheckListener
類來修改這個行為卸伞。 - 事務(wù)消息將在 Broker 配置文件中的參數(shù) transactionMsgTimeout 這樣的特定時間長度之后被檢查抹镊。當(dāng)發(fā)送事務(wù)消息時,用戶還可以通過設(shè)置用戶屬性 CHECK_IMMUNITY_TIME_IN_SECONDS 來改變這個限制荤傲,該參數(shù)優(yōu)先于
transactionMsgTimeout
參數(shù)垮耳。 - 事務(wù)性消息可能不止一次被檢查或消費(fèi)。
- 提交給用戶的目標(biāo)主題消息可能會失敗遂黍,目前這依日志的記錄而定终佛。它的高可用性通過 RocketMQ 本身的高可用性機(jī)制來保證,如果希望確保事務(wù)消息不丟失雾家、并且事務(wù)完整性得到保證铃彰,建議使用同步的雙重寫入機(jī)制。
- 事務(wù)消息的生產(chǎn)者 ID 不能與其他類型消息的生產(chǎn)者 ID 共享芯咧。與其他類型的消息不同牙捉,事務(wù)消息允許反向查詢竹揍、MQ服務(wù)器能通過它們的生產(chǎn)者 ID 查詢到消費(fèi)者。