作者：WilsonHe
鏈接： https://juejin.im/post/5ea159e4f265da47f0794da5

MQ的主要特點為解耦甸私、異步、削峰飞傀，該文章主要記錄與分享個人在實際項目中的RocketMQ削峰用法皇型，用于減少數(shù)據(jù)庫壓力的業(yè)務(wù)場景，其中RocketMQ的核心組件概念如下：

• Producer：生產(chǎn)發(fā)送消息
• Broker：存儲Producer發(fā)送過來的消息
• Consumer：從Broker拉取消息并進(jìn)行消費

• NameServer：為Producer或Consumer路由到Broker
  image

其中消費流程有以下幾點是必須注意的：

• RocketMQ的Consumer獲取消息是通過向Broker發(fā)送拉取請求獲取的砸烦，而不是由Broker發(fā)送Consumer接收的方式弃鸦。
• Consumer每次拉取消息時消息都會被均勻分發(fā)到消息隊列再進(jìn)行傳輸，所以RocketMQ中的很多參數(shù)都是針對隊列而不是Topic的(這個是重點幢痘，順便吐槽下源碼的文檔講的真不清晰唬格，很多都需要自己試錯，但Dashboard做得很好)颜说，其中每個Broker消息隊列(ConsumeQueue)的數(shù)量都可以通過RocketMQ DashBoard實時更改調(diào)整购岗。

rocketmq-spring-boot-starter用法簡介

當(dāng)開發(fā)中需要快速集成RocketMQ時可以考慮使用 rocketmq-spring-boot-starter 搭建RocketMQ的集成環(huán)境，但該框架并不完全具備RocketMQ所有的配置簡化脑沿，如需批量消費消息便需要自定義一個DefaultMQPushConsumer bean去消費了藕畔。個人在開發(fā)中常用的rocketmq-spring-boot-starter相關(guān)類：

• RocketMQListener接口：消費者都需實現(xiàn)該接口的消費方法onMessage(msg)。
• RocketMQPushConsumerLifecycleListener接口：當(dāng)@RocketMQMessageListener中的配置不足以滿足我們的需求時庄拇，可以實現(xiàn)該接口直接更改消費者類DefaultMQPushConsumer配置
• @RocketMQMessageListener：被該注解標(biāo)注并實現(xiàn)了接口RocketMQListener的bean為一個消費者并監(jiān)聽指定topic隊列中的消息注服，該注解中包含消費者的一些常用配置(大部分按默認(rèn)即可)，一般只需更改consumerGroup(消費組)與topic措近。RocketMQMessageListener中的屬性配置是可以使用Placeholder(占位符)從配置文件或配置中心獲取的溶弟，如下圖：
  image

業(yè)務(wù)案例

image

環(huán)境配置

文章例子環(huán)境：1NameServer + 2Broker + 1Consumer

添加maven依賴

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
</dependency>

application.yml配置

rocketmq:
  name-server: 127.0.0.1:9876
  producer:
    group: praise-group
server:
  port: 10000

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    username: root
    password: tiger
    url: jdbc:mysql://localhost:3306/wilson
swagger:
  docket:
    base-package: io.rocket.consumer.controller

點贊接口

PraiseRecord(點贊記錄):

@Data
public class PraiseRecord implements Serializable {
    private Long id;
    private Long uid;
    private Long liveId;
    private LocalDateTime createTime;
}

MessageController(簡單的測試接口):

RestController
@RequestMapping("/message")
public class MessageController {
    @Resource
    private RocketMQTemplate rocketMQTemplate;

    @PostMapping("/praise")
    public ServerResponse praise(@RequestBody PraiseRecordVO vo) {
        rocketMQTemplate.sendOneWay(RocketConstant.Topic.PRAISE_TOPIC, MessageBuilder.withPayload(vo).build());
        return ServerResponse.success();
    }

    // ......

}

由于用戶可以連續(xù)點贊剖效，所以考慮可以在點贊消息的處理上寬松一點(容許消息丟失)以追求更高的性能嫉入，因此選擇使用sendOneyWay()進(jìn)行消息發(fā)送。

RocketMQ的消息發(fā)送方式主要含syncSend()同步發(fā)送璧尸、asyncSend()異步發(fā)送咒林、sendOneWay()三種方式，sendOneWay()也是異步發(fā)送爷光，區(qū)別在于不需等待Broker返回確認(rèn)垫竞，所以可能會存在信息丟失的狀況，但吞吐量更高蛀序，具體需根據(jù)業(yè)務(wù)情況選用件甥。性能：sendOneWay > asyncSend > syncSend RocketMQTemplate的send()方法默認(rèn)是同步(syncSend)的,更多可看源碼實現(xiàn)。

PraiseListener：點贊消息消費者

@Service
@RocketMQMessageListener(topic = RocketConstant.Topic.PRAISE_TOPIC, consumerGroup = RocketConstant.ConsumerGroup.PRAISE_CONSUMER)
@Slf4j
public class PraiseListener implements RocketMQListener<PraiseRecordVO>, RocketMQPushConsumerLifecycleListener {
    @Resource
    private PraiseRecordService praiseRecordService;

    @Override
    public void onMessage(PraiseRecordVO vo) {
        praiseRecordService.insert(vo.copyProperties(PraiseRecord::new));
    }

    @Override
    public void prepareStart(DefaultMQPushConsumer consumer) {
        // 每次拉取的間隔哼拔，單位為毫秒
        consumer.setPullInterval(2000);
        // 設(shè)置每次從隊列中拉取的消息數(shù)為16
        consumer.setPullBatchSize(16);
    }
}

單次pull消息的最大數(shù)目受broker存儲的MessageStoreConfig.maxTransferCountOnMessageInMemory(默認(rèn)為32)值限制，即若想要消費者從隊列拉取的消息數(shù)大于32有效(pullBatchSize>32)則需更改Broker的啟動參數(shù)maxTransferCountOnMessageInMemory值瓣颅。在MQ削峰的配置參數(shù)里倦逐，以下幾個DefaultMQPushConsumer的參數(shù)是需要注意一下的：

• pullInterval：每次從Broker拉取消息的間隔，單位為毫秒
• pullBatchSize：每次從Broker隊列拉取到的消息數(shù)宫补，該參數(shù)很容易讓人誤解檬姥，一開始我以為是每次拉取的消息總數(shù)，但測試過幾次后確認(rèn)了實質(zhì)上是從每個隊列的拉取數(shù)(源碼上的注釋文檔真的很差粉怕，跟沒有一樣)健民，即Consume每次拉取的消息總數(shù)如下：EachPullTotal=所有Broker上的寫隊列數(shù)和(writeQueueNums=readQueueNums) * pullBatchSize
• consumeMessageBatchMaxSize：每次消費(即將多條消息合并為List消費)的最大消息數(shù)目，默認(rèn)值為1贫贝，rocketmq-spring-boot-starter 目前不支持批量消費(2.1.0版本)

image

image

image

由上圖可以看出除第一次2s和最后一次2s外數(shù)據(jù)庫每2s的插入數(shù)據(jù)數(shù)和一般都在128附近波動幔摸，也用了34s(因第一次拉取數(shù)較少所以比理論多花費一次拉取)消費的偏差大小可能會受每次拉取數(shù)pullBatchSize摸柄、Broker上的消息隊列數(shù)、網(wǎng)絡(luò)波動等情況影響抚太，但需要的目的已經(jīng)達(dá)到了塘幅，我只想把單位時間內(nèi)過多的數(shù)據(jù)庫操作交給MQ做分隔成多個單位時間內(nèi)的小批量操作，消息過多就堆積尿贫，當(dāng)請求峰值過了后直到MQ堆積的消息消費完前數(shù)據(jù)庫的插入數(shù)依舊會與峰值期的插入數(shù)相差不大电媳，達(dá)到了MQ削峰填谷的效果。

上線了但消費效率預(yù)估失誤如何動態(tài)更改消費效率 庆亡？

image

如何使用RocketMQ批量消費 ？

雖然點贊業(yè)務(wù)使用MQ單條插入后TPS已經(jīng)達(dá)到當(dāng)前業(yè)務(wù)指標(biāo)要求了趴俘，但考慮到如果后續(xù)要求在不添加機器數(shù)的情況下增加TPS睹簇，且數(shù)據(jù)量還沒到分庫分表的程度，個人就打算從批量消費下手哮幢，由一次插入一條點贊記錄改為一次性插入多條(insertBatch)带膀。當(dāng)然能滿足現(xiàn)有需求能不做肯定不做的，過度優(yōu)化過分礙事橙垢，但想多點方案不會壞事垛叨。rocketmq-spring-boot-starter并沒有提供批量消費的功能，所以要批量消費消息需要自定義DefaultMQPushConsumer并配置其consumeMessageBatchMaxSize屬性。consumeMessageBatchMaxSize屬性默認(rèn)值為1嗽元，即每次只消費一條消息敛纲，需要注意的是該屬性也會受pullBatchSize影響，如果consumeMessageBatchMaxSize為32但pullBatchSize只為12剂癌，那么每次批量消費的最大消息數(shù)也就只有12淤翔。如下為個人測試批量消費Consumer的測試bean：

@Bean
public DefaultMQPushConsumer userMQPushConsumer() throws MQClientException {
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(RocketConstant.ConsumerGroup.SPRING_BOOT_USER_CONSUMER);
    consumer.setNamesrvAddr(nameServer);
    consumer.subscribe(RocketConstant.Topic.SPRING_BOOT_USER_TOPIC, "*");
    // 設(shè)置每次消息拉取的時間間隔，單位毫秒
    consumer.setPullInterval(1000);
    // 設(shè)置每個隊列每次拉取的最大消息數(shù)
    consumer.setPullBatchSize(24);
    // 設(shè)置消費者單次批量消費的消息數(shù)目上限
    consumer.setConsumeMessageBatchMaxSize(12);
    consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context)
            -> {
        List<UserInfo> userInfos = new ArrayList<>(msgs.size());
        Map<Integer, Integer> queueMsgMap = new HashMap<>(8);
        msgs.forEach(msg -> {
            userInfos.add(JSONObject.parseObject(msg.getBody(), UserInfo.class));
            queueMsgMap.compute(msg.getQueueId(), (key, val) -> val == null ? 1 : ++val);
        });
        log.info("userInfo size: {}, content: {}", userInfos.size(), userInfos);
        /*
          處理批量消息佩谷，如批量插入：userInfoMapper.insertBatch(userInfos);
         */
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    });
    consumer.start();
    return consumer;
}

如果默認(rèn)配置情況下log打印出的userInfo size恒為1旁壮，但由于設(shè)置了consumeMessageBatchMaxSize與pullBatchSize，且pullBatchSize較小谐檀，所以每次消費的消息數(shù)最大值為12抡谐，如下圖：

image

附本文相關(guān)信息

• 確保mqnamesrv與mqbroker已啟動成功，如該文章環(huán)境的啟動：

mqnamesrv -n 127.0.0.1:9876
mqbroker -c E:\RocketMQ\rocketmq-all-4.5.2-bin-release\bin\2m-noslave\broker-a.properties
mqbroker -c E:\RocketMQ\rocketmq-all-4.5.2-bin-release\bin\2m-noslave\broker-b.properties

• RocketMQ DashBoard啟動流程可參考官方github文檔或到我的資源里下載jar包運行
• 源碼地址（https://github.com/Wilson-He/spring-boot-series/tree/master/spring-rocketmq）桐猬，2m-noslave目錄是該文章中例子中的2master broker配置與啟動腳本麦撵，spring-boot-consumer-peak目錄為包含該文章相關(guān)代碼的實際例子