前言:
RabbitMQ相關(guān)知識(shí)請(qǐng)參考:http://www.reibang.com/p/cc3d2017e7b3
Linux安裝RabbitMQ請(qǐng)參考:http://www.reibang.com/p/ee9f7594212b
Windows安裝RabbitMQ請(qǐng)參考:http://www.reibang.com/p/c7726ba4b046
一、先扔一張圖
說(shuō)明:
本文涵蓋了關(guān)于RabbitMQ很多方面的知識(shí)點(diǎn), 如:
消息發(fā)送確認(rèn)機(jī)制
消費(fèi)確認(rèn)機(jī)制
消息的重新投遞
消費(fèi)冪等性, 等等
這些都是圍繞上面那張整體流程圖展開(kāi)的, 所以有必要先貼出來(lái), 見(jiàn)圖知意
二桨啃、實(shí)現(xiàn)思路
簡(jiǎn)略介紹163郵箱授權(quán)碼的獲取
編寫(xiě)發(fā)送郵件工具類
編寫(xiě)RabbitMQ配置文件
生產(chǎn)者發(fā)起調(diào)用
消費(fèi)者發(fā)送郵件
定時(shí)任務(wù)定時(shí)拉取投遞失敗的消息, 重新投遞
各種異常情況的測(cè)試驗(yàn)證
拓展: 使用動(dòng)態(tài)代理實(shí)現(xiàn)消費(fèi)端冪等性驗(yàn)證和消息確認(rèn)(ack)
三车胡、項(xiàng)目介紹
springboot版本2.1.5.RELEASE, 舊版本可能有些配置屬性不能使用, 需要以代碼形式進(jìn)行配置
RabbitMQ版本3.7.15
MailUtil: 發(fā)送郵件工具類
RabbitConfig: rabbitmq相關(guān)配置
TestServiceImpl: 生產(chǎn)者, 發(fā)送消息
MailConsumer: 消費(fèi)者, 消費(fèi)消息, 發(fā)送郵件
ResendMsg: 定時(shí)任務(wù), 重新投遞發(fā)送失敗的消息
說(shuō)明: 上面是核心代碼,MsgLogService mapper xml等均未貼出, 完整代碼可以參考GitHub, 歡迎fork,https://github.com/wangzaiplus/springboot/tree/wxw
四、代碼實(shí)現(xiàn)
163郵箱授權(quán)碼的獲取, 如圖:
image.png
該授權(quán)碼就是配置文件spring.mail.password需要的密碼
pom
<!--mq--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId></dependency><!--mail--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId></dependency>
rabbitmq照瘾、郵箱配置
# rabbitmqspring.rabbitmq.host=localhostspring.rabbitmq.port=5672spring.rabbitmq.username=guestspring.rabbitmq.password=guest# 開(kāi)啟confirms回調(diào) P -> Exchangespring.rabbitmq.publisher-confirms=true# 開(kāi)啟returnedMessage回調(diào) Exchange -> Queuespring.rabbitmq.publisher-returns=true# 設(shè)置手動(dòng)確認(rèn)(ack) Queue -> Cspring.rabbitmq.listener.simple.acknowledge-mode=manualspring.rabbitmq.listener.simple.prefetch=100# mailspring.mail.host=smtp.163.comspring.mail.username=186****2249@163.comspring.mail.password=***spring.mail.from=186****2249@163.comspring.mail.properties.mail.smtp.auth=truespring.mail.properties.mail.smtp.starttls.enable=truespring.mail.properties.mail.smtp.starttls.required=true
說(shuō)明:password即授權(quán)碼,username和from要一致
表結(jié)構(gòu)
CREATETABLE`msg_log`(`msg_id`varchar(255)NOTNULLDEFAULT''COMMENT'消息唯一標(biāo)識(shí)',`msg` textCOMMENT'消息體, json格式化',`exchange`varchar(255)NOTNULLDEFAULT''COMMENT'交換機(jī)',`routing_key`varchar(255)NOTNULLDEFAULT''COMMENT'路由鍵',`status`int(11)NOTNULLDEFAULT'0'COMMENT'狀態(tài): 0投遞中 1投遞成功 2投遞失敗 3已消費(fèi)',`try_count`int(11)NOTNULLDEFAULT'0'COMMENT'重試次數(shù)',`next_try_time` datetimeDEFAULTNULLCOMMENT'下一次重試時(shí)間',`create_time` datetimeDEFAULTNULLCOMMENT'創(chuàng)建時(shí)間',`update_time` datetimeDEFAULTNULLCOMMENT'更新時(shí)間',PRIMARYKEY(`msg_id`),UNIQUEKEY`unq_msg_id`(`msg_id`)USINGBTREE)ENGINE=InnoDBDEFAULTCHARSET=utf8mb4COMMENT='消息投遞日志';
說(shuō)明:exchange routing_key字段是在定時(shí)任務(wù)重新投遞消息時(shí)需要用到的
MailUtil
@Component@Slf4jpublicclassMailUtil{@Value("${spring.mail.from}")privateStringfrom;@AutowiredprivateJavaMailSender mailSender;/**
? ? * 發(fā)送簡(jiǎn)單郵件
? ? *
? ? * @param mail
? ? */publicbooleansend(Mail mail){String to=mail.getTo();// 目標(biāo)郵箱String title=mail.getTitle();// 郵件標(biāo)題String content=mail.getContent();// 郵件正文SimpleMailMessage message=newSimpleMailMessage();message.setFrom(from);message.setTo(to);message.setSubject(title);message.setText(content);try{mailSender.send(message);log.info("郵件發(fā)送成功");returntrue;}catch(MailException e){log.error("郵件發(fā)送失敗, to: {}, title: {}",to,title,e);returnfalse;}}}
RabbitConfig
@Configuration@Slf4jpublicclassRabbitConfig{@AutowiredprivateCachingConnectionFactoryconnectionFactory;@AutowiredprivateMsgLogServicemsgLogService;@BeanpublicRabbitTemplaterabbitTemplate(){RabbitTemplaterabbitTemplate=newRabbitTemplate(connectionFactory);rabbitTemplate.setMessageConverter(converter());// 消息是否成功發(fā)送到ExchangerabbitTemplate.setConfirmCallback((correlationData,ack,cause)->{if(ack){log.info("消息成功發(fā)送到Exchange");StringmsgId=correlationData.getId();msgLogService.updateStatus(msgId,Constant.MsgLogStatus.DELIVER_SUCCESS);}else{log.info("消息發(fā)送到Exchange失敗, {}, cause: {}",correlationData,cause);}});// 觸發(fā)setReturnCallback回調(diào)必須設(shè)置mandatory=true, 否則Exchange沒(méi)有找到Queue就會(huì)丟棄掉消息, 而不會(huì)觸發(fā)回調(diào)rabbitTemplate.setMandatory(true);// 消息是否從Exchange路由到Queue, 注意: 這是一個(gè)失敗回調(diào), 只有消息從Exchange路由到Queue失敗才會(huì)回調(diào)這個(gè)方法rabbitTemplate.setReturnCallback((message,replyCode,replyText,exchange,routingKey)->{log.info("消息從Exchange路由到Queue失敗: exchange: {}, route: {}, replyCode: {}, replyText: {}, message: {}",exchange,routingKey,replyCode,replyText,message);});returnrabbitTemplate;}@BeanpublicJackson2JsonMessageConverterconverter(){returnnewJackson2JsonMessageConverter();}// 發(fā)送郵件publicstaticfinalStringMAIL_QUEUE_NAME="mail.queue";publicstaticfinalStringMAIL_EXCHANGE_NAME="mail.exchange";publicstaticfinalStringMAIL_ROUTING_KEY_NAME="mail.routing.key";@BeanpublicQueuemailQueue(){returnnewQueue(MAIL_QUEUE_NAME,true);}@BeanpublicDirectExchangemailExchange(){returnnewDirectExchange(MAIL_EXCHANGE_NAME,true,false);}@BeanpublicBindingmailBinding(){returnBindingBuilder.bind(mailQueue()).to(mailExchange()).with(MAIL_ROUTING_KEY_NAME);}}
TestServiceImpl生產(chǎn)消息
@ServicepublicclassTestServiceImplimplementsTestService{@AutowiredprivateMsgLogMappermsgLogMapper;@AutowiredprivateRabbitTemplaterabbitTemplate;@OverridepublicServerResponsesend(Mailmail){StringmsgId=RandomUtil.UUID32();mail.setMsgId(msgId);MsgLogmsgLog=newMsgLog(msgId,mail,RabbitConfig.MAIL_EXCHANGE_NAME,RabbitConfig.MAIL_ROUTING_KEY_NAME);msgLogMapper.insert(msgLog);// 消息入庫(kù)CorrelationDatacorrelationData=newCorrelationData(msgId);rabbitTemplate.convertAndSend(RabbitConfig.MAIL_EXCHANGE_NAME,RabbitConfig.MAIL_ROUTING_KEY_NAME,MessageHelper.objToMsg(mail),correlationData);// 發(fā)送消息returnServerResponse.success(ResponseCode.MAIL_SEND_SUCCESS.getMsg());}}
MailConsumer消費(fèi)消息, 發(fā)送郵件
@Component@Slf4jpublicclassMailConsumer{@AutowiredprivateMsgLogServicemsgLogService;@AutowiredprivateMailUtilmailUtil;@RabbitListener(queues=RabbitConfig.MAIL_QUEUE_NAME)publicvoidconsume(Messagemessage,Channelchannel)throwsIOException{Mailmail=MessageHelper.msgToObj(message,Mail.class);log.info("收到消息: {}",mail.toString());StringmsgId=mail.getMsgId();MsgLogmsgLog=msgLogService.selectByMsgId(msgId);if(null==msgLog||msgLog.getStatus().equals(Constant.MsgLogStatus.CONSUMED_SUCCESS)){// 消費(fèi)冪等性log.info("重復(fù)消費(fèi), msgId: {}",msgId);return;}MessagePropertiesproperties=message.getMessageProperties();longtag=properties.getDeliveryTag();booleansuccess=mailUtil.send(mail);if(success){msgLogService.updateStatus(msgId,Constant.MsgLogStatus.CONSUMED_SUCCESS);channel.basicAck(tag,false);// 消費(fèi)確認(rèn)}else{channel.basicNack(tag,false,true);}}}
說(shuō)明: 其實(shí)就完成了3件事: 1.保證消費(fèi)冪等性, 2.發(fā)送郵件, 3.更新消息狀態(tài), 手動(dòng)ack
ResendMsg定時(shí)任務(wù)重新投遞發(fā)送失敗的消息
@Component@Slf4jpublicclassResendMsg{@AutowiredprivateMsgLogServicemsgLogService;@AutowiredprivateRabbitTemplaterabbitTemplate;// 最大投遞次數(shù)privatestaticfinalintMAX_TRY_COUNT=3;/**
? ? * 每30s拉取投遞失敗的消息, 重新投遞
? ? */@Scheduled(cron="0/30 * * * * ?")publicvoidresend(){log.info("開(kāi)始執(zhí)行定時(shí)任務(wù)(重新投遞消息)");List<MsgLog>msgLogs=msgLogService.selectTimeoutMsg();msgLogs.forEach(msgLog->{StringmsgId=msgLog.getMsgId();if(msgLog.getTryCount()>=MAX_TRY_COUNT){msgLogService.updateStatus(msgId,Constant.MsgLogStatus.DELIVER_FAIL);log.info("超過(guò)最大重試次數(shù), 消息投遞失敗, msgId: {}",msgId);}else{msgLogService.updateTryCount(msgId,msgLog.getNextTryTime());// 投遞次數(shù)+1CorrelationDatacorrelationData=newCorrelationData(msgId);rabbitTemplate.convertAndSend(msgLog.getExchange(),msgLog.getRoutingKey(),MessageHelper.objToMsg(msgLog.getMsg()),correlationData);// 重新投遞log.info("第 "+(msgLog.getTryCount()+1)+" 次重新投遞消息");}});log.info("定時(shí)任務(wù)執(zhí)行結(jié)束(重新投遞消息)");}}
說(shuō)明: 每一條消息都和exchange routingKey綁定, 所有消息重投共用這一個(gè)定時(shí)任務(wù)即可
五匈棘、基本測(cè)試
OK, 目前為止, 代碼準(zhǔn)備就緒, 現(xiàn)在進(jìn)行正常流程的測(cè)試
發(fā)送請(qǐng)求:
后臺(tái)日志:
數(shù)據(jù)庫(kù)消息記錄:
狀態(tài)為3, 表明已消費(fèi), 消息重試次數(shù)為0, 表明一次投遞就成功了
查看郵箱
發(fā)送成功
六、各種異常情況測(cè)試
步驟一羅列了很多關(guān)于RabbitMQ的知識(shí)點(diǎn), 很重要, 很核心, 而本文也涉及到了這些知識(shí)點(diǎn)的實(shí)現(xiàn), 接下來(lái)就通過(guò)異常測(cè)試進(jìn)行驗(yàn)證(這些驗(yàn)證都是圍繞本文開(kāi)頭扔的那張流程圖展開(kāi)的, 很重要, 所以, 再貼一遍)
驗(yàn)證消息發(fā)送到Exchange失敗情況下的回調(diào), 對(duì)應(yīng)上圖P -> X
如何驗(yàn)證? 可以隨便指定一個(gè)不存在的交換機(jī)名稱, 請(qǐng)求接口, 看是否會(huì)觸發(fā)回調(diào)
發(fā)送失敗, 原因:reply-code=404, reply-text=NOT_FOUND - no exchange 'mail.exchangeabcd' in vhost '/', 該回調(diào)能夠保證消息正確發(fā)送到Exchange, 測(cè)試完成
驗(yàn)證消息從Exchange路由到Queue失敗情況下的回調(diào), 對(duì)應(yīng)上圖X -> Q
同理, 修改一下路由鍵為不存在的即可, 路由失敗, 觸發(fā)回調(diào)
發(fā)送失敗, 原因:route: mail.routing.keyabcd, replyCode: 312, replyText: NO_ROUTE
驗(yàn)證在手動(dòng)ack模式下, 消費(fèi)端必須進(jìn)行手動(dòng)確認(rèn)(ack), 否則消息會(huì)一直保存在隊(duì)列中, 直到被消費(fèi), 對(duì)應(yīng)上圖Q -> C
將消費(fèi)端代碼channel.basicAck(tag, false);// 消費(fèi)確認(rèn)注釋掉, 查看控制臺(tái)和rabbitmq管控臺(tái)
可以看到, 雖然消息確實(shí)被消費(fèi)了, 但是由于是手動(dòng)確認(rèn)模式, 而最后又沒(méi)手動(dòng)確認(rèn), 所以, 消息仍被rabbitmq保存, 所以, 手動(dòng)ack能夠保證消息一定被消費(fèi), 但一定要記得basicAck
驗(yàn)證消費(fèi)端冪等性
接著上一步, 去掉注釋, 重啟服務(wù)器, 由于有一條未被ack的消息, 所以重啟后監(jiān)聽(tīng)到消息, 進(jìn)行消費(fèi), 但是由于消費(fèi)前會(huì)判斷該消息的狀態(tài)是否未被消費(fèi), 發(fā)現(xiàn)status=3, 即已消費(fèi), 所以, 直接return, 這樣就保證了消費(fèi)端的冪等性, 即使由于網(wǎng)絡(luò)等原因投遞成功而未觸發(fā)回調(diào), 從而多次投遞, 也不會(huì)重復(fù)消費(fèi)進(jìn)而發(fā)生業(yè)務(wù)異常
驗(yàn)證消費(fèi)端發(fā)生異常消息也不會(huì)丟失
很顯然, 消費(fèi)端代碼可能發(fā)生異常, 如果不做處理, 業(yè)務(wù)沒(méi)正確執(zhí)行, 消息卻不見(jiàn)了, 給我們感覺(jué)就是消息丟失了, 由于我們消費(fèi)端代碼做了異常捕獲, 業(yè)務(wù)異常時(shí), 會(huì)觸發(fā):channel.basicNack(tag, false, true);, 這樣會(huì)告訴rabbitmq該消息消費(fèi)失敗, 需要重新入隊(duì), 可以重新投遞到其他正常的消費(fèi)端進(jìn)行消費(fèi), 從而保證消息不被丟失
測(cè)試: send方法直接返回false即可(這里跟拋出異常一個(gè)意思)
可以看到, 由于channel.basicNack(tag, false, true), 未被ack的消息(unacked)會(huì)重新入隊(duì)并被消費(fèi), 這樣就保證了消息不會(huì)走丟
驗(yàn)證定時(shí)任務(wù)的消息重投
實(shí)際應(yīng)用場(chǎng)景中, 可能由于網(wǎng)絡(luò)原因, 或者消息未被持久化MQ就宕機(jī)了, 使得投遞確認(rèn)的回調(diào)方法ConfirmCallback沒(méi)有被執(zhí)行, 從而導(dǎo)致數(shù)據(jù)庫(kù)該消息狀態(tài)一直是投遞中的狀態(tài), 此時(shí)就需要進(jìn)行消息重投, 即使也許消息已經(jīng)被消費(fèi)了
定時(shí)任務(wù)只是保證消息100%投遞成功, 而多次投遞的消費(fèi)冪等性需要消費(fèi)端自己保證
我們可以將回調(diào)和消費(fèi)成功后更新消息狀態(tài)的代碼注釋掉, 開(kāi)啟定時(shí)任務(wù), 查看是否重投
image.png
可以看到, 消息會(huì)重投3次, 超過(guò)3次放棄, 將消息狀態(tài)置為投遞失敗狀態(tài), 出現(xiàn)這種非正常情況, 就需要人工介入排查原因
七析命、拓展: 使用動(dòng)態(tài)代理實(shí)現(xiàn)消費(fèi)端冪等性驗(yàn)證和消費(fèi)確認(rèn)(ack)
不知道大家發(fā)現(xiàn)沒(méi)有, 在MailConsumer中, 真正的業(yè)務(wù)邏輯其實(shí)只是發(fā)送郵件mailUtil.send(mail)而已, 但我們又不得不在調(diào)用send方法之前校驗(yàn)消費(fèi)冪等性, 發(fā)送后, 還要更新消息狀態(tài)為"已消費(fèi)"狀態(tài), 并手動(dòng)ack, 實(shí)際項(xiàng)目中, 可能還有很多生產(chǎn)者-消費(fèi)者的應(yīng)用場(chǎng)景, 如記錄日志, 發(fā)送短信等等, 都需要rabbitmq, 如果每次都寫(xiě)這些重復(fù)的公用代碼, 沒(méi)必要, 也難以維護(hù), 所以, 我們可以將公共代碼抽離出來(lái), 讓核心業(yè)務(wù)邏輯只關(guān)心自己的實(shí)現(xiàn), 而不用做其他操作, 其實(shí)就是AOP
為達(dá)到這個(gè)目的, 有很多方法, 可以用spring aop, 可以用攔截器, 可以用靜態(tài)代理, 也可以用動(dòng)態(tài)代理, 在這里, 我用的是動(dòng)態(tài)代理
目錄結(jié)構(gòu)如下:
核心代碼就是代理的實(shí)現(xiàn), 這里就不把所有代碼貼出來(lái)了, 只是提供一個(gè)思路, 我們要盡可能地把代碼寫(xiě)的更簡(jiǎn)潔更優(yōu)雅
八主卫、總結(jié)
發(fā)送郵件其實(shí)很簡(jiǎn)單, 但深究起來(lái)其實(shí)有很多需要注意和完善的點(diǎn), 一個(gè)看似很小的知識(shí)點(diǎn), 也可以引申出很多問(wèn)題, 甚至涉及到方方面面, 這些都需要自己踩坑, 當(dāng)然我這代碼肯定還有很多不完善和需要優(yōu)化的點(diǎn), 希望小伙伴多多提意見(jiàn)和建議
