tags: springbatch mongodb
1.引言
之前對(duì)Spring Batch的通過實(shí)例的方式進(jìn)行了介紹，有興趣的可見以下文章：
- 數(shù)據(jù)批處理神器-Spring Batch(1)簡介及使用場景
- 快速了解組件-spring batch(2)之helloworld
- 快速使用組件-spring batch(3)讀文件數(shù)據(jù)到數(shù)據(jù)庫
- 決戰(zhàn)數(shù)據(jù)庫-spring batch(4)數(shù)據(jù)庫到數(shù)據(jù)庫
- 便捷的數(shù)據(jù)讀寫-spring batch(5)結(jié)合beetlSql進(jìn)行數(shù)據(jù)讀寫
- 增量同步-spring batch(6)動(dòng)態(tài)參數(shù)綁定與增量同步
- 調(diào)度與監(jiān)控-spring batch(7)結(jié)合xxl-job進(jìn)行批處理
除了文件及關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)同步，Spring Batch的讀組件(ItemReader)，處理組件(ItemProcessor)润绎，寫組件(ItemWriter)支持豐富的數(shù)據(jù)類型锈遥，其中MongoItemReader及MongoItemWriter是針對(duì)mongo的讀寫組件屈尼，用戶可以直接使用抒倚，進(jìn)行Mongodb的數(shù)據(jù)讀寫操作篡撵。一種比較常用的情景是從關(guān)系型數(shù)據(jù)庫（如mysql）把數(shù)據(jù)同步到mongodb中判莉，下面通過實(shí)例對(duì)mysql到mongodb的數(shù)據(jù)同步進(jìn)行講解。本文主要講解有關(guān)Mongodb的操作育谬，對(duì)于Spring Batch使用beetlsql進(jìn)行關(guān)系數(shù)據(jù)庫數(shù)據(jù)讀取的操作請見文章《便捷的數(shù)據(jù)讀寫-spring batch(5)結(jié)合beetlSql進(jìn)行數(shù)據(jù)讀寫》券盅。本文的示例代碼見github示例倉庫。
2.開發(fā)環(huán)境
- JDK: jdk1.8
- Spring Boot: 2.1.4.RELEASE
- Spring Batch:4.1.2.RELEASE
- 開發(fā)IDE: IDEA
- 構(gòu)建工具M(jìn)aven: 3.3.9
- 日志組件logback:1.2.3
- lombok:1.18.6
- MySQL: 5.6.26
- Mongodb:4.0.10
3.開發(fā)流程
3.1 示例數(shù)據(jù)庫及目標(biāo)數(shù)據(jù)庫
本示例的流程如下所示：
示例工程中的sql目錄有相應(yīng)的關(guān)系數(shù)據(jù)庫腳本膛檀，mytest.sql腳本創(chuàng)建一個(gè)test_user表锰镀，并有相應(yīng)的測試數(shù)據(jù)。mongodb的安裝可見官方文檔咖刃，建立相應(yīng)的存放數(shù)據(jù)的Collection泳炉，本示例為mytest。
3.2 添加maven依賴及配置mongodb連接地址
由于需要使用mongodb的操作嚎杨，因此需要添加它的依賴花鹅。如下所示：
<!-- mongodb -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>
添加依賴后，mongodb的連接地址需配置在配置文件中枫浙，若有用戶名密碼刨肃，則同樣需要配置古拴。如下：
spring.data.mongodb.uri=mongodb://192.168.222.10/mytest
# spring.data.mongodb.username=
# spring.data.mongodb.password=
3.3 編寫mongodb的讀寫組件
按示例，共三個(gè)組件之景，需要的是一個(gè)讀mysql數(shù)據(jù)庫的組件斤富，一個(gè)mysql數(shù)據(jù)庫實(shí)體轉(zhuǎn)化為mongodb的處理組件，一個(gè)寫入mongodb的寫組件锻狗，代碼結(jié)構(gòu)如下圖所示：
其中ItemReader組件和ItemProcessor組件無須多講满力，可參考之前的文章，這里主要講一下mongodb的ItemWriter轻纪，此寫入組件通過繼承MongoItemWriter油额，編寫自己的邏輯即可，而Spring Batch提供的mongodb寫操作刻帚，是在初始化ItemWriter時(shí)潦嘶，通過MongoOperations引入的，因此崇众，MongoBatchConfig文件中掂僵，添加以下代碼：
@Bean
public ItemWriter mongoWriter(MongoOperations mongoTemplate) {
UserItemWriter userItemWriter = new UserItemWriter();
userItemWriter.setTemplate(mongoTemplate);
userItemWriter.setCollection("user");
return userItemWriter;
}
其中，MongoOperations是在初始化時(shí)注入顷歌，在自定義的UserItemWriter中锰蓬，設(shè)置template及collection即可。若邏輯簡單眯漩，不寫自定義的ItemWriter芹扭，也可以直接使用MongoItemWriterBuilder，直接構(gòu)建MongoItemWriter,如下所示：
return new MongoItemWriterBuilder<MongoUser>()
.collection("user")
.template(mongoTemplate)
.build();
以上是寫組件的構(gòu)建赦抖，同理舱卡，對(duì)于mongodb的讀組件，構(gòu)建方式類似队萤，只是需要注意一下動(dòng)態(tài)參數(shù)的配置轮锥，如下示例代碼是查詢數(shù)據(jù)，并返回map要尔，參數(shù)是在構(gòu)建任務(wù)時(shí)動(dòng)態(tài)傳入的交胚。
@Bean
@StepScope
public MongoItemReader<Map> tweetsItemReader(MongoOperations mongoTemplate,@Value("#{jobParameters['hashTag']}") String hashtag) {
return new MongoItemReaderBuilder<Map>()
.name("tweetsItemReader")
.targetType(Map.class)
.jsonQuery("{ \"entities.hashtags.text\": { $eq: ?0 }}")
.collection("tweets_collection")
.parameterValues(Collections.singletonList(hashtag))
.pageSize(10)
.sorts(Collections.singletonMap("created_at", Sort.Direction.ASC))
.template(mongoTemplate)
.build();
}
4.執(zhí)行結(jié)果
編寫單元測試或者在Controller編寫啟動(dòng)任務(wù)，即可進(jìn)行數(shù)據(jù)同步測試盈电，執(zhí)行結(jié)果如下所示：
5.總結(jié)
本文基于Spring Batch對(duì)數(shù)據(jù)從mysql到mongodb進(jìn)行數(shù)據(jù)同步，通過結(jié)合示例代碼杯活，實(shí)現(xiàn)mongodb的讀寫組件進(jìn)行編寫及配置匆帚，希望需要使用Spring Batch進(jìn)行關(guān)系數(shù)據(jù)庫和mongodb進(jìn)行批處理任務(wù)開發(fā)的人員有幫助。
