1.1RegistryCenter
<bean id="regCenter" class="com.dangdang.ddframe.reg.zookeeper.ZookeeperRegistryCenter" init-method="init">
<constructor-arg>
<bean class="com.dangdang.ddframe.reg.zookeeper.ZookeeperConfiguration">
<property name="serverLists" value="${elasticjob.zk.url}" />
<property name="namespace" value="${elasticjob.namespace}" />
<property name="baseSleepTimeMilliseconds" value="${elasticjob.baseSleepTimeMilliseconds}" />
<property name="maxSleepTimeMilliseconds" value="${elasticjob.maxSleepTimeMilliseconds}" />
<property name="maxRetries" value="${elasticjob.maxRetries}" />
</bean>
</constructor-arg>
</bean>
ZookeeperRegistryCenter內(nèi)部通過ZookeeperConfiguration的配置信息鸳兽，使用curator來連接zookeeper服務(wù)器灌闺，并向外提供操作節(jié)點(diǎn)的方法。
注冊(cè)中心的作用是讓所有的job都注冊(cè)到這里小渊，然后統(tǒng)一管理job的配置信息减途，當(dāng)前的運(yùn)行節(jié)點(diǎn)信息噩峦，然后可以分片以及彈性擴(kuò)容等秀睛。目前只支持zookeeper，未來會(huì)增加坞靶。
每一個(gè)Job節(jié)點(diǎn)的結(jié)構(gòu)如下：
下面講每一個(gè)service時(shí)會(huì)講到對(duì)應(yīng)的節(jié)點(diǎn)憔狞。
1.2Job
<job:bean id="simpleTask" class="packageName.SimpleTask" regCenter="regCenter" cron="0 0 0 1 * ?" shardingTotalCount="1" overwrite="false" />
上面的配置是1.0.8及之前的版本，目前2.X版本的Spring標(biāo)簽以及改為simple等
ElasticJob通過自定義的標(biāo)簽來配置job彰阴，每一個(gè)job都會(huì)注入上面配置的注冊(cè)中心瘾敢。
具體使用的類如下：
每一個(gè)<job:bean>都會(huì)構(gòu)造一個(gè)SpringJobScheduler類型的bean，然后構(gòu)造JobScheduler尿这，包括了如下的屬性和方法：
至此簇抵，所有的SpringJobScheduler都已經(jīng)被注冊(cè)為bean。與此同時(shí)這個(gè)Scheduler對(duì)應(yīng)的Task也被掃描裝配為bean射众。
當(dāng)SpringJobScheduler根據(jù)crontab表達(dá)式到達(dá)執(zhí)行的時(shí)候碟摆，也是會(huì)通過SpringJobFactory來找到與自己對(duì)應(yīng)的Task bean，這個(gè)Task bean也就是quartz的Job類型叨橱，然后通過quartz來執(zhí)行典蜕。
1.3JobScheduler
看一下關(guān)鍵的JobScheduler的初始化
public void init() {
LiteJobConfiguration liteJobConfigFromRegCenter = schedulerFacade.updateJobConfiguration(liteJobConfig);
JobRegistry.getInstance().setCurrentShardingTotalCount(liteJobConfigFromRegCenter.getJobName(), liteJobConfigFromRegCenter.getTypeConfig().getCoreConfig().getShardingTotalCount());
JobScheduleController jobScheduleController = new JobScheduleController(
createScheduler(), createJobDetail(liteJobConfigFromRegCenter.getTypeConfig().getJobClass()), liteJobConfigFromRegCenter.getJobName());
JobRegistry.getInstance().registerJob(liteJobConfigFromRegCenter.getJobName(), jobScheduleController, regCenter);
schedulerFacade.registerStartUpInfo(!liteJobConfigFromRegCenter.isDisabled());
jobScheduleController.scheduleJob(liteJobConfigFromRegCenter.getTypeConfig().getCoreConfig().getCron());
}
做了如下的事情：
- 到注冊(cè)中心更新當(dāng)前Job的配置信息。
- 在JobRegistry中注冊(cè)該Job罗洗，包括了JobScheduleController以及Job相關(guān)連的RegCenter以及Job的分片信息愉舔。
- 注冊(cè)Job啟動(dòng)信息
- 根據(jù)Cron表達(dá)式調(diào)度Job
值得一提的是，這里從JobScheduler到facade到facade中的所有service都是和每一個(gè)Job相關(guān)的伙菜，同時(shí)也都關(guān)聯(lián)到了注冊(cè)這個(gè)Job的注冊(cè)中心轩缤。
1.4SchedulerFacade
SchedulerFacade是為調(diào)度類提供內(nèi)部服務(wù)的門面類，包括如下屬性
主要方法有更新Job的config信息，以及注冊(cè)Job啟動(dòng)信息典奉。
public LiteJobConfiguration updateJobConfiguration(final LiteJobConfiguration liteJobConfig) {
configService.persist(liteJobConfig);
return configService.load(false);
}
public void registerStartUpInfo(final boolean enabled) {
listenerManager.startAllListeners();
leaderService.electLeader();
serverService.persistOnline(enabled);
instanceService.persistOnline();
shardingService.setReshardingFlag();
monitorService.listen();
if (!reconcileService.isRunning()) {
reconcileService.startAsync();
}
}
1.4.1ConfigService
節(jié)點(diǎn) ：config
位置：/namespace/jobName/config
值：LiteJobConfiguration類的json字符串躺翻。（具體的配置信息見這里）
public void persist(final LiteJobConfiguration liteJobConfig) {
checkConflictJob(liteJobConfig);
if (!jobNodeStorage.isJobNodeExisted(ConfigurationNode.ROOT) || liteJobConfig.isOverwrite()) {
jobNodeStorage.replaceJobNode(ConfigurationNode.ROOT, LiteJobConfigurationGsonFactory.toJson(liteJobConfig));
}
}
使用：
持久化config信息的時(shí)候丧叽，要看config節(jié)點(diǎn)是否存在卫玖，以及是否可以覆蓋，以防啟動(dòng)時(shí)配置的默認(rèn)config覆蓋了正在使用的配置信息踊淳。而在取出config信息的時(shí)候可以選擇從本地緩存（Curator的TreeCache）中或者直接從注冊(cè)中心中取出config值假瞬。（如果獲取之前的配置的時(shí)候，可以從緩存獲取迂尝，如要分片的時(shí)候判斷當(dāng)前是否還有正在執(zhí)行的分片脱茉；而要獲取最新分片的配置的時(shí)候，就要從注冊(cè)中心嚷⒖）
監(jiān)聽：
RescheduleListenerManager注冊(cè)一個(gè)監(jiān)聽config節(jié)點(diǎn)的TreeCacheListener琴许，如果收到config節(jié)點(diǎn)內(nèi)容更新的事件通知，然后就根據(jù)新的config節(jié)點(diǎn)內(nèi)容重新調(diào)度Job溉躲。
1.4.2ListenerManager
統(tǒng)一注冊(cè)上文以及后面各個(gè)節(jié)點(diǎn)相關(guān)的listener榜田。
1.4.3LeaderService
節(jié)點(diǎn)：leader
位置：
選舉路徑 /namespace/jobName/leader/election/latch
instance路徑 /namespace/jobName/leader/election/instance
值：
選舉路徑?jīng)]有值，選舉時(shí)存在臨時(shí)的子節(jié)點(diǎn)锻梳；instance節(jié)點(diǎn)為當(dāng)前l(fā)eader的instanceId（ip@-@pid）箭券，這是一個(gè)臨時(shí)節(jié)點(diǎn)，當(dāng)斷開連接以后節(jié)點(diǎn)會(huì)清除疑枯。
使用：
使用curator的LeaderLatch來進(jìn)行l(wèi)eader選舉辩块，成為leader后會(huì)創(chuàng)建instance節(jié)點(diǎn)的值寫為自己的instanceId；對(duì)于leader節(jié)點(diǎn)的判斷或者刪除都是對(duì)instance節(jié)點(diǎn)的操作荆永。
這里值得注意的是對(duì)LeaderLatch的使用废亭，當(dāng)一個(gè)節(jié)點(diǎn)被選為leader以后，他會(huì)創(chuàng)建instance節(jié)點(diǎn)并寫為自己具钥，然后退出LeaderLatch滔以，那么剩下參與競(jìng)選的節(jié)點(diǎn)就會(huì)成為leader，但當(dāng)新leader發(fā)現(xiàn)instance節(jié)點(diǎn)已經(jīng)存在之后氓拼，他什么都不會(huì)做你画，然后退出LeaderLatch，接著所有剩下的節(jié)點(diǎn)會(huì)依次成為leader桃漾，同樣什么都不會(huì)做坏匪，只有第一個(gè)成為leader的會(huì)創(chuàng)建instance節(jié)點(diǎn)。
所以Ejob中只有在競(jìng)選的時(shí)候撬统，選舉路徑才會(huì)有臨時(shí)節(jié)點(diǎn)适滓，當(dāng)leader選定之后，選舉路徑為空恋追，instance節(jié)點(diǎn)存在凭迹。
監(jiān)聽：
ElectionListenerManager會(huì)注冊(cè)兩個(gè)Listener
-
LeaderAbdicationJobListenerleader禪讓監(jiān)聽
監(jiān)聽server節(jié)點(diǎn)下的自己的ip罚屋，如果自己是leader，并且servers節(jié)點(diǎn)下的自己ip被disable嗅绸，那么就刪除leader/instance脾猛，然后下次調(diào)度會(huì)重新選舉。 -
LeaderElectionJobListenerleader選舉監(jiān)聽
如果當(dāng)前Job仍在調(diào)度中鱼鸠，監(jiān)聽到servers節(jié)點(diǎn)下自己的ip沒有被disable猛拴，且當(dāng)前沒有l(wèi)eader，那么開始選舉蚀狰；
或者監(jiān)聽到leader節(jié)點(diǎn)被移除愉昆，且自己是可用的服務(wù)器，那么開始選舉麻蹋。
1.4.4ServerService
節(jié)點(diǎn)：servers
位置： /namespace/jobName/servers/ip
值：ip節(jié)點(diǎn)的值為空時(shí)表示可用跛溉，為disable時(shí)表示不可用（可以配置，用于統(tǒng)一開啟調(diào)度）
使用：
創(chuàng)建ip節(jié)點(diǎn)扮授，ip節(jié)點(diǎn)是永久節(jié)點(diǎn)芳室，每次開始運(yùn)行時(shí)會(huì)更新節(jié)點(diǎn)里的值；
判斷是否存在可用的服務(wù)器糙箍，包括ip節(jié)點(diǎn)沒有被disable且有instance子節(jié)點(diǎn)渤愁。
1.4.5InstanceService
節(jié)點(diǎn)：instances
位置： /namespace/jobName/instances/instanceId
值：空
使用：
創(chuàng)建instance節(jié)點(diǎn)，臨時(shí)節(jié)點(diǎn)深夯；刪除作業(yè)是移除節(jié)點(diǎn)抖格。
1.4.6ShardingService
節(jié)點(diǎn)：sharding
位置： /namespace/jobName/sharding
使用：建立/leader/sharding/necessary子節(jié)點(diǎn)，表示這個(gè)Job需要重新分片咕晋；
AbstractElasticJobExecutor在每次執(zhí)行Task前的準(zhǔn)備工作中就包括了如下的分片流程雹拄。
分片流程
- 如果當(dāng)前節(jié)點(diǎn)是leader節(jié)點(diǎn)，并且這個(gè)Job需要分片掌呜，等待這個(gè)Job所有正在RUNNING的分片執(zhí)行完成（/sharding/index/running）滓玖，然后進(jìn)入下一步；如果不是leader质蕉，那么等待分片完成势篡。
- 從中心獲取最新分片配置，寫/leader/sharding/processing臨時(shí)節(jié)點(diǎn)模暗，清空原來的/sharding/index/instance節(jié)點(diǎn)（包括多余的/sharding/index）禁悠，寫最新的/sharding/index節(jié)點(diǎn)；
- 根據(jù)配置的策略進(jìn)行分片兑宇，獲取JobInstance到分片List的映射
- 通過curator transaction來寫/sharding/index/instance節(jié)點(diǎn)（值為instanceId）碍侦，刪除necessary和processing節(jié)點(diǎn)
監(jiān)聽：
1.ShardingTotalCountChangedJobListener監(jiān)聽到config節(jié)點(diǎn)有shardingtotalCount配置修改，和之前不同的話，寫necessary節(jié)點(diǎn) -
ListenServersChangedJobListener監(jiān)聽到instances子節(jié)點(diǎn)中有變動(dòng)（刪除或者新增）瓷产，servers子節(jié)點(diǎn)中有新增\刪除\更新站玄，寫necessary節(jié)點(diǎn)。
JobSchdulerController
由quartz的StdSchduler來根據(jù)cron調(diào)度濒旦，當(dāng)開始執(zhí)行的任務(wù)的時(shí)候株旷，觸發(fā)LiteJob->AbstractElasticJobExecutor來execute，其中會(huì)使用的jobFacade來在這個(gè)基類中執(zhí)行
jobFacade.registerJobBegin(shardingContexts);
jobFacade.registerJobCompleted(shardingContexts);
這里處理RUNNING節(jié)點(diǎn)的新增以及remove
AbstractElasticJobExecutor
它代表了任務(wù)執(zhí)行的基本流程疤估，其中做的工作非常多灾常，包括了上面提到的分片霎冯，leader來分片铃拇，非leader等待分片完成；然后無論是leader還是非leader都會(huì)獲取分配給本實(shí)例的分片列表沈撞；
然后包裝成本實(shí)例的shardingContexts慷荔，執(zhí)行前注冊(cè)listener。
如果沒有獲得分片缠俺，那么不執(zhí)行显晶；如果有分片，處理本實(shí)例相關(guān)的分片的/sharding/index/running臨時(shí)節(jié)點(diǎn)壹士；
當(dāng)分片為1時(shí)磷雇，直接調(diào)用用戶實(shí)現(xiàn)的Task開始執(zhí)行；如果分片大于1躏救，那么使用一個(gè)線程池開始所有分片的task執(zhí)行唯笙，然后開啟一個(gè)CountDownLatch開始等待所有分片完成。所有分片完成后會(huì)有一些清理工作盒使。
