Elastic-Job整理

1.1RegistryCenter

注冊(cè)中心
<bean id="regCenter" class="com.dangdang.ddframe.reg.zookeeper.ZookeeperRegistryCenter" init-method="init">
        <constructor-arg>
            <bean class="com.dangdang.ddframe.reg.zookeeper.ZookeeperConfiguration">
                <property name="serverLists" value="${elasticjob.zk.url}" />
                <property name="namespace" value="${elasticjob.namespace}" />
                <property name="baseSleepTimeMilliseconds" value="${elasticjob.baseSleepTimeMilliseconds}" />
                <property name="maxSleepTimeMilliseconds" value="${elasticjob.maxSleepTimeMilliseconds}" />
                <property name="maxRetries" value="${elasticjob.maxRetries}" />
            </bean>
        </constructor-arg>
    </bean>

ZookeeperRegistryCenter內(nèi)部通過ZookeeperConfiguration的配置信息鸳兽,使用curator來連接zookeeper服務(wù)器灌闺,并向外提供操作節(jié)點(diǎn)的方法。
注冊(cè)中心的作用是讓所有的job都注冊(cè)到這里小渊,然后統(tǒng)一管理job的配置信息减途,當(dāng)前的運(yùn)行節(jié)點(diǎn)信息噩峦,然后可以分片以及彈性擴(kuò)容等秀睛。目前只支持zookeeper,未來會(huì)增加坞靶。
每一個(gè)Job節(jié)點(diǎn)的結(jié)構(gòu)如下:


下面講每一個(gè)service時(shí)會(huì)講到對(duì)應(yīng)的節(jié)點(diǎn)憔狞。

1.2Job

 <job:bean id="simpleTask" class="packageName.SimpleTask" regCenter="regCenter" cron="0 0 0 1 * ?" shardingTotalCount="1" overwrite="false" />

上面的配置是1.0.8及之前的版本,目前2.X版本的Spring標(biāo)簽以及改為simple等

ElasticJob通過自定義的標(biāo)簽來配置job彰阴,每一個(gè)job都會(huì)注入上面配置的注冊(cè)中心瘾敢。
具體使用的類如下:

SpringJobScheduler

每一個(gè)<job:bean>都會(huì)構(gòu)造一個(gè)SpringJobScheduler類型的bean,然后構(gòu)造JobScheduler尿这,包括了如下的屬性和方法:


至此簇抵,所有的SpringJobScheduler都已經(jīng)被注冊(cè)為bean。與此同時(shí)這個(gè)Scheduler對(duì)應(yīng)的Task也被掃描裝配為bean射众。

當(dāng)SpringJobScheduler根據(jù)crontab表達(dá)式到達(dá)執(zhí)行的時(shí)候碟摆,也是會(huì)通過SpringJobFactory來找到與自己對(duì)應(yīng)的Task bean,這個(gè)Task bean也就是quartz的Job類型叨橱,然后通過quartz來執(zhí)行典蜕。

1.3JobScheduler

看一下關(guān)鍵的JobScheduler的初始化

 public void init() {
        LiteJobConfiguration liteJobConfigFromRegCenter = schedulerFacade.updateJobConfiguration(liteJobConfig);
        JobRegistry.getInstance().setCurrentShardingTotalCount(liteJobConfigFromRegCenter.getJobName(), liteJobConfigFromRegCenter.getTypeConfig().getCoreConfig().getShardingTotalCount());
        JobScheduleController jobScheduleController = new JobScheduleController(
                createScheduler(), createJobDetail(liteJobConfigFromRegCenter.getTypeConfig().getJobClass()), liteJobConfigFromRegCenter.getJobName());
        JobRegistry.getInstance().registerJob(liteJobConfigFromRegCenter.getJobName(), jobScheduleController, regCenter);
        schedulerFacade.registerStartUpInfo(!liteJobConfigFromRegCenter.isDisabled());
        jobScheduleController.scheduleJob(liteJobConfigFromRegCenter.getTypeConfig().getCoreConfig().getCron());
    }

做了如下的事情:

  1. 到注冊(cè)中心更新當(dāng)前Job的配置信息。
  2. 在JobRegistry中注冊(cè)該Job罗洗,包括了JobScheduleController以及Job相關(guān)連的RegCenter以及Job的分片信息愉舔。
  3. 注冊(cè)Job啟動(dòng)信息
  4. 根據(jù)Cron表達(dá)式調(diào)度Job

值得一提的是,這里從JobScheduler到facade到facade中的所有service都是和每一個(gè)Job相關(guān)的伙菜,同時(shí)也都關(guān)聯(lián)到了注冊(cè)這個(gè)Job的注冊(cè)中心轩缤。

1.4SchedulerFacade

SchedulerFacade是為調(diào)度類提供內(nèi)部服務(wù)的門面類,包括如下屬性


主要方法有更新Job的config信息,以及注冊(cè)Job啟動(dòng)信息典奉。

public LiteJobConfiguration updateJobConfiguration(final LiteJobConfiguration liteJobConfig) {
        configService.persist(liteJobConfig);
        return configService.load(false);
    }
public void registerStartUpInfo(final boolean enabled) {
        listenerManager.startAllListeners();
        leaderService.electLeader();
        serverService.persistOnline(enabled);
        instanceService.persistOnline();
        shardingService.setReshardingFlag();
        monitorService.listen();
        if (!reconcileService.isRunning()) {
            reconcileService.startAsync();
        }
    }

1.4.1ConfigService

節(jié)點(diǎn) :config
位置:/namespace/jobName/config
LiteJobConfiguration類的json字符串躺翻。(具體的配置信息見這里

public void persist(final LiteJobConfiguration liteJobConfig) {
        checkConflictJob(liteJobConfig);
        if (!jobNodeStorage.isJobNodeExisted(ConfigurationNode.ROOT) || liteJobConfig.isOverwrite()) {
            jobNodeStorage.replaceJobNode(ConfigurationNode.ROOT, LiteJobConfigurationGsonFactory.toJson(liteJobConfig));
        }
    }

使用
持久化config信息的時(shí)候丧叽,要看config節(jié)點(diǎn)是否存在卫玖,以及是否可以覆蓋,以防啟動(dòng)時(shí)配置的默認(rèn)config覆蓋了正在使用的配置信息踊淳。而在取出config信息的時(shí)候可以選擇從本地緩存(Curator的TreeCache)中或者直接從注冊(cè)中心中取出config值假瞬。(如果獲取之前的配置的時(shí)候,可以從緩存獲取迂尝,如要分片的時(shí)候判斷當(dāng)前是否還有正在執(zhí)行的分片脱茉;而要獲取最新分片的配置的時(shí)候,就要從注冊(cè)中心嚷⒖)
監(jiān)聽
RescheduleListenerManager注冊(cè)一個(gè)監(jiān)聽config節(jié)點(diǎn)的TreeCacheListener琴许,如果收到config節(jié)點(diǎn)內(nèi)容更新的事件通知,然后就根據(jù)新的config節(jié)點(diǎn)內(nèi)容重新調(diào)度Job溉躲。

1.4.2ListenerManager

統(tǒng)一注冊(cè)上文以及后面各個(gè)節(jié)點(diǎn)相關(guān)的listener榜田。

1.4.3LeaderService

節(jié)點(diǎn):leader
位置

選舉路徑 /namespace/jobName/leader/election/latch
instance路徑 /namespace/jobName/leader/election/instance


選舉路徑?jīng)]有值,選舉時(shí)存在臨時(shí)的子節(jié)點(diǎn)锻梳;instance節(jié)點(diǎn)為當(dāng)前l(fā)eader的instanceId(ip@-@pid)箭券,這是一個(gè)臨時(shí)節(jié)點(diǎn),當(dāng)斷開連接以后節(jié)點(diǎn)會(huì)清除疑枯。
使用
使用curator的LeaderLatch來進(jìn)行l(wèi)eader選舉辩块,成為leader后會(huì)創(chuàng)建instance節(jié)點(diǎn)的值寫為自己的instanceId;對(duì)于leader節(jié)點(diǎn)的判斷或者刪除都是對(duì)instance節(jié)點(diǎn)的操作荆永。

這里值得注意的是對(duì)LeaderLatch的使用废亭,當(dāng)一個(gè)節(jié)點(diǎn)被選為leader以后,他會(huì)創(chuàng)建instance節(jié)點(diǎn)并寫為自己具钥,然后退出LeaderLatch滔以,那么剩下參與競(jìng)選的節(jié)點(diǎn)就會(huì)成為leader,但當(dāng)新leader發(fā)現(xiàn)instance節(jié)點(diǎn)已經(jīng)存在之后氓拼,他什么都不會(huì)做你画,然后退出LeaderLatch,接著所有剩下的節(jié)點(diǎn)會(huì)依次成為leader桃漾,同樣什么都不會(huì)做坏匪,只有第一個(gè)成為leader的會(huì)創(chuàng)建instance節(jié)點(diǎn)。
所以Ejob中只有在競(jìng)選的時(shí)候撬统,選舉路徑才會(huì)有臨時(shí)節(jié)點(diǎn)适滓,當(dāng)leader選定之后,選舉路徑為空恋追,instance節(jié)點(diǎn)存在凭迹。

監(jiān)聽
ElectionListenerManager會(huì)注冊(cè)兩個(gè)Listener

  1. LeaderAbdicationJobListener leader禪讓監(jiān)聽
    監(jiān)聽server節(jié)點(diǎn)下的自己的ip罚屋,如果自己是leader,并且servers節(jié)點(diǎn)下的自己ip被disable嗅绸,那么就刪除leader/instance脾猛,然后下次調(diào)度會(huì)重新選舉。
  2. LeaderElectionJobListener leader選舉監(jiān)聽
    如果當(dāng)前Job仍在調(diào)度中鱼鸠,監(jiān)聽到servers節(jié)點(diǎn)下自己的ip沒有被disable猛拴,且當(dāng)前沒有l(wèi)eader,那么開始選舉蚀狰;
    或者監(jiān)聽到leader節(jié)點(diǎn)被移除愉昆,且自己是可用的服務(wù)器,那么開始選舉麻蹋。

1.4.4ServerService

節(jié)點(diǎn):servers
位置: /namespace/jobName/servers/ip
:ip節(jié)點(diǎn)的值為空時(shí)表示可用跛溉,為disable時(shí)表示不可用(可以配置,用于統(tǒng)一開啟調(diào)度)
使用
創(chuàng)建ip節(jié)點(diǎn)扮授,ip節(jié)點(diǎn)是永久節(jié)點(diǎn)芳室,每次開始運(yùn)行時(shí)會(huì)更新節(jié)點(diǎn)里的值;
判斷是否存在可用的服務(wù)器糙箍,包括ip節(jié)點(diǎn)沒有被disable且有instance子節(jié)點(diǎn)渤愁。

1.4.5InstanceService

節(jié)點(diǎn):instances
位置: /namespace/jobName/instances/instanceId
:空
使用
創(chuàng)建instance節(jié)點(diǎn),臨時(shí)節(jié)點(diǎn)深夯;刪除作業(yè)是移除節(jié)點(diǎn)抖格。

1.4.6ShardingService

節(jié)點(diǎn):sharding
位置: /namespace/jobName/sharding
使用:建立/leader/sharding/necessary子節(jié)點(diǎn),表示這個(gè)Job需要重新分片咕晋;
AbstractElasticJobExecutor在每次執(zhí)行Task前的準(zhǔn)備工作中就包括了如下的分片流程雹拄。
分片流程

  1. 如果當(dāng)前節(jié)點(diǎn)是leader節(jié)點(diǎn),并且這個(gè)Job需要分片掌呜,等待這個(gè)Job所有正在RUNNING的分片執(zhí)行完成(/sharding/index/running)滓玖,然后進(jìn)入下一步;如果不是leader质蕉,那么等待分片完成势篡。
  2. 從中心獲取最新分片配置,寫/leader/sharding/processing臨時(shí)節(jié)點(diǎn)模暗,清空原來的/sharding/index/instance節(jié)點(diǎn)(包括多余的/sharding/index)禁悠,寫最新的/sharding/index節(jié)點(diǎn);
  3. 根據(jù)配置的策略進(jìn)行分片兑宇,獲取JobInstance到分片List的映射
  4. 通過curator transaction來寫/sharding/index/instance節(jié)點(diǎn)(值為instanceId)碍侦,刪除necessary和processing節(jié)點(diǎn)
    監(jiān)聽
    1.ShardingTotalCountChangedJobListener監(jiān)聽到config節(jié)點(diǎn)有shardingtotalCount配置修改,和之前不同的話,寫necessary節(jié)點(diǎn)
  5. ListenServersChangedJobListener監(jiān)聽到instances子節(jié)點(diǎn)中有變動(dòng)(刪除或者新增)瓷产,servers子節(jié)點(diǎn)中有新增\刪除\更新站玄,寫necessary節(jié)點(diǎn)。

JobSchdulerController

由quartz的StdSchduler來根據(jù)cron調(diào)度濒旦,當(dāng)開始執(zhí)行的任務(wù)的時(shí)候株旷,觸發(fā)LiteJob->AbstractElasticJobExecutor來execute,其中會(huì)使用的jobFacade來在這個(gè)基類中執(zhí)行
jobFacade.registerJobBegin(shardingContexts);
jobFacade.registerJobCompleted(shardingContexts);
這里處理RUNNING節(jié)點(diǎn)的新增以及remove

AbstractElasticJobExecutor

它代表了任務(wù)執(zhí)行的基本流程疤估,其中做的工作非常多灾常,包括了上面提到的分片霎冯,leader來分片铃拇,非leader等待分片完成;然后無論是leader還是非leader都會(huì)獲取分配給本實(shí)例的分片列表沈撞;
然后包裝成本實(shí)例的shardingContexts慷荔,執(zhí)行前注冊(cè)listener。
如果沒有獲得分片缠俺,那么不執(zhí)行显晶;如果有分片,處理本實(shí)例相關(guān)的分片的/sharding/index/running臨時(shí)節(jié)點(diǎn)壹士;
當(dāng)分片為1時(shí)磷雇,直接調(diào)用用戶實(shí)現(xiàn)的Task開始執(zhí)行;如果分片大于1躏救,那么使用一個(gè)線程池開始所有分片的task執(zhí)行唯笙,然后開啟一個(gè)CountDownLatch開始等待所有分片完成。所有分片完成后會(huì)有一些清理工作盒使。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末崩掘,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子少办,更是在濱河造成了極大的恐慌苞慢,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件英妓,死亡現(xiàn)場(chǎng)離奇詭異挽放,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)蔓纠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門辑畦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人贺纲,你說我怎么就攤上這事航闺。” “怎么了?”我有些...
    開封第一講書人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵潦刃,是天一觀的道長侮措。 經(jīng)常有香客問我,道長乖杠,這世上最難降的妖魔是什么分扎? 我笑而不...
    開封第一講書人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮胧洒,結(jié)果婚禮上畏吓,老公的妹妹穿的比我還像新娘。我一直安慰自己卫漫,他們只是感情好菲饼,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著列赎,像睡著了一般宏悦。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上包吝,一...
    開封第一講書人閱讀 52,713評(píng)論 1 312
  • 那天饼煞,我揣著相機(jī)與錄音,去河邊找鬼诗越。 笑死砖瞧,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的嚷狞。 我是一名探鬼主播块促,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼感耙!你這毒婦竟也來了褂乍?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤即硼,失蹤者是張志新(化名)和其女友劉穎逃片,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體只酥,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡褥实,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了裂允。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片损离。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蹄胰,死狀恐怖辰企,靈堂內(nèi)的尸體忽然破棺而出祷愉,到底是詐尸還是另有隱情,我是刑警寧澤认轨,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布脱盲,位于F島的核電站春霍,受9級(jí)特大地震影響遥皂,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜秉氧,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一眷昆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧汁咏,春花似錦亚斋、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至轰驳,卻和暖如春厚掷,著一層夾襖步出監(jiān)牢的瞬間弟灼,已是汗流浹背级解。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留田绑,地道東北人勤哗。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像掩驱,于是被迫代替她去往敵國和親芒划。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容