7月中上旬驱犹，阿里云企業(yè)級(jí)分布式應(yīng)用服務(wù)EDAS（https://www.aliyun.com/product/edas）低調(diào)上線分布式任務(wù)調(diào)度服務(wù)，目前處于免費(fèi)公測(cè)階段舀寓。SchedulerX——是該服務(wù)在阿里內(nèi)部的產(chǎn)品名字歧匈，顧名思義，比調(diào)度做的更多柑潦。隨著公測(cè)的開啟，阿里巴巴內(nèi)部又一款核心中間件產(chǎn)品浮出水面峻凫。
SchedulerX是阿里巴巴集團(tuán)中間件團(tuán)隊(duì)開發(fā)的一款高性能渗鬼、分布式任務(wù)調(diào)度產(chǎn)品，在阿里內(nèi)部有著廣泛的使用荧琼，經(jīng)過(guò)集團(tuán)內(nèi)上千個(gè)業(yè)務(wù)應(yīng)用歷經(jīng)多年打磨而成譬胎。截止2016年6月，每天平穩(wěn)運(yùn)行集團(tuán)內(nèi)幾十萬(wàn)個(gè)任務(wù)命锄，完成每天幾億次的任務(wù)調(diào)度堰乔。在未來(lái)SchedulerX將支持更多特性以滿足集團(tuán)內(nèi)外不斷增長(zhǎng)的用戶需求。
SchedulerX 1.0：讓任務(wù)分布式起來(lái)
在2011年之前脐恩，阿里中間件的TTM提供定時(shí)任務(wù)觸發(fā)服務(wù)镐侯，隨著淘寶業(yè)務(wù)不斷發(fā)展壯大TTM簡(jiǎn)單的觸發(fā)功能越來(lái)越不滿足業(yè)務(wù)不斷增長(zhǎng)的需求，在很多場(chǎng)景下TTM無(wú)法為用戶解決問(wèn)題驶冒。比如用戶希望能將一個(gè)耗時(shí)很長(zhǎng)的定時(shí)任務(wù)進(jìn)行拆解苟翻，然后將拆解后的任務(wù)分片分發(fā)到多臺(tái)機(jī)器去并行處理韵卤，這樣就能大大減少任務(wù)執(zhí)行的時(shí)間。公司內(nèi)部的一些其他分布式任務(wù)調(diào)度解決方案崇猫，雖然能滿足需求但是易用性較差沈条，文檔缺失嚴(yán)重，而且沒(méi)人維護(hù)邓尤，經(jīng)常由于重度依賴ZooKeeper導(dǎo)致些嚴(yán)重問(wèn)題拍鲤，想要做到大規(guī)模的推廣比較困難。于是阿里中間件開發(fā)了TTD汞扎，也就是SchedulerX的前身。
SchedulerX1.0 (TTD)提供了自主運(yùn)維管理后臺(tái)擅这，讓用戶能通過(guò)頁(yè)面來(lái)配置澈魄、修改和管理定時(shí)任務(wù)。SchedulerX1.0還能管理任務(wù)執(zhí)行的生命周期仲翎，從每次任務(wù)執(zhí)行開始一直到任務(wù)執(zhí)行結(jié)束都有記錄痹扇，用戶能看到每次任務(wù)執(zhí)行的開始和結(jié)束時(shí)間以及能看到執(zhí)行成功或者失敗，SchedulerX1.0還會(huì)為用戶保留過(guò)去的執(zhí)行記錄溯香，用戶可以查看定時(shí)任務(wù)歷史執(zhí)行記錄鲫构。SchedulerX1.0解決了用戶很多痛點(diǎn)，比如以前使用TTM要修改時(shí)間表達(dá)式的話需要修改代碼配置然后再重新發(fā)布應(yīng)用玫坛，而SchedulerX1.0則提供了統(tǒng)一的運(yùn)維管理后臺(tái)结笨，用戶只需要在頁(yè)面上修改時(shí)間表達(dá)式即可，不需要重新發(fā)布跑定時(shí)任務(wù)的業(yè)務(wù)應(yīng)用湿镀。
此外炕吸，SchedulerX1.0能把一個(gè)執(zhí)行耗時(shí)很長(zhǎng)的定時(shí)任務(wù)拆分成多個(gè)子任務(wù)分片然后分發(fā)到多臺(tái)機(jī)器去并行執(zhí)行這樣就大大減少了定時(shí)任務(wù)執(zhí)行的時(shí)間。比如集團(tuán)內(nèi)很多歷史數(shù)據(jù)遷移的場(chǎng)景勉痴，這樣的場(chǎng)景往往是每天執(zhí)行一次赫模，而由于每次遷移的數(shù)據(jù)量巨大如果單臺(tái)機(jī)器去遷移的話是沒(méi)辦法在一天之內(nèi)完成遷移任務(wù)的，所以必須將這樣一個(gè)遷移任務(wù)拆分成多個(gè)子任務(wù)分片蒸矛，然后用多臺(tái)機(jī)器去執(zhí)行不同的子任務(wù)分片瀑罗，這樣就能大大縮短任務(wù)執(zhí)行的時(shí)間滿足業(yè)務(wù)需求。更重要的是SchedulerX1.0的編程模型和用戶接口都非常簡(jiǎn)單雏掠，用戶只需要實(shí)現(xiàn)相應(yīng)的接口即可斩祭。
SchedulerX 2.0：完善的任務(wù)調(diào)度體系
隨著集團(tuán)業(yè)務(wù)繼續(xù)發(fā)展壯大以及SchedulerX1.0推廣運(yùn)營(yíng)的過(guò)程中收集到的用戶反饋和需求，我們決定擴(kuò)展SchedulerX1.0并開發(fā)下一個(gè)版本SchedulerX2.0（開發(fā)代號(hào)為：DTS）磁玉。SchedulerX2.0（DTS）進(jìn)一步提升用戶體驗(yàn)停忿，除了優(yōu)化編程模型，減少用戶配置和程序接口之外蚊伞，同時(shí)還新增了多項(xiàng)功能特性席赂，以滿足集團(tuán)內(nèi)不斷增長(zhǎng)的業(yè)務(wù)需求吮铭。
SchedulerX2.0（DTS）支持七種功能特性。
簡(jiǎn)單job單機(jī)版是每次隨機(jī)選擇一臺(tái)機(jī)器只執(zhí)行任務(wù)颅停，這種場(chǎng)景用的最多就是一般情況下任務(wù)只運(yùn)行在一臺(tái)機(jī)器執(zhí)行谓晌，但是為了防止單點(diǎn)問(wèn)題還的解決多機(jī)備份的問(wèn)題，當(dāng)一臺(tái)機(jī)器宕機(jī)的時(shí)候可以自動(dòng)切換到其他正常機(jī)器去執(zhí)行癞揉。
簡(jiǎn)單job廣播版則是每次選擇所有機(jī)器同時(shí)觸發(fā)執(zhí)行纸肉，比如需要定時(shí)更新本地內(nèi)存的場(chǎng)景，這樣就需要每臺(tái)機(jī)器同時(shí)刷新內(nèi)存喊熟。
并行計(jì)算job就是將一個(gè)耗時(shí)很長(zhǎng)的大任務(wù)拆分成多個(gè)小的子任務(wù)然后分發(fā)到多臺(tái)機(jī)器去并行執(zhí)行柏肪。
圖示計(jì)算（任務(wù)依賴）,這種特性往往用于有業(yè)務(wù)數(shù)據(jù)依賴的多個(gè)任務(wù)之間按照嚴(yán)格先后順序執(zhí)行的場(chǎng)景。阿里內(nèi)部有很多這種場(chǎng)景芥牌，兩個(gè)或者多個(gè)任務(wù)之間按照某種業(yè)務(wù)邏輯順序去執(zhí)行烦味，比如兩個(gè)任務(wù)A，B其中A執(zhí)行結(jié)束之后B才能開始執(zhí)行壁拉。
腳本Job就是只shell谬俄，php，python等定時(shí)執(zhí)行的腳本任務(wù)弃理，比如集團(tuán)技術(shù)保障部溃论，蝦米音樂(lè)等部門有大量需要定時(shí)執(zhí)行的shell，php痘昌，python等腳本钥勋。用戶只需要在SchedulerX2.0（DTS）管理后臺(tái)配置上要定時(shí)執(zhí)行的shell，php控汉，python等命令即可笔诵，用戶不需要額外寫一行代碼。
SchedulerX2.0（DTS）的管理運(yùn)維控制臺(tái)提供任務(wù)配置管理姑子，以及歷史執(zhí)行記錄查詢乎婿，還有完善的監(jiān)控報(bào)警功能。任務(wù)沒(méi)有準(zhǔn)點(diǎn)執(zhí)行能給用戶發(fā)送報(bào)警街佑，任務(wù)執(zhí)行超過(guò)預(yù)期的時(shí)間也能給用戶發(fā)送報(bào)警谢翎，甚至任務(wù)執(zhí)行失敗了都能給用戶發(fā)送短信報(bào)警。
SchedulerX2.0（DTS）還支持基于SchedulerX2.0的二次開發(fā)沐旨，用戶可以通過(guò)SDK里的api來(lái)創(chuàng)建森逮，修改，刪除任務(wù)磁携。在阿里內(nèi)部有很多業(yè)務(wù)方在SchedulerX2.0的基礎(chǔ)上構(gòu)建他們自己的任務(wù)調(diào)度平臺(tái)褒侧。
SchedulerX2.0（DTS）還支持超大規(guī)模定時(shí)觸發(fā)器，用戶可以通過(guò)api創(chuàng)建千億量級(jí)的一次性定時(shí)觸發(fā)器，比如每條交易訂單創(chuàng)建的時(shí)候就在SchedulerX2.0創(chuàng)建一個(gè)定時(shí)觸發(fā)器闷供，用戶設(shè)置這個(gè)觸發(fā)器的觸發(fā)時(shí)間烟央，到了每個(gè)觸發(fā)器觸發(fā)時(shí)間就會(huì)有一個(gè)事件通知交易系統(tǒng)去提醒用戶確認(rèn)收貨超時(shí)。
SchedulerX 3.0：在路上
據(jù)悉歪脏，目前阿里中間件正在開發(fā)SchedulerX3.0疑俭，該版本的分布式任務(wù)調(diào)度將支持更多功能特性，用戶值得期待婿失。
