閱讀xxl-job開源代碼總結

如何保證調度中心的HA(高可用)上鞠?

xxl-job-admin(調度中心)可以部署多臺機器妓羊,只需要客戶端配置的調度中心地址用驾讲,隔開配置多個即可⊙伛客戶端會在每一個調度中心進行注冊

3援雇、調度中心HA(中心式):調度采用中心式設計,“調度中心”自研調度組件并支持集群部署椎扬,可保證調度中心HA惫搏;

如何保證任務執(zhí)行HA具温?

一個執(zhí)行器可以由多個機器注冊上來,這樣調度就可以從多個機器中取選擇筐赔,具體有第一個铣猩、最后一個、輪詢茴丰、隨機达皿、一致性HASH、最不經常使用贿肩、最近最久未使用峦椰、故障轉移、忙碌轉移等策略來執(zhí)行任務

4汰规、執(zhí)行器HA(分布式):任務分布式執(zhí)行汤功,任務”執(zhí)行器”支持集群部署悲敷,可保證任務執(zhí)行HA兽赁;

如何分片執(zhí)行任務?

執(zhí)行器集群部署時痘昌,任務路由策略選擇”分片廣播”情況下茂嗓,一次任務調度將會廣播觸發(fā)對應集群中所有執(zhí)行器執(zhí)行一次任務餐茵,同時系統(tǒng)自動傳遞分片參數;可根據分片參數開發(fā)分片任務在抛;

“分片廣播” 以執(zhí)行器為維度進行分片钟病,支持動態(tài)擴容執(zhí)行器集群從而動態(tài)增加分片數量萧恕,協(xié)同進行業(yè)務處理刚梭;在進行大數據量業(yè)務操作時可顯著提升任務處理能力和速度。

“分片廣播” 和普通任務開發(fā)流程一致票唆,不同之處在于可以獲取分片參數朴读,獲取分片參數進行分片業(yè)務處理。
1走趋、分片任務場景:10個執(zhí)行器的集群來處理10w條數據衅金,每臺機器只需要處理1w條數據,耗時降低10倍簿煌;
2氮唯、廣播任務場景:廣播執(zhí)行器機器運行shell腳本、廣播集群節(jié)點進行緩存更新等

那是如何實現的呢姨伟?其實是看目前這個執(zhí)行器有多少個機器注冊上來惩琉,然后每個機器給一個固定的分片序號,業(yè)務根據每個機器拿到序號進行分片夺荒。
e.g. 現在有一個用戶手機號加密任務瞒渠,目前用戶有40W良蒸,有四臺機器注冊上去了,那么第一臺機器拿到的分片index就是0伍玖,第二臺就是1嫩痰,以此類推。這樣在代碼里就可以寫邏輯窍箍,如果分片參數 index = 0 則查詢id在0~10W的用戶進行處理串纺。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市仔燕,隨后出現的幾起案子造垛,更是在濱河造成了極大的恐慌,老刑警劉巖晰搀,帶你破解...
    沈念sama閱讀 212,718評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件五辽,死亡現場離奇詭異,居然都是意外死亡外恕,警方通過查閱死者的電腦和手機杆逗,發(fā)現死者居然都...
    沈念sama閱讀 90,683評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鳞疲,“玉大人罪郊,你說我怎么就攤上這事∩星ⅲ” “怎么了悔橄?”我有些...
    開封第一講書人閱讀 158,207評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長腺毫。 經常有香客問我癣疟,道長,這世上最難降的妖魔是什么潮酒? 我笑而不...
    開封第一講書人閱讀 56,755評論 1 284
  • 正文 為了忘掉前任睛挚,我火速辦了婚禮,結果婚禮上急黎,老公的妹妹穿的比我還像新娘扎狱。我一直安慰自己,他們只是感情好勃教,可當我...
    茶點故事閱讀 65,862評論 6 386
  • 文/花漫 我一把揭開白布淤击。 她就那樣靜靜地躺著,像睡著了一般故源。 火紅的嫁衣襯著肌膚如雪污抬。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,050評論 1 291
  • 那天心软,我揣著相機與錄音壕吹,去河邊找鬼著蛙。 笑死,一個胖子當著我的面吹牛耳贬,可吹牛的內容都是我干的踏堡。 我是一名探鬼主播,決...
    沈念sama閱讀 39,136評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼咒劲,長吁一口氣:“原來是場噩夢啊……” “哼顷蟆!你這毒婦竟也來了?” 一聲冷哼從身側響起腐魂,我...
    開封第一講書人閱讀 37,882評論 0 268
  • 序言:老撾萬榮一對情侶失蹤帐偎,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后蛔屹,有當地人在樹林里發(fā)現了一具尸體削樊,經...
    沈念sama閱讀 44,330評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,651評論 2 327
  • 正文 我和宋清朗相戀三年兔毒,在試婚紗的時候發(fā)現自己被綠了漫贞。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,789評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡育叁,死狀恐怖迅脐,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情豪嗽,我是刑警寧澤谴蔑,帶...
    沈念sama閱讀 34,477評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站龟梦,受9級特大地震影響隐锭,放射性物質發(fā)生泄漏。R本人自食惡果不足惜变秦,卻給世界環(huán)境...
    茶點故事閱讀 40,135評論 3 317
  • 文/蒙蒙 一成榜、第九天 我趴在偏房一處隱蔽的房頂上張望框舔。 院中可真熱鬧蹦玫,春花似錦、人聲如沸刘绣。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽纬凤。三九已至福贞,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間停士,已是汗流浹背挖帘。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評論 1 267
  • 我被黑心中介騙來泰國打工完丽, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人拇舀。 一個月前我還...
    沈念sama閱讀 46,598評論 2 362
  • 正文 我出身青樓逻族,卻偏偏與公主長得像,于是被迫代替她去往敵國和親骄崩。 傳聞我的和親對象是個殘疾皇子聘鳞,可洞房花燭夜當晚...
    茶點故事閱讀 43,697評論 2 351