批量寫的設(shè)計經(jīng)驗

背景

如下圖所示舍杜,用戶A在批量寫入赵辕,如果執(zhí)行時間長还惠,長時間占用server線程,將會影響其他用戶的讀寫操作蚕键,如用戶B,難以構(gòu)建高并發(fā)的Web系統(tǒng)笆怠。

批量寫架構(gòu)

優(yōu)化

server職責(zé)

如下“批量寫架構(gòu)優(yōu)化”圖蹬刷,用戶A提交批量寫請求,server不返回批量寫的結(jié)果办成,只返回權(quán)限校驗、數(shù)據(jù)校驗和記錄任務(wù)、寫mq(消息隊列)的結(jié)果状答,用戶A只能在頁面刷新等待寫入DB的結(jié)果冷守。

job職責(zé)

job接收mq消息,執(zhí)行循環(huán)寫入db操作惊科,然后用戶A就可以訪問到寫入的結(jié)果拍摇。

優(yōu)勢

用戶A批量寫不再長時間占用server線程,長時間寫db操作在job執(zhí)行馆截,提升server的并發(fā)數(shù)充活。

批量寫架構(gòu)優(yōu)化

防刷

當(dāng)存在未執(zhí)行完的任務(wù),不允許當(dāng)前用戶再次觸發(fā)批量寫蜡娶。

超時

當(dāng)存在未執(zhí)行完的任務(wù)且任務(wù)執(zhí)行已經(jīng)超過一定的時間混卵,則認(rèn)為任務(wù)執(zhí)行失敗(job重啟窖张、丟消息等)幕随,允許當(dāng)前用戶重新觸發(fā)批量操作宿接。

冪等

通常情況下job只執(zhí)行接收到的mq消息所對應(yīng)的任務(wù)赘淮。
對于是否重新執(zhí)行之前中斷或者失敗的任務(wù)由具體需求場景決定。
是否需要保證重新執(zhí)行結(jié)果冪等性需要根據(jù)需求具體分析睦霎。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末梢卸,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子副女,更是在濱河造成了極大的恐慌蛤高,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,013評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件肮塞,死亡現(xiàn)場離奇詭異襟齿,居然都是意外死亡,警方通過查閱死者的電腦和手機枕赵,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,205評論 2 382
  • 文/潘曉璐 我一進(jìn)店門猜欺,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人拷窜,你說我怎么就攤上這事开皿〗Щ疲” “怎么了?”我有些...
    開封第一講書人閱讀 152,370評論 0 342
  • 文/不壞的土叔 我叫張陵赋荆,是天一觀的道長笋妥。 經(jīng)常有香客問我,道長窄潭,這世上最難降的妖魔是什么春宣? 我笑而不...
    開封第一講書人閱讀 55,168評論 1 278
  • 正文 為了忘掉前任,我火速辦了婚禮嫉你,結(jié)果婚禮上月帝,老公的妹妹穿的比我還像新娘。我一直安慰自己幽污,他們只是感情好嚷辅,可當(dāng)我...
    茶點故事閱讀 64,153評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著距误,像睡著了一般簸搞。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上准潭,一...
    開封第一講書人閱讀 48,954評論 1 283
  • 那天趁俊,我揣著相機與錄音,去河邊找鬼惋鹅。 笑死则酝,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的闰集。 我是一名探鬼主播沽讹,決...
    沈念sama閱讀 38,271評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼武鲁!你這毒婦竟也來了爽雄?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,916評論 0 259
  • 序言:老撾萬榮一對情侶失蹤沐鼠,失蹤者是張志新(化名)和其女友劉穎挚瘟,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體饲梭,經(jīng)...
    沈念sama閱讀 43,382評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡乘盖,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,877評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了憔涉。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片订框。...
    茶點故事閱讀 37,989評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖兜叨,靈堂內(nèi)的尸體忽然破棺而出穿扳,到底是詐尸還是另有隱情衩侥,我是刑警寧澤,帶...
    沈念sama閱讀 33,624評論 4 322
  • 正文 年R本政府宣布矛物,位于F島的核電站茫死,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏履羞。R本人自食惡果不足惜峦萎,卻給世界環(huán)境...
    茶點故事閱讀 39,209評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望忆首。 院中可真熱鬧骨杂,春花似錦、人聲如沸雄卷。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,199評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽丁鹉。三九已至,卻和暖如春悴能,著一層夾襖步出監(jiān)牢的瞬間揣钦,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,418評論 1 260
  • 我被黑心中介騙來泰國打工漠酿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留冯凹,地道東北人。 一個月前我還...
    沈念sama閱讀 45,401評論 2 352
  • 正文 我出身青樓炒嘲,卻偏偏與公主長得像宇姚,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子夫凸,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,700評論 2 345

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理浑劳,服務(wù)發(fā)現(xiàn),斷路器夭拌,智...
    卡卡羅2017閱讀 134,599評論 18 139
  • 一魔熏、源題QUESTION 74View the Exhibit. You want to create a tab...
    貓貓_tomluo閱讀 1,493評論 0 1
  • 1.ios高性能編程 (1).內(nèi)層 最小的內(nèi)層平均值和峰值(2).耗電量 高效的算法和數(shù)據(jù)結(jié)構(gòu)(3).初始化時...
    歐辰_OSR閱讀 29,320評論 8 265
  • 當(dāng)你還在回味春節(jié)期間發(fā)生的種種事情的時候,不知不覺又要上班了鸽扁,今天是春節(jié)后的第一天蒜绽,也是情人節(jié),祝我的兩位情人快樂...
    davidpp閱讀 329評論 0 0
  • 女主角: 慕容凝雪桶现,學(xué)名:冷凝雪躲雅,英國名:藍(lán)凝雪 ,一座大冰山巩那,(除了對家人姐妹) 好友:慕容怡宣吏夯,慕容離月 姓名...
    傻的那般可愛閱讀 512評論 0 1