數(shù)據(jù)變更通知的一種方案

問題提出

我最近發(fā)現(xiàn)了一個(gè)很有意思的問題畜埋。常見的業(yè)務(wù)解決都是拉模型莫绣。如,當(dāng)用戶查詢其訂單悠鞍,其流程是經(jīng)過web層对室,服務(wù)層,到數(shù)據(jù)庫咖祭,按照層級(jí)關(guān)系進(jìn)行組織掩宜。上一層主動(dòng)拉下一層的數(shù)據(jù),下一層除非有人拉數(shù)據(jù)么翰,否則不會(huì)執(zhí)行任何的動(dòng)作牺汤。

image.png

這在某些情況下會(huì)出現(xiàn)一些問題。比如說有緩存的情況下浩嫌。常見的即檐迟,在同一個(gè)服務(wù)內(nèi),不同的接口修改了底層的數(shù)據(jù)码耐,但是卻沒有刷新緩存追迟。

image.png

當(dāng)然,這在我們使用緩存的時(shí)候就預(yù)計(jì)到了會(huì)出現(xiàn)這種情況骚腥。多數(shù)情況下敦间,也不會(huì)有什么問題。但是,如果一個(gè)業(yè)務(wù)需求既要求高性能——即要求QPS高每瞒,又要求響應(yīng)時(shí)間短金闽,同時(shí)還要求數(shù)據(jù)實(shí)時(shí)性好,那么這種常見的模式剿骨,很難滿足了代芜。我舉一個(gè)例子來說,商家設(shè)定的有關(guān)價(jià)格的信息浓利,是希望能夠在客戶端得到反饋的挤庇,而用戶在客戶端上訪問量是極高的。這就是一個(gè)典型的場(chǎng)景贷掖。

通常對(duì)性能苛刻意味著需要進(jìn)行緩存嫡秕,而對(duì)數(shù)據(jù)實(shí)時(shí)性的要求,又是不好進(jìn)行緩存的苹威。它并非是不能緩存昆咽,可以通過設(shè)置緩存過期時(shí)間很短,以達(dá)到準(zhǔn)實(shí)時(shí)性——如果業(yè)務(wù)允許的話牙甫。且不談這個(gè)準(zhǔn)實(shí)時(shí)是否能達(dá)到業(yè)務(wù)需求掷酗,單單一個(gè)設(shè)置短的緩存過期時(shí)間,就會(huì)帶來緩存頻繁刷新的問題窟哺。在數(shù)據(jù)不經(jīng)常變化泻轰,并且高并發(fā)的情況下,短的過期時(shí)間且轨,會(huì)給服務(wù)器帶來巨大的壓力浮声,因?yàn)榫彺孢^期還容易導(dǎo)致緩存穿透的問題。尤其是旋奢,如果數(shù)據(jù)不經(jīng)常變動(dòng)泳挥,那么設(shè)置一個(gè)短的過期時(shí)間,幾乎毫無意義至朗。

解決方案

當(dāng)然屉符,現(xiàn)在也有一種比較成熟的方案,只是沒有見到成體系的文字描述爽丹,現(xiàn)在我記錄于下筑煮。我稱之為“預(yù)計(jì)算模型”辛蚊。它強(qiáng)調(diào)的是粤蝎,在數(shù)據(jù)變更途徑可控的情況下,每次數(shù)據(jù)變更之后袋马,重新計(jì)算各色業(yè)務(wù)初澎。

這里要區(qū)別兩個(gè)角色,一個(gè)是數(shù)據(jù)變更方,另外一個(gè)是業(yè)務(wù)方碑宴。使用到這份數(shù)據(jù)的業(yè)務(wù)方會(huì)有很多软啼,但并不是所有的業(yè)務(wù)方都有這種苛刻的需求。所以實(shí)際上延柠,這里的業(yè)務(wù)方僅僅指那些關(guān)心數(shù)據(jù)變動(dòng)的業(yè)務(wù)方祸挪。數(shù)據(jù)變更方在數(shù)據(jù)變更之后需要通知業(yè)務(wù)方,那些關(guān)心這些變動(dòng)的業(yè)務(wù)方贞间,則立刻執(zhí)行重新計(jì)算的邏輯贿条。

這里額外討論一下通知的方式。通知的方式有多種增热。不論采用何種方式整以,其核心在于,數(shù)據(jù)變更方不應(yīng)該知道有誰關(guān)心這個(gè)變更峻仇。如果變更方必須知道要有幾個(gè)業(yè)務(wù)方公黑,以至于每次接入一個(gè)新的業(yè)務(wù)方的時(shí)候,都需要變更方更改自身的邏輯摄咆,那么這就是典型的反向耦合了凡蚜。我有兩個(gè)比較好的建議,第一個(gè)建議是采用觀察者模式豆同。這種模式要求觀察者能夠自動(dòng)注冊(cè)到被觀察者(也就是業(yè)務(wù)變更方)處番刊,如果需要被觀察者主動(dòng)尋找觀察者,那么就陷入了反向耦合影锈;另外一個(gè)建議是采用消息通知機(jī)制芹务。

該模型最大的困難在于,很多時(shí)候無法控制所有的變更入口鸭廷。更可怕的是枣抱,在當(dāng)下控制住了入口,結(jié)果一段時(shí)間后辆床,出現(xiàn)了一個(gè)新入口佳晶,而你卻毫不知情。這很顯然會(huì)出現(xiàn)數(shù)據(jù)不一致的情況讼载。一種顯而易見的緩解方法——它并不能徹底解決這個(gè)問題——就是轿秧,設(shè)置一個(gè)緩存過期的時(shí)間,或者在間隔一段時(shí)間之后執(zhí)行一些修復(fù)操作咨堤,由程序檢測(cè)到數(shù)據(jù)不一致的地方菇篡,并且將其同步到一致的狀態(tài)。

避免出現(xiàn)這樣情況的一種方法是一喘,在數(shù)據(jù)持久化入口——通常也就是數(shù)據(jù)庫訪問層面做控制驱还。舉一個(gè)例子,使用spring的aop技術(shù),在所有調(diào)用里面添加上通知機(jī)制的代碼议蟆。這難免會(huì)帶來性能的損耗闷沥。因此,可以提供異步通知機(jī)制咐容。

實(shí)際上舆逃,在當(dāng)下微服務(wù)盛行的時(shí)代,如果微服務(wù)劃分得好的話戳粒,這些入口是很好收攏的颖侄。因?yàn)檫@些入口必然是位于微服務(wù)的邊界之處,只要控制好了這幾個(gè)地方享郊,就等于控制住了別的地方览祖。我反對(duì)的一種常見的錯(cuò)誤實(shí)踐,就是因?yàn)楹脦讉€(gè)微服務(wù)都由一個(gè)團(tuán)隊(duì)維護(hù)炊琉,因此他們會(huì)無意間打破這種邊界展蒂,比如說A服務(wù)訪問B服務(wù)的數(shù)據(jù)庫,而不是通過B服務(wù)提供的服務(wù)來訪問(不用懷疑苔咪,我吐槽的就是我們團(tuán)隊(duì)锰悼,233333)。

后記

這個(gè)模型實(shí)際上會(huì)有一些違背直覺的感覺团赏。其實(shí)不然箕般。如果從分層結(jié)構(gòu)上說,這種舉措丝里,相當(dāng)于底層主動(dòng)通知上層。這是一種很典型的分層結(jié)構(gòu)下的變更通知機(jī)制抒痒,有時(shí)候也被稱為回調(diào)機(jī)制。它和一般的“底層調(diào)用上層”的區(qū)別就在于傀广,它并沒有直接調(diào)用上層,而僅僅是通知了上層。從這個(gè)意義上來說寂汇,使用觀察者模式并不是一個(gè)很好的方案,采用消息機(jī)制榕栏,其耦合程度要更加弱式曲。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子符衔,更是在濱河造成了極大的恐慌,老刑警劉巖五嫂,帶你破解...
    沈念sama閱讀 212,686評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件槐臀,死亡現(xiàn)場(chǎng)離奇詭異得糜,居然都是意外死亡娜谊,警方通過查閱死者的電腦和手機(jī)砌滞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,668評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門打掘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事绝骚≈蛊剩” “怎么了落君?”我有些...
    開封第一講書人閱讀 158,160評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵穿香,是天一觀的道長(zhǎng)皮获。 經(jīng)常有香客問我,道長(zhǎng)购公,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,736評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上强挫,老公的妹妹穿的比我還像新娘岔霸。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,847評(píng)論 6 386
  • 文/花漫 我一把揭開白布八匠。 她就那樣靜靜地躺著絮爷,像睡著了一般。 火紅的嫁衣襯著肌膚如雪梨树。 梳的紋絲不亂的頭發(fā)上坑夯,一...
    開封第一講書人閱讀 50,043評(píng)論 1 291
  • 那天,我揣著相機(jī)與錄音抡四,去河邊找鬼柜蜈。 笑死,一個(gè)胖子當(dāng)著我的面吹牛指巡,可吹牛的內(nèi)容都是我干的跨释。 我是一名探鬼主播,決...
    沈念sama閱讀 39,129評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼厌处,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼鳖谈!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起阔涉,我...
    開封第一講書人閱讀 37,872評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤缆娃,失蹤者是張志新(化名)和其女友劉穎捷绒,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體贯要,經(jīng)...
    沈念sama閱讀 44,318評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡暖侨,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,645評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了崇渗。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片字逗。...
    茶點(diǎn)故事閱讀 38,777評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖宅广,靈堂內(nèi)的尸體忽然破棺而出葫掉,到底是詐尸還是另有隱情,我是刑警寧澤跟狱,帶...
    沈念sama閱讀 34,470評(píng)論 4 333
  • 正文 年R本政府宣布俭厚,位于F島的核電站,受9級(jí)特大地震影響驶臊,放射性物質(zhì)發(fā)生泄漏挪挤。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,126評(píng)論 3 317
  • 文/蒙蒙 一关翎、第九天 我趴在偏房一處隱蔽的房頂上張望扛门。 院中可真熱鬧,春花似錦纵寝、人聲如沸尖飞。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,861評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽政基。三九已至,卻和暖如春闹啦,著一層夾襖步出監(jiān)牢的瞬間沮明,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,095評(píng)論 1 267
  • 我被黑心中介騙來泰國(guó)打工窍奋, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留荐健,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,589評(píng)論 2 362
  • 正文 我出身青樓琳袄,卻偏偏與公主長(zhǎng)得像江场,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子窖逗,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,687評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容

  • //我所經(jīng)歷的大數(shù)據(jù)平臺(tái)發(fā)展史(三):互聯(lián)網(wǎng)時(shí)代 ? 上篇http://www.infoq.com/cn/arti...
    葡萄喃喃囈語閱讀 51,199評(píng)論 10 200
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理址否,服務(wù)發(fā)現(xiàn),斷路器碎紊,智...
    卡卡羅2017閱讀 134,637評(píng)論 18 139
  • 1. 微服務(wù)架構(gòu)介紹 1.1 什么是微服務(wù)架構(gòu)佑附? 形像一點(diǎn)來說樊诺,微服務(wù)架構(gòu)就像搭積木,每個(gè)微服務(wù)都是一個(gè)零件音同,并使...
    靜修佛緣閱讀 6,635評(píng)論 0 39
  • 1词爬、多拜父母拜祖宗連接能量能治病权均! 2顿膨、別人夸獎(jiǎng)你,哪怕言不符實(shí)的夸獎(jiǎng)贊美叽赊,都要記得接受別人的祝福恋沃,說“借你吉言”...
    Stan森閱讀 392評(píng)論 0 0
  • 你走, 沒有回頭蛇尚, 濕潤(rùn)了我的眼眸芽唇。 沒有顾画, 一絲挽留取劫, 就讓你輕輕的走。 曾經(jīng) 初開情竇研侣, 想與你一生溫柔谱邪。 如...
    古城蒼狼閱讀 247評(píng)論 2 6