數(shù)據(jù)親和架構(gòu)--子集篩選

????????之前談到數(shù)據(jù)同步朋贬,但我們知道,業(yè)務(wù)服務(wù)使用的數(shù)據(jù)和存儲的數(shù)據(jù)是不完全一樣窜骄。服務(wù)用到的數(shù)據(jù)是存儲數(shù)據(jù)集合或者混合衍生集合的子集锦募。因此,進(jìn)程之間數(shù)據(jù)的同步更像是物化視圖的同步邻遏。除了Oracle外糠亩,mysql對物化視圖并沒有很好的支持虐骑。而且文件和NoSQL類的數(shù)據(jù)管理系統(tǒng),也有類似的子集同步需求赎线。

????????子集同步本身廷没,我們需要將這個過程分成幾個步驟。首先是內(nèi)存中數(shù)據(jù)同步垂寥,其次是靜態(tài)數(shù)據(jù)的篩選颠黎,最后是增量數(shù)據(jù)的篩選。當(dāng)子集被篩選出來后矫废,在同步技術(shù)上和數(shù)據(jù)同步這個節(jié)所提到的數(shù)據(jù)庫和靜態(tài)文件同步技術(shù)盏缤,并沒有本質(zhì)上的差別砰蠢。不同的是蓖扑,子集同步多出一個步驟篩選。子集因為存在篩選台舱,所以在范圍上和數(shù)據(jù)同步是不一樣的律杠。數(shù)據(jù)親和架構(gòu)一直強(qiáng)調(diào),進(jìn)程和數(shù)據(jù)綁定竞惋,架構(gòu)自動同步進(jìn)程需要的數(shù)據(jù)柜去,而子集所定義的數(shù)據(jù)范圍才真正是進(jìn)程所需要的數(shù)據(jù)。因此拆宛,子集同步才是真正有意義嗓奢,是進(jìn)程所需要的數(shù)據(jù)同步。

????????篩選觸發(fā)的增量和存儲觸發(fā)的增量浑厚,在技術(shù)上有很大的問題股耽。存儲觸發(fā)的增量在實踐中比較簡單,原始數(shù)據(jù)和變更后的數(shù)據(jù)存儲在同一個地方钳幅,兩者直接對比物蝙,就可以發(fā)布變更的數(shù)據(jù)。篩選則不同敢艰,篩選包括四個步驟:(1)捕獲原始數(shù)據(jù)的變更诬乞;(2)原始數(shù)據(jù)條件判斷;(3)原始數(shù)據(jù)的字段選擇钠导;(4)和同一記錄的上一次結(jié)果比對差異震嫉。與此同時,篩選計算是在內(nèi)存中完成的牡属,和結(jié)果存儲通常不是在一個地方票堵,只有在計算結(jié)果和上次存儲結(jié)果存在差異,才被認(rèn)為發(fā)生了變更湃望。子集的增量變更因為存在上述兩點换衬,導(dǎo)致難度要高于全集的增量變更痰驱。在市面上,并沒有完成這個功能的現(xiàn)成組件瞳浦。

????????子集的增量是基于存儲增量變化的流式變化担映,在加上篩選,從廣義上來看叫潦,可以視為一種流式計算蝇完。但從業(yè)務(wù)開發(fā)者角度來看,卻不能視之為一個流式計算矗蕊,因為他需要更為簡單的接口和實現(xiàn)方式短蜕,如SQL語法。在數(shù)據(jù)親和架構(gòu)的設(shè)計之初傻咖,就是從業(yè)務(wù)開發(fā)這角度來思考這個問題朋魔,因此,如何提高開發(fā)效率也是一個重要的考慮因素卿操。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末警检,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子害淤,更是在濱河造成了極大的恐慌扇雕,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件窥摄,死亡現(xiàn)場離奇詭異镶奉,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)崭放,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進(jìn)店門哨苛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人莹菱,你說我怎么就攤上這事移国。” “怎么了道伟?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵迹缀,是天一觀的道長。 經(jīng)常有香客問我蜜徽,道長祝懂,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任拘鞋,我火速辦了婚禮砚蓬,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘盆色。我一直安慰自己灰蛙,他們只是感情好祟剔,可當(dāng)我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著摩梧,像睡著了一般物延。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上仅父,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天叛薯,我揣著相機(jī)與錄音,去河邊找鬼笙纤。 笑死耗溜,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的省容。 我是一名探鬼主播抖拴,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼蓉冈!你這毒婦竟也來了城舞?” 一聲冷哼從身側(cè)響起轩触,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤寞酿,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后脱柱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體伐弹,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年榨为,在試婚紗的時候發(fā)現(xiàn)自己被綠了惨好。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡随闺,死狀恐怖日川,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情矩乐,我是刑警寧澤龄句,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站散罕,受9級特大地震影響分歇,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜欧漱,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一职抡、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧误甚,春花似錦缚甩、人聲如沸谱净。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽岳遥。三九已至,卻和暖如春裕寨,著一層夾襖步出監(jiān)牢的瞬間浩蓉,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工宾袜, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留捻艳,地道東北人。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓庆猫,卻偏偏與公主長得像认轨,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子月培,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容