多源數(shù)據(jù)融合與冪等性

1祟绊、記錄丟失

如發(fā)郵件記錄,如果兩個系統(tǒng)中的事件ID相同恰巧闲询,則可能有記錄丟失

如何解決久免?

2、重復(fù)消費某條記錄扭弧,如果消費不具有冪等性阎姥,可能錯誤的產(chǎn)生多條記錄。

什么是冪等(Idempotency)鸽捻?簡單來說呼巴,一個操作如果具有任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同泽腮,我們就稱之為冪等。簡而言之衣赶,我們需要一個 Dedup(去重)的機制诊赊。這往往有很多不同的實現(xiàn)方法,但是有兩個很關(guān)鍵的因素:1)唯一標(biāo)志記錄的標(biāo)識府瞄,由產(chǎn)生記錄的客戶端提供碧磅,服務(wù)器和客戶端都使用它來識別記錄) 2)服務(wù)端使用該唯一標(biāo)識,并能確保唯一性遵馆!不處理兩次鲸郊,或處理兩次結(jié)果和一次一樣

注意,簡單的讀檢查并不一定行货邓,因為讀與讀之間會有 Race Condition(競爭條件)秆撮,因此還是有可能出錯。

http://baijiahao.baidu.com/s?id=1570246189966333&wfr=spider&for=pc

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末换况,一起剝皮案震驚了整個濱河市职辨,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌戈二,老刑警劉巖舒裤,帶你破解...
    沈念sama閱讀 222,183評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異挽拂,居然都是意外死亡惭每,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評論 3 399
  • 文/潘曉璐 我一進店門亏栈,熙熙樓的掌柜王于貴愁眉苦臉地迎上來台腥,“玉大人,你說我怎么就攤上這事绒北±璩蓿” “怎么了?”我有些...
    開封第一講書人閱讀 168,766評論 0 361
  • 文/不壞的土叔 我叫張陵闷游,是天一觀的道長峻汉。 經(jīng)常有香客問我,道長脐往,這世上最難降的妖魔是什么休吠? 我笑而不...
    開封第一講書人閱讀 59,854評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮业簿,結(jié)果婚禮上瘤礁,老公的妹妹穿的比我還像新娘。我一直安慰自己梅尤,他們只是感情好柜思,可當(dāng)我...
    茶點故事閱讀 68,871評論 6 398
  • 文/花漫 我一把揭開白布岩调。 她就那樣靜靜地躺著,像睡著了一般赡盘。 火紅的嫁衣襯著肌膚如雪号枕。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,457評論 1 311
  • 那天陨享,我揣著相機與錄音葱淳,去河邊找鬼。 笑死霉咨,一個胖子當(dāng)著我的面吹牛蛙紫,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播途戒,決...
    沈念sama閱讀 40,999評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼僵驰!你這毒婦竟也來了喷斋?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,914評論 0 277
  • 序言:老撾萬榮一對情侶失蹤蒜茴,失蹤者是張志新(化名)和其女友劉穎星爪,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體粉私,經(jīng)...
    沈念sama閱讀 46,465評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡顽腾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,543評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了诺核。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抄肖。...
    茶點故事閱讀 40,675評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖窖杀,靈堂內(nèi)的尸體忽然破棺而出漓摩,到底是詐尸還是另有隱情,我是刑警寧澤入客,帶...
    沈念sama閱讀 36,354評論 5 351
  • 正文 年R本政府宣布管毙,位于F島的核電站,受9級特大地震影響桌硫,放射性物質(zhì)發(fā)生泄漏夭咬。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,029評論 3 335
  • 文/蒙蒙 一铆隘、第九天 我趴在偏房一處隱蔽的房頂上張望卓舵。 院中可真熱鬧,春花似錦咖驮、人聲如沸边器。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽忘巧。三九已至恒界,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間砚嘴,已是汗流浹背十酣。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留际长,地道東北人耸采。 一個月前我還...
    沈念sama閱讀 49,091評論 3 378
  • 正文 我出身青樓,卻偏偏與公主長得像工育,于是被迫代替她去往敵國和親虾宇。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,685評論 2 360

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理如绸,服務(wù)發(fā)現(xiàn)嘱朽,斷路器,智...
    卡卡羅2017閱讀 134,711評論 18 139
  • 國家電網(wǎng)公司企業(yè)標(biāo)準(zhǔn)(Q/GDW)- 面向?qū)ο蟮挠秒娦畔?shù)據(jù)交換協(xié)議 - 報批稿:20170802 前言: 排版 ...
    庭說閱讀 11,007評論 6 13
  • 轉(zhuǎn)載自 Programming.log - a place to keep my thoughts on prog...
    廚子閱讀 413評論 0 4
  • 如果要追根溯源怔接,冪等性是數(shù)學(xué)中的一個概念搪泳,表達的是N次變換與1次變換的結(jié)果相同。 基于HTTP協(xié)議的Web API...
    Ray雷磊閱讀 1,897評論 0 1
  • 理解HTTP冪等性 基于HTTP協(xié)議的Web API是時下最為流行的一種分布式服務(wù)提供方式扼脐。無論是在大型互聯(lián)網(wǎng)應(yīng)用...
    阿燈_supwinr閱讀 446評論 0 0