主數(shù)據(jù)ETL - 02 系統(tǒng)設(shè)計(jì)

概覽

總體用例圖


ETL 用例.png

邊寫這篇文章芭逝,邊設(shè)計(jì)這個(gè)系統(tǒng),當(dāng)前尚未實(shí)現(xiàn)舆驶,完成設(shè)計(jì)后橱健,計(jì)劃在下一個(gè)具體項(xiàng)目上實(shí)施。

設(shè)計(jì)思路

利用SAP的各種技術(shù)沙廉,在應(yīng)用程序?qū)用嬗涗涀兏械矗淮_定變更信息需要同步的第三方系統(tǒng);按各系統(tǒng)需求生成數(shù)據(jù)包撬陵;完成同步珊皿。
按照這個(gè)思路网缝,設(shè)計(jì)了三大模塊:

1.變更日志模塊

著眼點(diǎn)是數(shù)據(jù)表,對(duì)SAP的表進(jìn)行簡(jiǎn)單分類:

  • 標(biāo)準(zhǔn)表
    • 配置表
      一般伴隨TR蟋定,比如公司粉臊,工廠,庫(kù)位等
    • 主數(shù)據(jù)表
      物料驶兜,供應(yīng)商维费,客戶,成本中心等
    • 業(yè)務(wù)數(shù)據(jù)表
      采購(gòu)訂單促王,生產(chǎn)訂單犀盟,銷售訂單等
  • 自定義表

不同的表,維護(hù)方式差異比較大蝇狼,對(duì)應(yīng)的記錄變更的方式也會(huì)有差異阅畴,定義了三種變更日志格式:

  • Change Document
    標(biāo)準(zhǔn)的技術(shù),廣泛存在于標(biāo)準(zhǔn)數(shù)據(jù)表迅耘,比如物料贱枣,采購(gòu)訂單,BOM颤专,銷售訂單纽哥。

    生產(chǎn)訂單由于變更頻繁,標(biāo)準(zhǔn)不提供Change Document栖秕,但是預(yù)留了出口春塌,可以自定義Change Document,隨之而來(lái)的一個(gè)問(wèn)題就是需要考慮歸檔簇捍,Change Document有標(biāo)準(zhǔn)的歸檔對(duì)象只壳,技術(shù)上問(wèn)題不大。

  • Transport Request
    配置表通過(guò)TR傳輸暑塑,所以TR本身就是一種日志吼句。

  • 自定義日志
    按需定制,比如有些表沒(méi)有CD事格,沒(méi)有TR惕艳,可以在維護(hù)的時(shí)候生成CD,也可以簡(jiǎn)單一點(diǎn)寫入自定義日志驹愚。

2.路由模塊

根據(jù)變更日志远搪,判定是否需要同步到特定系統(tǒng),需要同步即確認(rèn)了路由信息:SAP->第三方系統(tǒng)么鹤,放入PUSH或者PULL 隊(duì)列终娃。

隊(duì)列中主要存儲(chǔ)信息:第三方系統(tǒng)標(biāo)識(shí) + 接口標(biāo)識(shí) + 變更日志編號(hào) + 時(shí)間戳

3.分發(fā)模塊

分發(fā)主要考慮兩個(gè)問(wèn)題:數(shù)據(jù)包生成和同步方式

數(shù)據(jù)包生成

生成時(shí)機(jī),由于場(chǎng)景不同,同步方式不同棠耕,數(shù)據(jù)包在不同的環(huán)節(jié)生成:

  • 即時(shí)
    數(shù)據(jù)變更的同時(shí)生成
  • 定時(shí)
    可能生成數(shù)據(jù)包的代價(jià)特別大余佛,放在后臺(tái)任務(wù)中定時(shí)生成
  • 延遲
    在數(shù)據(jù)同步的時(shí)候生成

數(shù)據(jù)包的格式:全量和增量,參見(jiàn) 上篇 01 數(shù)據(jù)同步場(chǎng)景分析

同步方式

Pull和Push模式的說(shuō)明窍荧,也參見(jiàn)上篇辉巡。

對(duì)于Pull,增量發(fā)送數(shù)據(jù)包必須要有發(fā)送順序控制蕊退,實(shí)時(shí)推送郊楣,連續(xù)更改,不加控制可能因?yàn)橥扑蛨?zhí)行順序不同瓤荔,導(dǎo)致兩邊系統(tǒng)數(shù)據(jù)不一致净蚤。

考慮犧牲一定的實(shí)時(shí)性要求(對(duì)第三方系統(tǒng)來(lái)說(shuō)也無(wú)感的),推送是使用單線程的模式输硝,只有一個(gè)消費(fèi)者從Push隊(duì)列中提取同步任務(wù)今瀑。后續(xù)討論使用Event + Lock技術(shù)實(shí)現(xiàn)這個(gè)功能。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末点把,一起剝皮案震驚了整個(gè)濱河市橘荠,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌郎逃,老刑警劉巖哥童,帶你破解...
    沈念sama閱讀 221,430評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異褒翰,居然都是意外死亡贮懈,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,406評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門影暴,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)错邦,“玉大人,你說(shuō)我怎么就攤上這事型宙。” “怎么了伦吠?”我有些...
    開(kāi)封第一講書人閱讀 167,834評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵妆兑,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我毛仪,道長(zhǎng)搁嗓,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 59,543評(píng)論 1 296
  • 正文 為了忘掉前任箱靴,我火速辦了婚禮腺逛,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘衡怀。我一直安慰自己棍矛,他們只是感情好安疗,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,547評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著够委,像睡著了一般荐类。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上茁帽,一...
    開(kāi)封第一講書人閱讀 52,196評(píng)論 1 308
  • 那天玉罐,我揣著相機(jī)與錄音,去河邊找鬼潘拨。 笑死吊输,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的铁追。 我是一名探鬼主播季蚂,決...
    沈念sama閱讀 40,776評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼脂信!你這毒婦竟也來(lái)了癣蟋?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,671評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤狰闪,失蹤者是張志新(化名)和其女友劉穎疯搅,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體埋泵,經(jīng)...
    沈念sama閱讀 46,221評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡幔欧,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,303評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了丽声。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片礁蔗。...
    茶點(diǎn)故事閱讀 40,444評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖雁社,靈堂內(nèi)的尸體忽然破棺而出浴井,到底是詐尸還是另有隱情,我是刑警寧澤霉撵,帶...
    沈念sama閱讀 36,134評(píng)論 5 350
  • 正文 年R本政府宣布磺浙,位于F島的核電站,受9級(jí)特大地震影響徒坡,放射性物質(zhì)發(fā)生泄漏撕氧。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,810評(píng)論 3 333
  • 文/蒙蒙 一喇完、第九天 我趴在偏房一處隱蔽的房頂上張望伦泥。 院中可真熱鬧,春花似錦、人聲如沸不脯。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,285評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)跨新。三九已至富腊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間域帐,已是汗流浹背赘被。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,399評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留肖揣,地道東北人民假。 一個(gè)月前我還...
    沈念sama閱讀 48,837評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像龙优,于是被迫代替她去往敵國(guó)和親羊异。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,455評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 31,947評(píng)論 2 89
  • ORA-00001: 違反唯一約束條件 (.) 錯(cuò)誤說(shuō)明:當(dāng)在唯一索引所對(duì)應(yīng)的列上鍵入重復(fù)值時(shí)彤断,會(huì)觸發(fā)此異常野舶。 O...
    我想起個(gè)好名字閱讀 5,334評(píng)論 0 9
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)宰衙,斷路器平道,智...
    卡卡羅2017閱讀 134,696評(píng)論 18 139
  • 第六課作業(yè) 甜蜜家族里的故事 在糖類這個(gè)大家族里還真是熱鬧非凡呢,有獨(dú)行俠葡萄糖供炼、果糖一屋、半乳糖、核糖袋哼、木糖冀墨、阿拉伯...
    3c2e97818ff5閱讀 335評(píng)論 29 12