2019-06-10

第六章

數(shù)據(jù)服務(wù)

一、服務(wù)架構(gòu)演進(jìn)

DWSOA:一個(gè)需求一個(gè)接口、編碼實(shí)現(xiàn)接口、接口數(shù)量5000/年肤频,將業(yè)務(wù)方對(duì)數(shù)據(jù)的需求通過SOA服務(wù)的方式暴露出去。

OpenAPI:一類需求一個(gè)接口算墨、編碼配置實(shí)現(xiàn)接口宵荒、接口數(shù)量200/年,將數(shù)據(jù)按照其統(tǒng)計(jì)粒度進(jìn)行聚合净嘀,同樣維度的數(shù)據(jù)报咳,形成一張邏輯表,采用同樣的接口描述挖藏。

SmartDQ:所有需求一個(gè)接口少孝、配置實(shí)現(xiàn)接口、接口數(shù)量1熬苍、服務(wù)形式不夠豐富

OneService:豐富服務(wù)方式稍走、數(shù)據(jù)拉取、數(shù)據(jù)推送柴底、定制任務(wù)婿脸、優(yōu)化服務(wù)性能、加強(qiáng)服務(wù)治理

總結(jié):接口易上難下柄驻,即使一個(gè)接口也會(huì)綁定一批人(業(yè)務(wù)方狐树、接口開發(fā)維護(hù)人員、調(diào)用方)鸿脓。所以對(duì)外提供的數(shù)據(jù)服務(wù)接口一定要盡可能抽象抑钟,接口的數(shù)量要盡可能收斂,最后在保證服務(wù)質(zhì)量的情況下野哭,盡可能減少維護(hù)工作量在塔。

二、統(tǒng)一的數(shù)據(jù)服務(wù)層

1.技術(shù)架構(gòu)

元數(shù)據(jù)模型

簡單來說拨黔,是邏輯表到物理表的映射蛔溃。

自底向上分別是:

(1)數(shù)據(jù)源

(2)物理表:物理表是具體某個(gè)數(shù)據(jù)源中的一張表。每張物理表都需要指明主鍵由哪些列組成篱蝇,主鍵確定后即可得知該表的統(tǒng)計(jì)粒度贺待。

(3)邏輯表

邏輯表可以理解為數(shù)據(jù)庫中的視圖,是一張?zhí)摂M表零截,也可以看作是由若干主鍵相同的物理表構(gòu)成的大寬表麸塞。

(4)主題

邏輯表一般會(huì)掛載在某個(gè)主題下,以便進(jìn)行管理與查找涧衙。

最佳實(shí)踐

1.性能

資源分配

(1)剝離計(jì)算資源

(2)查詢資源分配

查詢接口分為兩種:Get接口哪工,只返回一條數(shù)據(jù)奥此;List接口,會(huì)返回多條數(shù)據(jù)正勒。

QPS:每秒查詢率QPS是對(duì)一個(gè)特定的查詢服務(wù)器在規(guī)定時(shí)間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn)

緩存優(yōu)化

(1)元數(shù)據(jù)緩存

查詢能力

離線數(shù)據(jù)的產(chǎn)出時(shí)間取決于上游任務(wù)的執(zhí)行時(shí)間,以及當(dāng)前平臺(tái)的資源情況傻铣。所以產(chǎn)出時(shí)間是無法估算的章贞。

穩(wěn)定性

(1)元數(shù)據(jù)隔離

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市非洲,隨后出現(xiàn)的幾起案子鸭限,更是在濱河造成了極大的恐慌,老刑警劉巖两踏,帶你破解...
    沈念sama閱讀 219,589評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件败京,死亡現(xiàn)場離奇詭異,居然都是意外死亡梦染,警方通過查閱死者的電腦和手機(jī)赡麦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來帕识,“玉大人泛粹,你說我怎么就攤上這事“沽疲” “怎么了晶姊?”我有些...
    開封第一講書人閱讀 165,933評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長伪货。 經(jīng)常有香客問我们衙,道長,這世上最難降的妖魔是什么碱呼? 我笑而不...
    開封第一講書人閱讀 58,976評(píng)論 1 295
  • 正文 為了忘掉前任蒙挑,我火速辦了婚禮,結(jié)果婚禮上愚臀,老公的妹妹穿的比我還像新娘脆荷。我一直安慰自己,他們只是感情好懊悯,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,999評(píng)論 6 393
  • 文/花漫 我一把揭開白布蜓谋。 她就那樣靜靜地躺著,像睡著了一般炭分。 火紅的嫁衣襯著肌膚如雪桃焕。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,775評(píng)論 1 307
  • 那天捧毛,我揣著相機(jī)與錄音观堂,去河邊找鬼让网。 笑死,一個(gè)胖子當(dāng)著我的面吹牛师痕,可吹牛的內(nèi)容都是我干的溃睹。 我是一名探鬼主播,決...
    沈念sama閱讀 40,474評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼胰坟,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼因篇!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起笔横,我...
    開封第一講書人閱讀 39,359評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤竞滓,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后吹缔,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體商佑,經(jīng)...
    沈念sama閱讀 45,854評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,007評(píng)論 3 338
  • 正文 我和宋清朗相戀三年厢塘,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了茶没。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,146評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡晚碾,死狀恐怖礁叔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情迄薄,我是刑警寧澤琅关,帶...
    沈念sama閱讀 35,826評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站讥蔽,受9級(jí)特大地震影響涣易,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜冶伞,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,484評(píng)論 3 331
  • 文/蒙蒙 一新症、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧响禽,春花似錦徒爹、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至侯繁,卻和暖如春胖喳,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背贮竟。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評(píng)論 1 272
  • 我被黑心中介騙來泰國打工丽焊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留较剃,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,420評(píng)論 3 373
  • 正文 我出身青樓技健,卻偏偏與公主長得像写穴,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子雌贱,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,107評(píng)論 2 356

推薦閱讀更多精彩內(nèi)容

  • ORA-00001: 違反唯一約束條件 (.) 錯(cuò)誤說明:當(dāng)在唯一索引所對(duì)應(yīng)的列上鍵入重復(fù)值時(shí)啊送,會(huì)觸發(fā)此異常。 O...
    我想起個(gè)好名字閱讀 5,323評(píng)論 0 9
  • 國家電網(wǎng)公司企業(yè)標(biāo)準(zhǔn)(Q/GDW)- 面向?qū)ο蟮挠秒娦畔?shù)據(jù)交換協(xié)議 - 報(bào)批稿:20170802 前言: 排版 ...
    庭說閱讀 10,993評(píng)論 6 13
  • 今天看到一位朋友寫的mysql筆記總結(jié)帽芽,覺得寫的很詳細(xì)很用心删掀,這里轉(zhuǎn)載一下翔冀,供大家參考下导街,也希望大家能關(guān)注他原文地...
    信仰與初衷閱讀 4,734評(píng)論 0 30
  • 午后暖陽,吃完飯后和閨蜜行走在鄉(xiāng)間小路上纤子,路旁邊的銀杏樹落葉散滿地面搬瑰,此景美麗極了。 忽然間閨蜜...
    鍋芳閱讀 327評(píng)論 0 7
  • 1.晶瑩剔透ti.1 2.挑剔ti.1(細(xì)節(jié)上挑選)
    春曉滌生閱讀 353評(píng)論 0 0