(轉(zhuǎn))數(shù)據(jù)架構(gòu)實踐簡介

數(shù)據(jù)架構(gòu)實踐簡介

數(shù)據(jù)架構(gòu)應(yīng)該是面向業(yè)務(wù)的數(shù)據(jù)定義、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)分析城须、數(shù)據(jù)使用的整體架構(gòu)。

從數(shù)據(jù)生命周期來看米苹,目前主要涉及到三種角色:

開發(fā)DBA:負責(zé)研發(fā)項目的數(shù)據(jù)庫支持糕伐,包括數(shù)據(jù)庫設(shè)計、SQL審核及優(yōu)化蘸嘶。

運維DBA:負責(zé)線上數(shù)據(jù)庫的日常運維良瞧,包括數(shù)據(jù)庫部署、備份训唱、監(jiān)控褥蚯、變更及故障處理。

數(shù)據(jù)倉庫:負責(zé)離線數(shù)據(jù)的抽取况增、建模赞庶、分析、挖掘等澳骤。 當(dāng)然歧强,所有DBA還得共同為線上數(shù)據(jù)庫的可用性、擴展性为肮、高性能負責(zé)摊册。

數(shù)據(jù)架構(gòu)的工作主線,是要從開發(fā)源頭規(guī)劃控制數(shù)據(jù)邏輯架構(gòu)和物理架構(gòu)

邏輯架構(gòu):主導(dǎo)數(shù)據(jù)建模颊艳,制定并推行數(shù)據(jù)標(biāo)準(zhǔn)丧靡,控制數(shù)據(jù)質(zhì)量,主數(shù)據(jù)管理籽暇。

物理架構(gòu):數(shù)據(jù)庫架構(gòu),數(shù)據(jù)庫性能饭庞、容量戒悠、可用性方案規(guī)劃及實施,偏重于前端業(yè)務(wù)舟山,和應(yīng)用绸狐、中間件結(jié)合卤恳。

數(shù)據(jù)架構(gòu)的工作實踐

1. 流程規(guī)范

數(shù)據(jù)架構(gòu)的流程規(guī)范主要目的是保證對研發(fā)項目的提前介入和數(shù)據(jù)庫方面的管控,數(shù)據(jù)庫管控主要包含兩部分:

數(shù)據(jù)庫環(huán)境的統(tǒng)一管理:不僅僅是線上數(shù)據(jù)庫環(huán)境需要由DBA來統(tǒng)一管理寒矿,線下環(huán)境也同樣需要交由DBA管理突琳,這個是一切的基礎(chǔ)。

數(shù)據(jù)庫變更的統(tǒng)一控制:在數(shù)據(jù)庫環(huán)境統(tǒng)一管理的基礎(chǔ)上符相,所有數(shù)據(jù)庫(線上拆融、線下)的數(shù)據(jù)庫變更由DBA統(tǒng)一進行。 通過對數(shù)據(jù)庫的管控啊终,在開發(fā)測試階段即可以將數(shù)據(jù)庫方面的設(shè)計和評審進行收口镜豹,保證數(shù)據(jù)庫設(shè)計的合理性,保障項目上線后的SQL性能蓝牲。 研發(fā)項目的介入則需要有相應(yīng)的研發(fā)項目流程支持趟脂,需要有明確定義的立項、開發(fā)例衍、測試昔期、上線的里程碑和評審會議,并且保證通知到相關(guān)人員參與佛玄,具體的流程節(jié)點可以根據(jù)實際情況有所調(diào)整硼一。

當(dāng)然,在當(dāng)前敏捷開發(fā)的趨勢下翎嫡,要盡量將數(shù)據(jù)庫管控對應(yīng)用開發(fā)的影響降到最低欠动,需要有相應(yīng)的工具平臺對流程規(guī)范進行支持:

變更平臺:數(shù)據(jù)庫變更提交、審核與執(zhí)行流程惑申。

自助審核平臺:數(shù)據(jù)庫SQL(DDL具伍、查詢SQL)的自助審核。

2. 數(shù)據(jù)治理

數(shù)據(jù)治理是一個關(guān)注于管理信息的質(zhì)量圈驼、一致性人芽、可用性、安全性和可得性的過程绩脆。這個過程與數(shù)據(jù)的管理職責(zé)緊密相關(guān)萤厅。數(shù)據(jù)治理主要包含四方面內(nèi)容:

數(shù)據(jù)標(biāo)準(zhǔn):對分散在各系統(tǒng)中的數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)命名、數(shù)據(jù)定義靴迫、數(shù)據(jù)類型惕味、賦值規(guī)則等的定義基準(zhǔn)。

數(shù)據(jù)質(zhì)量:對支持業(yè)務(wù)需求的數(shù)據(jù)進行全面質(zhì)量管理玉锌,通過數(shù)據(jù)質(zhì)量相關(guān)管理辦法名挥、組織、流程主守、評價考核規(guī)則的制定禀倔,及時發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問 題榄融,提升數(shù)據(jù)的完整性、及時性救湖、準(zhǔn)確性及一致性愧杯,提升業(yè)務(wù)價值。

元數(shù)據(jù):關(guān)于數(shù)據(jù)的數(shù)據(jù)鞋既,用以描述數(shù)據(jù)及其環(huán)境的結(jié)構(gòu)化信息力九,便于查找、理解涛救、使用和管理數(shù)據(jù)畏邢。

主數(shù)據(jù):用來描述企業(yè)核心業(yè)務(wù)實體的數(shù)據(jù),比如客戶检吆、合作伙伴舒萎、員工、產(chǎn)品蹭沛、物料單臂寝、賬戶等;它是具有高業(yè)務(wù)價值的摊灭、可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)咆贬。 數(shù)據(jù)標(biāo)準(zhǔn)通俗理解就是要建立數(shù)據(jù)對象(表、列帚呼、域)的統(tǒng)一命名規(guī)則掏缎,和數(shù)據(jù)庫命名規(guī)范有點類似,不同的是數(shù)據(jù)庫命名規(guī)范更偏向于數(shù)據(jù)庫維護的視角煤杀,數(shù)據(jù)標(biāo)準(zhǔn)更偏向于數(shù)據(jù)模型設(shè)計的視角眷蜈。數(shù)據(jù)標(biāo)準(zhǔn)主要包括以下兩部分內(nèi)容:

數(shù)據(jù)標(biāo)準(zhǔn)的制定:包括標(biāo)準(zhǔn)單詞、標(biāo)準(zhǔn)域沈自、標(biāo)準(zhǔn)用語詞典的制定酌儒。

數(shù)據(jù)標(biāo)準(zhǔn)變更流程:數(shù)據(jù)標(biāo)準(zhǔn)的新增和修改管控流程和平臺。 要做好數(shù)據(jù)標(biāo)準(zhǔn)的管控工作枯途,同樣需要有相應(yīng)的工具進行支持:

數(shù)據(jù)建模平臺:與PL/SQL Developer等數(shù)據(jù)庫客戶端軟件類似忌怎,提供界面化的建表操作功能,所不同的是將數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)庫規(guī)范的規(guī)則內(nèi)嵌在數(shù)據(jù)建模平臺中酪夷。

數(shù)據(jù)標(biāo)準(zhǔn)管控平臺:數(shù)據(jù)標(biāo)準(zhǔn)的維護和新增管理榴啸。

<wbr>

<wbr>

數(shù)據(jù)架構(gòu)的挑戰(zhàn)

數(shù)據(jù)架構(gòu)工作目前的困難和挑戰(zhàn):

行業(yè)環(huán)境上

對數(shù)據(jù)架構(gòu)重要性認識不足,當(dāng)然也與IT產(chǎn)業(yè)的當(dāng)前發(fā)展階段有關(guān)晚岭。

專業(yè)崗位和人才較少插掂,傳統(tǒng)的DBA并不都可以或者愿意從事數(shù)據(jù)架構(gòu)的工作。

重物理架構(gòu)輕邏輯架構(gòu),數(shù)據(jù)模型的設(shè)計合理性不太受關(guān)注辅甥。

工作模式上

數(shù)據(jù)架構(gòu)在敏捷開發(fā)流程中如何較好地實施,敏捷開發(fā)往往會要求流程和評審越少越好(當(dāng)然不一定正確)燎竖,而數(shù)據(jù)架構(gòu)需要通過一些流程規(guī)范介入和指導(dǎo)研發(fā)中的數(shù)據(jù)庫相關(guān)工作璃弄。

業(yè)務(wù)需求與數(shù)據(jù)架構(gòu)需求資源沖突,數(shù)據(jù)架構(gòu)需求有時只能為業(yè)務(wù)需求讓路构回。

數(shù)據(jù)架構(gòu)是一項系統(tǒng)工程夏块,需要上層領(lǐng)導(dǎo)的鼎力支持,也需要兄弟部門的全力配合纤掸,才可能取得一定的成果脐供。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市借跪,隨后出現(xiàn)的幾起案子政己,更是在濱河造成了極大的恐慌,老刑警劉巖掏愁,帶你破解...
    沈念sama閱讀 211,743評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件歇由,死亡現(xiàn)場離奇詭異,居然都是意外死亡果港,警方通過查閱死者的電腦和手機沦泌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來辛掠,“玉大人谢谦,你說我怎么就攤上這事÷荞茫” “怎么了回挽?”我有些...
    開封第一講書人閱讀 157,285評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長欠气。 經(jīng)常有香客問我厅各,道長,這世上最難降的妖魔是什么预柒? 我笑而不...
    開封第一講書人閱讀 56,485評論 1 283
  • 正文 為了忘掉前任队塘,我火速辦了婚禮,結(jié)果婚禮上宜鸯,老公的妹妹穿的比我還像新娘憔古。我一直安慰自己,他們只是感情好淋袖,可當(dāng)我...
    茶點故事閱讀 65,581評論 6 386
  • 文/花漫 我一把揭開白布鸿市。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪焰情。 梳的紋絲不亂的頭發(fā)上陌凳,一...
    開封第一講書人閱讀 49,821評論 1 290
  • 那天,我揣著相機與錄音内舟,去河邊找鬼合敦。 笑死,一個胖子當(dāng)著我的面吹牛验游,可吹牛的內(nèi)容都是我干的充岛。 我是一名探鬼主播,決...
    沈念sama閱讀 38,960評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼耕蝉,長吁一口氣:“原來是場噩夢啊……” “哼崔梗!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起垒在,我...
    開封第一講書人閱讀 37,719評論 0 266
  • 序言:老撾萬榮一對情侶失蹤蒜魄,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后爪膊,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體权悟,經(jīng)...
    沈念sama閱讀 44,186評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,516評論 2 327
  • 正文 我和宋清朗相戀三年推盛,在試婚紗的時候發(fā)現(xiàn)自己被綠了峦阁。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,650評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡耘成,死狀恐怖榔昔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情瘪菌,我是刑警寧澤撒会,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站师妙,受9級特大地震影響诵肛,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜默穴,卻給世界環(huán)境...
    茶點故事閱讀 39,936評論 3 313
  • 文/蒙蒙 一怔檩、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蓄诽,春花似錦薛训、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽闸英。三九已至,卻和暖如春介袜,著一層夾襖步出監(jiān)牢的瞬間甫何,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評論 1 266
  • 我被黑心中介騙來泰國打工米酬, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留沛豌,地道東北人。 一個月前我還...
    沈念sama閱讀 46,370評論 2 360
  • 正文 我出身青樓赃额,卻偏偏與公主長得像,于是被迫代替她去往敵國和親叫确。 傳聞我的和親對象是個殘疾皇子跳芳,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,527評論 2 349

推薦閱讀更多精彩內(nèi)容