DevOps實(shí)踐-數(shù)據(jù)庫備份設(shè)計(jì)

DevOps實(shí)踐系列文章,請(qǐng)參見連接识埋。

概述:

在所有的軟件系統(tǒng)中都有數(shù)據(jù)持久化的需求凡伊。而平常我們?cè)谲浖到y(tǒng)中使用最多的方式就是數(shù)據(jù)庫。所以窒舟,就需要對(duì)數(shù)據(jù)庫的可靠性做一些必要的設(shè)計(jì)系忙。以保證之后在項(xiàng)目上線運(yùn)營過程中發(fā)生不可修復(fù)的問題,以此來整體提高軟件系統(tǒng)的整體可靠性惠豺。

隨著軟件行業(yè)的不斷發(fā)展笨觅,行業(yè)中也對(duì)軟件各個(gè)層面上的解決方案都提供了高性能、靠可靠的解決方案「冢現(xiàn)在在數(shù)據(jù)存儲(chǔ)層面也形成了很多解決方案。如:RDBMS的分庫分片技術(shù)杀糯、NoSql的CAP解決方案扫俺、NewSQL技術(shù)、BigTable技術(shù)等固翰。雖然數(shù)據(jù)存儲(chǔ)層也有著層出不窮的存儲(chǔ)技術(shù)狼纬,就像作者之前說的一樣。每項(xiàng)技術(shù)都有它所擅長的方向骂际,都有它的問題解決域疗琉。所以,不是每一項(xiàng)技術(shù)都可以應(yīng)用到所有的場(chǎng)景下歉铝。

針對(duì)業(yè)務(wù)系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)領(lǐng)域盈简,仍然是RDBMS占有著很大的優(yōu)勢(shì)。就算是RDBMS型的數(shù)據(jù)庫也可以再劃分為很多種類型太示。鑒于本文關(guān)系的是數(shù)據(jù)庫的存儲(chǔ)(物理)結(jié)構(gòu)柠贤,從數(shù)據(jù)庫的存儲(chǔ)結(jié)構(gòu)上將數(shù)據(jù)庫分為:內(nèi)存式、文件系統(tǒng)类缤、物理機(jī)臼勉。基本上一個(gè)比較成熟的數(shù)據(jù)庫都是支持這些模式餐弱。

內(nèi)存式 文件系統(tǒng) 物理機(jī)
Oracle TimesTen 本身支持 本身支持
Postgresql 不支持宴霸,支持表空間 本身支持 不支持
Mysql MEMORY存儲(chǔ)引擎 本身支持 InnoDB存儲(chǔ)引擎
Sqlite3 本身支持 本身支持 不支持

數(shù)據(jù)庫使用過程中需要發(fā)揮RDBMS的特點(diǎn)囱晴。在滿足業(yè)務(wù)上的需求的同時(shí),還需要滿足技術(shù)上的瓢谢、運(yùn)維上的很多需求畸写。所以接下來就從數(shù)據(jù)庫設(shè)計(jì)開始一步一步的深入數(shù)據(jù)庫可靠性設(shè)計(jì)的方方面面。

數(shù)據(jù)庫驅(qū)動(dòng)開發(fā):

現(xiàn)在業(yè)界有一種不成文的規(guī)定:在項(xiàng)目沒有發(fā)展到一定階段時(shí)恩闻,開發(fā)模型都會(huì)直接使用數(shù)據(jù)庫驅(qū)動(dòng)開發(fā)艺糜。然后在到達(dá)一定階段之后,再進(jìn)行重構(gòu)幢尚。
這里對(duì)數(shù)據(jù)庫驅(qū)動(dòng)開發(fā)的軟件過程或思維模式的指導(dǎo)下破停,簡單的對(duì)項(xiàng)目的實(shí)施過程進(jìn)行一下闡述:

  1. 根據(jù)業(yè)務(wù)分析出數(shù)據(jù)庫邏輯結(jié)構(gòu);
  2. \color{#FF00FF}{設(shè)計(jì)數(shù)據(jù)庫的運(yùn)維方法}尉剩;
    • 規(guī)劃數(shù)據(jù)庫容量真慢,并發(fā)量
    • 設(shè)計(jì)數(shù)據(jù)庫物理存儲(chǔ)結(jié)構(gòu)
    • 設(shè)計(jì)容災(zāi)與備份方案
  3. 開發(fā)、測(cè)試理茎、部署之后即可交付黑界。

數(shù)據(jù)庫驅(qū)動(dòng)開發(fā)模式是對(duì)軟件無知狀態(tài)下的一種探索。它忽略了前期皂林、中期朗鸠、后期的很多分析與度量的內(nèi)容。并且省略了上面的第二條础倍。而且根據(jù)作者在之后會(huì)介紹倉庫系統(tǒng)及知識(shí)庫架構(gòu)模式中的指導(dǎo):可以將數(shù)據(jù)庫作為以一個(gè)知識(shí)庫烛占。也不會(huì)進(jìn)行提前的風(fēng)險(xiǎn)評(píng)估。知識(shí)庫是用來在不同的業(yè)務(wù)或者服務(wù)間共享知識(shí)與數(shù)據(jù)沟启。所以忆家,這里并不是推薦這種開發(fā)模式,并請(qǐng)盡量不要使用數(shù)據(jù)庫驅(qū)動(dòng)開發(fā)模式德迹。

數(shù)據(jù)庫設(shè)計(jì):

數(shù)據(jù)庫設(shè)計(jì)一般可以分為:概念結(jié)構(gòu)設(shè)計(jì)芽卿、邏輯結(jié)構(gòu)設(shè)計(jì)、物理結(jié)構(gòu)設(shè)計(jì)胳搞。概念結(jié)構(gòu)設(shè)計(jì)是將業(yè)務(wù)轉(zhuǎn)化為數(shù)據(jù)庫中結(jié)構(gòu)的一個(gè)過程卸例。邏輯結(jié)構(gòu)設(shè)計(jì)是根據(jù)概念結(jié)構(gòu)設(shè)計(jì)中的E-R圖,具體的將實(shí)體關(guān)系肌毅,數(shù)據(jù)格式定義出來币厕。物理結(jié)構(gòu)設(shè)計(jì)是確定邏輯層的數(shù)據(jù)存儲(chǔ)在什么樣的硬件上,怎樣存儲(chǔ)在硬件上芽腾。

我們這里更關(guān)心物理結(jié)構(gòu)設(shè)計(jì)旦装。第一步是需要知道業(yè)務(wù)中的非功能需求。非功能需求可以評(píng)估出數(shù)據(jù)庫的容量摊滔,并發(fā)量阴绢,數(shù)據(jù)類型等等信息店乐。然后根據(jù)這些信息在進(jìn)行下一步的設(shè)計(jì)工作。設(shè)計(jì)工作中要考慮的內(nèi)容有:

  1. 數(shù)據(jù)庫的存儲(chǔ)容量是否能夠容納呻袭,是否需要進(jìn)行分庫眨八,分表操作。
  2. 是讀頻繁型左电,還是寫頻繁型廉侧,還是都頻繁型?
  3. 數(shù)據(jù)庫對(duì)數(shù)據(jù)寫入到查詢出的時(shí)延要求篓足?
  4. 是否允許進(jìn)行讀寫分離設(shè)計(jì)段誊?
  5. 數(shù)據(jù)庫是否允許冷備,還是只可以進(jìn)行熱備或者變形方案栈拖?
  6. 數(shù)據(jù)庫可以接受的備份方式:全量備份连舍,增量備份(日志備份,差異備份)涩哟,不備份索赏?
  7. 數(shù)據(jù)庫恢復(fù)時(shí)允許丟失的數(shù)據(jù)的要求?
  8. 數(shù)據(jù)庫運(yùn)維監(jiān)控贴彼、容量監(jiān)控潜腻、負(fù)載監(jiān)控、熱數(shù)據(jù)加速器仗、死鎖檢測(cè)融涣。
  9. 數(shù)據(jù)庫恢復(fù)設(shè)計(jì)∏嘧疲恢復(fù)時(shí)間要求?恢復(fù)到的環(huán)境的要求妓盲?

在設(shè)計(jì)過程中還需要考慮數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)的價(jià)值以及對(duì)于維護(hù)數(shù)據(jù)庫可用杂拨、可靠的投入之間的投入產(chǎn)出比。因?yàn)橐粋€(gè)完備的數(shù)據(jù)庫設(shè)計(jì)可能成本會(huì)非常高悯衬。而對(duì)于一個(gè)小型的網(wǎng)頁應(yīng)用來看弹沽,不必要做的很完善。

并且因?yàn)閿?shù)據(jù)庫的備份工作一般情況下還是需要人員參與的筋粗,所以也需要制定一套完善的數(shù)據(jù)庫操作規(guī)范策橘。以防止在人為參與的情況下造成數(shù)據(jù)的丟失與不一致。并且需要設(shè)計(jì)一套完整的自動(dòng)化數(shù)據(jù)庫運(yùn)維過程娜亿。

備份設(shè)計(jì):

數(shù)據(jù)庫的備份需要從下圖中的幾個(gè)方面進(jìn)行考慮丽已。但在每個(gè)產(chǎn)品/項(xiàng)目中數(shù)據(jù)庫的使用設(shè)計(jì)都是不盡興同的,所以买决,對(duì)數(shù)據(jù)庫的備份方面的設(shè)計(jì)還是要與使用設(shè)計(jì)相結(jié)合沛婴。這里只介紹備份設(shè)計(jì)中需要考慮的內(nèi)容吼畏。

數(shù)據(jù)庫備份設(shè)計(jì)

下面逐層介紹需要注意的內(nèi)容:

  1. 邏輯結(jié)構(gòu)層:
    • 邏輯結(jié)構(gòu)中是否可以進(jìn)行讀寫分離時(shí)的部分表的備份,即是否有外鍵關(guān)系嘁灯,表中的數(shù)據(jù)是否可以進(jìn)行單獨(dú)的導(dǎo)入導(dǎo)出操作泻蚊。
    • 數(shù)據(jù)索引是否與具體的存儲(chǔ)結(jié)構(gòu)和索引方式有關(guān)。如果有關(guān)需要將這些元數(shù)據(jù)一并保存丑婿。
    • 數(shù)據(jù)庫中的存儲(chǔ)過程性雄,觸發(fā)器是否與表空間、邏輯數(shù)據(jù)庫有關(guān)羹奉。
    • 數(shù)據(jù)備份時(shí)使用鎖表秒旋,還是停機(jī)的方式進(jìn)行備份?
  2. 中間件
    • 中間件中的分片策略是否與具體的數(shù)據(jù)庫有關(guān)尘奏,是否可以在中間上替換數(shù)據(jù)庫實(shí)例滩褥?
    • 向中間件中新添加數(shù)據(jù)庫實(shí)例時(shí),分片策略是否需要變更炫加?
  3. 內(nèi)存
    • 表數(shù)據(jù)怎樣被加載到內(nèi)存中瑰煎?
    • 是否有內(nèi)存表的創(chuàng)建?內(nèi)存表是否需要進(jìn)行備份?
  4. 計(jì)算
    • 計(jì)算是在磁盤上的數(shù)據(jù)中進(jìn)行的還是在內(nèi)存上的數(shù)據(jù)中進(jìn)行的俗孝?
    • 是否有預(yù)處理酒甸、預(yù)計(jì)算結(jié)果保存表,每次備份重新計(jì)算還是直接保存預(yù)計(jì)算結(jié)果赋铝?
  5. 裸設(shè)備
    • 裸設(shè)備上的數(shù)據(jù)是否有工具可以備份成文件形式插勤?并有工具可以恢復(fù)回去
    • 裸設(shè)備導(dǎo)出與導(dǎo)入的速度?
  6. 自動(dòng)化
    • 盡量的減少人工操作的內(nèi)容革骨,減少因?yàn)槿斯氲腻e(cuò)誤农尖。
  7. 規(guī)范流程
    • 數(shù)據(jù)遷移工具的使用規(guī)范
    • 數(shù)據(jù)備份過程規(guī)范
    • 數(shù)據(jù)備份存儲(chǔ)規(guī)范
    • 數(shù)據(jù)備份恢復(fù)規(guī)范

參照:

關(guān)于開發(fā)方法可以參照:TDD,ATDD良哲,BDD盛卡,DDD,MDSD筑凫。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末滑沧,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子巍实,更是在濱河造成了極大的恐慌滓技,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,039評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件棚潦,死亡現(xiàn)場(chǎng)離奇詭異令漂,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門洗显,熙熙樓的掌柜王于貴愁眉苦臉地迎上來外潜,“玉大人,你說我怎么就攤上這事挠唆〈” “怎么了?”我有些...
    開封第一講書人閱讀 165,417評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵玄组,是天一觀的道長滔驾。 經(jīng)常有香客問我,道長俄讹,這世上最難降的妖魔是什么哆致? 我笑而不...
    開封第一講書人閱讀 58,868評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮患膛,結(jié)果婚禮上摊阀,老公的妹妹穿的比我還像新娘。我一直安慰自己踪蹬,他們只是感情好胞此,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,892評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著跃捣,像睡著了一般漱牵。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上疚漆,一...
    開封第一講書人閱讀 51,692評(píng)論 1 305
  • 那天酣胀,我揣著相機(jī)與錄音,去河邊找鬼娶聘。 笑死闻镶,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的丸升。 我是一名探鬼主播铆农,決...
    沈念sama閱讀 40,416評(píng)論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼发钝!你這毒婦竟也來了顿涣?” 一聲冷哼從身側(cè)響起波闹,我...
    開封第一講書人閱讀 39,326評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤酝豪,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后精堕,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體孵淘,經(jīng)...
    沈念sama閱讀 45,782評(píng)論 1 316
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,957評(píng)論 3 337
  • 正文 我和宋清朗相戀三年歹篓,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了瘫证。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片揉阎。...
    茶點(diǎn)故事閱讀 40,102評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖背捌,靈堂內(nèi)的尸體忽然破棺而出毙籽,到底是詐尸還是另有隱情,我是刑警寧澤毡庆,帶...
    沈念sama閱讀 35,790評(píng)論 5 346
  • 正文 年R本政府宣布坑赡,位于F島的核電站,受9級(jí)特大地震影響么抗,放射性物質(zhì)發(fā)生泄漏毅否。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,442評(píng)論 3 331
  • 文/蒙蒙 一蝇刀、第九天 我趴在偏房一處隱蔽的房頂上張望螟加。 院中可真熱鬧,春花似錦吞琐、人聲如沸捆探。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽徐许。三九已至,卻和暖如春卒蘸,著一層夾襖步出監(jiān)牢的瞬間雌隅,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評(píng)論 1 272
  • 我被黑心中介騙來泰國打工缸沃, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留恰起,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,332評(píng)論 3 373
  • 正文 我出身青樓趾牧,卻偏偏與公主長得像检盼,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子翘单,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,044評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 第三章 數(shù)據(jù)庫系統(tǒng) 3.1 數(shù)據(jù)庫管理系統(tǒng)的類型 通常有多個(gè)分類標(biāo)準(zhǔn)吨枉。如按數(shù)據(jù)模型分類、按用戶數(shù)分類哄芜、按數(shù)據(jù)庫分布...
    步積閱讀 2,708評(píng)論 0 7
  • ORA-00001: 違反唯一約束條件 (.) 錯(cuò)誤說明:當(dāng)在唯一索引所對(duì)應(yīng)的列上鍵入重復(fù)值時(shí)貌亭,會(huì)觸發(fā)此異常。 O...
    我想起個(gè)好名字閱讀 5,320評(píng)論 0 9
  • 【什么是大數(shù)據(jù)认臊、大數(shù)據(jù)技術(shù)】 大數(shù)據(jù)圃庭,又稱巨量資料,指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無法在合理時(shí)間內(nèi)通過傳統(tǒng)的應(yīng)...
    kimibob閱讀 2,745評(píng)論 0 51
  • 今天看到一位朋友寫的mysql筆記總結(jié),覺得寫的很詳細(xì)很用心剧腻,這里轉(zhuǎn)載一下拘央,供大家參考下,也希望大家能關(guān)注他原文地...
    信仰與初衷閱讀 4,734評(píng)論 0 30
  • 在這里书在,希望喜歡它的人一起每日感悟人生哲理灰伟,為你的生活多一點(diǎn)改變。 1儒旬、特立獨(dú)行的風(fēng)格袱箱,是思想美麗的衣裳。 2义矛、自...
    林窗鯨落閱讀 210評(píng)論 0 0