數(shù)據(jù)庫架構(gòu)學(xué)習(xí)(一)

一般Web服務(wù)器支持橫向擴(kuò)展铐殃,而數(shù)據(jù)庫服務(wù)器則不支持橫向擴(kuò)展(復(fù)制數(shù)據(jù)會(huì)破壞數(shù)據(jù)庫的一致性和完整性)榕堰。

缺少主從復(fù)制組件的情況下玉控,需手動(dòng)切換主從服務(wù)器,然后主從復(fù)制(主從復(fù)制時(shí)間較長(zhǎng))座每。

QPS:Queries Per Second意思是“每秒查詢率”前鹅,是一臺(tái)服務(wù)器每秒能夠相應(yīng)的查詢次數(shù),是對(duì)一個(gè)特定的查詢服務(wù)器在規(guī)定時(shí)間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn)峭梳。

TPS:是TransactionsPerSecond的縮寫舰绘,也就是事務(wù)數(shù)/秒。它是軟件測(cè)試結(jié)果的測(cè)量單位葱椭。一個(gè)事務(wù)是指一個(gè)客戶機(jī)向服務(wù)器發(fā)送請(qǐng)求然后服務(wù)器做出反應(yīng)的過程捂寿。客戶機(jī)在發(fā)送請(qǐng)求時(shí)開始計(jì)時(shí)孵运,收到服務(wù)器響應(yīng)后結(jié)束計(jì)時(shí)秦陋,以此來計(jì)算使用的時(shí)間和完成的事務(wù)個(gè)數(shù)。

并發(fā)量:同一時(shí)間處理的請(qǐng)求的數(shù)量
同時(shí)連接數(shù):平時(shí)連接數(shù)遠(yuǎn)大于請(qǐng)求數(shù)治笨,大部分都處于sleeping狀態(tài)

磁盤IO:在數(shù)據(jù)中心中驳概,服務(wù)器、網(wǎng)絡(luò)旷赖、存儲(chǔ)這三大核心組件構(gòu)建了整個(gè)數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)抡句。

注意:最好不要在主庫上進(jìn)行數(shù)據(jù)庫備份。


影響數(shù)據(jù)庫性能的因素:
1杠愧,sql查詢速度
2待榔,網(wǎng)卡流量
3,服務(wù)器硬件
4流济,磁盤IO

超高的QPS和TPS

風(fēng)險(xiǎn): 效率低下的SQL
隨著訪問量的增長(zhǎng)锐锣,會(huì)有很高的QPS和TPS,這個(gè)時(shí)候绳瘟,每處理一個(gè)sql語句的時(shí)間就很重要雕憔。很多數(shù)據(jù)庫問題都是慢查詢導(dǎo)致。

大量的并發(fā)和超高的CPU使用率

風(fēng)險(xiǎn):
大量的并發(fā):數(shù)據(jù)庫連接數(shù)被占滿(max_connections默認(rèn)100糖声,生產(chǎn)中改大一些)
連接數(shù)占滿斤彼,可能導(dǎo)致有用的數(shù)據(jù)庫連接無法連接分瘦。
超高的CPU使用率:因CPU資源耗盡而出現(xiàn)宕機(jī)

磁盤IO

風(fēng)險(xiǎn):磁盤IO性能突然下降(使用更快的磁盤設(shè)備)
其他大量消耗磁盤性能的計(jì)劃任務(wù)(調(diào)整計(jì)劃任務(wù),做好磁盤維護(hù))

網(wǎng)卡流量

風(fēng)險(xiǎn):網(wǎng)卡IO被占滿(1000Mb/8≈100MB)
如何避免無法連接數(shù)據(jù)庫的情況:
1琉苇,減少從服務(wù)器的數(shù)量(因?yàn)閺姆?wù)器都要從主服務(wù)器復(fù)制日志嘲玫,從服務(wù)器越多,網(wǎng)絡(luò)流量越大)
2并扇,進(jìn)行分級(jí)緩存
3去团,避免使用“select *”進(jìn)行查詢
4,分離業(yè)務(wù)網(wǎng)絡(luò)和服務(wù)器網(wǎng)絡(luò)


大表帶來的影響

什么樣的表稱之為大表:(相對(duì)而言)

  • 記錄函數(shù)巨大穷蛹,單表超過千萬行
  • 表數(shù)據(jù)文件巨大土陪,表數(shù)據(jù)文件超過10G

大表對(duì)查詢的影響:
慢查詢:很難在一定時(shí)間內(nèi)過濾出所需要的數(shù)據(jù)


大表對(duì)DDL操作的影響:(DDL操作都是現(xiàn)在主服務(wù)器進(jìn)行,然后通過日志復(fù)制肴熏,然后在從服務(wù)器運(yùn)行)
建立索引需要很長(zhǎng)時(shí)間
風(fēng)險(xiǎn):
MySQL版本<5.5 建立索引會(huì)鎖表
MySQL版本>=5.5雖不會(huì)鎖表但會(huì)引起主從延遲

修改表結(jié)構(gòu)需要長(zhǎng)時(shí)間鎖表
風(fēng)險(xiǎn):
會(huì)造成長(zhǎng)時(shí)間的主從延遲
影響正常的數(shù)據(jù)操作(在主表上進(jìn)行的會(huì)其他操作會(huì)進(jìn)行阻塞)


如何處理數(shù)據(jù)庫中的大表

分庫分表把一張大表分成多個(gè)小表
難點(diǎn):
分表主鍵的選擇
分表后跨分區(qū)數(shù)據(jù)的查詢和統(tǒng)計(jì)

大表的歷史數(shù)據(jù)歸檔減少對(duì)前后端業(yè)務(wù)的影響
難點(diǎn):
歸檔時(shí)間點(diǎn)的選擇
如何進(jìn)行歸檔操作


大事務(wù)帶來的問題

什么是事務(wù)鬼雀?

1,事務(wù)是數(shù)據(jù)庫系統(tǒng)區(qū)別于其他一切文件系統(tǒng)的重要特性之一
2蛙吏,事務(wù)是一組具有原子性的SQL語句源哩,或是一個(gè)獨(dú)立的工作單元。(一條SQL語句或多條SQL語句的組合)

事務(wù)的四個(gè)特性:

  • 原子性
  • 一致性
  • 隔離性
  • 持久性

事務(wù)的原子性(ATOMICITY)

定義:一個(gè)書屋必須被事務(wù)一個(gè)不可分割的最小工作單元出刷,整個(gè)事務(wù)中的所有操作要么全部提交完成,要么全部失敗坯辩,對(duì)于一個(gè)事務(wù)來說馁龟,不可能只執(zhí)行其中的一部分操作

事務(wù)的一致性(CONSISTENCY)

定義:一致性是指事務(wù)將數(shù)據(jù)庫從一種一致性狀態(tài)轉(zhuǎn)換到另一種一致性狀態(tài),在事務(wù)開始之前和事務(wù)結(jié)束后數(shù)據(jù)庫中數(shù)據(jù)的完整性沒有被破壞漆魔。

事務(wù)的隔離性(ISOLATION)

定義:隔離性要求一個(gè)事務(wù)對(duì)數(shù)據(jù)庫中數(shù)據(jù)的修改坷檩,在未提交完成前對(duì)于其他事務(wù)是不可見的

SQL標(biāo)準(zhǔn)中定義的四種隔離級(jí)別
如何查看事務(wù)隔離級(jí)別:

mysql> show variables  like '%iso%';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| tx_isolation  | REPEATABLE-READ |
+---------------+-----------------+
1 row in set, 1 warning (0.40 sec)

如何設(shè)置事務(wù)隔離級(jí)別:

mysql> set session tx_isolation='REPEATABLE-READ';
Query OK, 0 rows affected (0.32 sec)
  • 未提交讀(READ UNCOMMITED)
    指的是即使一個(gè)事務(wù)未提交,但是對(duì)數(shù)據(jù)的修改對(duì)其他事務(wù)是能夠被可見的改抡,未提交的數(shù)據(jù)被稱為臟數(shù)據(jù))

  • 已提交讀(READ COMMITED)
    指的是一個(gè)事務(wù)在未被提交時(shí)矢炼,對(duì)其他事務(wù)是不可見的,只有被提交之后阿纤,才是可見的句灌。

  • 可重復(fù)讀(REPEATABLE READ)
    指的是對(duì)同一個(gè)事務(wù)中的同一個(gè)數(shù)據(jù)在多次讀取的時(shí)候,結(jié)果是一樣的
    不同事務(wù)對(duì)同一張表進(jìn)行操作的時(shí)候欠拾,可重復(fù)讀是不能讀取其他事務(wù)對(duì)表進(jìn)行的操作胰锌,而已提交讀中是可以讀取其他事務(wù)對(duì)表的操作。

  • 可串行化(SERIALIZABLE)
    串行化會(huì)對(duì)每個(gè)讀取的行上都加鎖藐窄,會(huì)導(dǎo)致大量的鎖超時(shí)和鎖爭(zhēng)用問題资昧。

隔離性由低到高,并發(fā)性是由高到低荆忍。
InnoDB的默認(rèn)隔離級(jí)別是可重復(fù)讀格带。

事務(wù)的持久性(DURABILITY)

定義:一旦事務(wù)被提交撤缴,則其所做的修改就會(huì)永遠(yuǎn)保存到數(shù)據(jù)庫中。此時(shí)叽唱,即使系統(tǒng)崩潰屈呕,已提交的修改數(shù)據(jù)也不會(huì)丟失。

什么是大事務(wù)尔觉?

定義:運(yùn)行時(shí)間長(zhǎng)比較長(zhǎng)凉袱,操作的數(shù)據(jù)比較多的事務(wù)
風(fēng)險(xiǎn):
鎖定太多的數(shù)據(jù),造成大量的阻塞和鎖超時(shí)
回滾時(shí)間所需時(shí)間長(zhǎng)侦铜,回滾的時(shí)候专甩,數(shù)據(jù)同樣是處于鎖定狀態(tài)
執(zhí)行時(shí)間長(zhǎng),容易造成主從延遲

如何處理大事務(wù)钉稍?

1涤躲,避免一次處理太多的數(shù)據(jù)
2,移除不必要在事務(wù)中的SELECT操作(只有必要的寫操作)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末贡未,一起剝皮案震驚了整個(gè)濱河市种樱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌俊卤,老刑警劉巖嫩挤,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異消恍,居然都是意外死亡岂昭,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門狠怨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來约啊,“玉大人,你說我怎么就攤上這事佣赖∏【兀” “怎么了?”我有些...
    開封第一講書人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵憎蛤,是天一觀的道長(zhǎng)外傅。 經(jīng)常有香客問我,道長(zhǎng)俩檬,這世上最難降的妖魔是什么栏豺? 我笑而不...
    開封第一講書人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮豆胸,結(jié)果婚禮上奥洼,老公的妹妹穿的比我還像新娘。我一直安慰自己晚胡,他們只是感情好灵奖,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開白布嚼沿。 她就那樣靜靜地躺著,像睡著了一般瓷患。 火紅的嫁衣襯著肌膚如雪骡尽。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,488評(píng)論 1 302
  • 那天擅编,我揣著相機(jī)與錄音攀细,去河邊找鬼。 笑死爱态,一個(gè)胖子當(dāng)著我的面吹牛谭贪,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播锦担,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼俭识,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了洞渔?” 一聲冷哼從身側(cè)響起套媚,我...
    開封第一講書人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎磁椒,沒想到半個(gè)月后堤瘤,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡浆熔,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年本辐,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蘸拔。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡师郑,死狀恐怖环葵,靈堂內(nèi)的尸體忽然破棺而出调窍,到底是詐尸還是另有隱情,我是刑警寧澤张遭,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布邓萨,位于F島的核電站,受9級(jí)特大地震影響菊卷,放射性物質(zhì)發(fā)生泄漏缔恳。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一洁闰、第九天 我趴在偏房一處隱蔽的房頂上張望歉甚。 院中可真熱鬧,春花似錦扑眉、人聲如沸纸泄。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽聘裁。三九已至雪营,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間衡便,已是汗流浹背献起。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留镣陕,地道東北人谴餐。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像茁彭,于是被迫代替她去往敵國和親总寒。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容