一般Web服務(wù)器支持橫向擴(kuò)展铐殃,而數(shù)據(jù)庫服務(wù)器則不支持橫向擴(kuò)展(復(fù)制數(shù)據(jù)會(huì)破壞數(shù)據(jù)庫的一致性和完整性)榕堰。
缺少主從復(fù)制組件的情況下玉控,需手動(dòng)切換主從服務(wù)器,然后主從復(fù)制(主從復(fù)制時(shí)間較長(zhǎng))座每。
QPS:Queries Per Second意思是“每秒查詢率”前鹅,是一臺(tái)服務(wù)器每秒能夠相應(yīng)的查詢次數(shù),是對(duì)一個(gè)特定的查詢服務(wù)器在規(guī)定時(shí)間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn)峭梳。
TPS:是TransactionsPerSecond的縮寫舰绘,也就是事務(wù)數(shù)/秒。它是軟件測(cè)試結(jié)果的測(cè)量單位葱椭。一個(gè)事務(wù)是指一個(gè)客戶機(jī)向服務(wù)器發(fā)送請(qǐng)求然后服務(wù)器做出反應(yīng)的過程捂寿。客戶機(jī)在發(fā)送請(qǐng)求時(shí)開始計(jì)時(shí)孵运,收到服務(wù)器響應(yīng)后結(jié)束計(jì)時(shí)秦陋,以此來計(jì)算使用的時(shí)間和完成的事務(wù)個(gè)數(shù)。
并發(fā)量:同一時(shí)間處理的請(qǐng)求的數(shù)量
同時(shí)連接數(shù):平時(shí)連接數(shù)遠(yuǎn)大于請(qǐng)求數(shù)治笨,大部分都處于sleeping狀態(tài)
磁盤IO:在數(shù)據(jù)中心中驳概,服務(wù)器、網(wǎng)絡(luò)旷赖、存儲(chǔ)這三大核心組件構(gòu)建了整個(gè)數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)抡句。
注意:最好不要在主庫上進(jìn)行數(shù)據(jù)庫備份。
影響數(shù)據(jù)庫性能的因素:
1杠愧,sql查詢速度
2待榔,網(wǎng)卡流量
3,服務(wù)器硬件
4流济,磁盤IO
超高的QPS和TPS
風(fēng)險(xiǎn): 效率低下的SQL
隨著訪問量的增長(zhǎng)锐锣,會(huì)有很高的QPS和TPS,這個(gè)時(shí)候绳瘟,每處理一個(gè)sql語句的時(shí)間就很重要雕憔。很多數(shù)據(jù)庫問題都是慢查詢導(dǎo)致。
大量的并發(fā)和超高的CPU使用率
風(fēng)險(xiǎn):
大量的并發(fā):數(shù)據(jù)庫連接數(shù)被占滿(max_connections默認(rèn)100糖声,生產(chǎn)中改大一些)
連接數(shù)占滿斤彼,可能導(dǎo)致有用的數(shù)據(jù)庫連接無法連接分瘦。
超高的CPU使用率:因CPU資源耗盡而出現(xiàn)宕機(jī)
磁盤IO
風(fēng)險(xiǎn):磁盤IO性能突然下降(使用更快的磁盤設(shè)備)
其他大量消耗磁盤性能的計(jì)劃任務(wù)(調(diào)整計(jì)劃任務(wù),做好磁盤維護(hù))
網(wǎng)卡流量
風(fēng)險(xiǎn):網(wǎng)卡IO被占滿(1000Mb/8≈100MB)
如何避免無法連接數(shù)據(jù)庫的情況:
1琉苇,減少從服務(wù)器的數(shù)量(因?yàn)閺姆?wù)器都要從主服務(wù)器復(fù)制日志嘲玫,從服務(wù)器越多,網(wǎng)絡(luò)流量越大)
2并扇,進(jìn)行分級(jí)緩存
3去团,避免使用“select *”進(jìn)行查詢
4,分離業(yè)務(wù)網(wǎng)絡(luò)和服務(wù)器網(wǎng)絡(luò)
大表帶來的影響
什么樣的表稱之為大表:(相對(duì)而言)
- 記錄函數(shù)巨大穷蛹,單表超過千萬行
- 表數(shù)據(jù)文件巨大土陪,表數(shù)據(jù)文件超過10G
大表對(duì)查詢的影響:
慢查詢:很難在一定時(shí)間內(nèi)過濾出所需要的數(shù)據(jù)
大表對(duì)DDL操作的影響:(DDL操作都是現(xiàn)在主服務(wù)器進(jìn)行,然后通過日志復(fù)制肴熏,然后在從服務(wù)器運(yùn)行)
建立索引需要很長(zhǎng)時(shí)間
風(fēng)險(xiǎn):
MySQL版本<5.5 建立索引會(huì)鎖表
MySQL版本>=5.5雖不會(huì)鎖表但會(huì)引起主從延遲
修改表結(jié)構(gòu)需要長(zhǎng)時(shí)間鎖表
風(fēng)險(xiǎn):
會(huì)造成長(zhǎng)時(shí)間的主從延遲
影響正常的數(shù)據(jù)操作(在主表上進(jìn)行的會(huì)其他操作會(huì)進(jìn)行阻塞)
如何處理數(shù)據(jù)庫中的大表
分庫分表把一張大表分成多個(gè)小表
難點(diǎn):
分表主鍵的選擇
分表后跨分區(qū)數(shù)據(jù)的查詢和統(tǒng)計(jì)
大表的歷史數(shù)據(jù)歸檔減少對(duì)前后端業(yè)務(wù)的影響
難點(diǎn):
歸檔時(shí)間點(diǎn)的選擇
如何進(jìn)行歸檔操作
大事務(wù)帶來的問題
什么是事務(wù)鬼雀?
1,事務(wù)是數(shù)據(jù)庫系統(tǒng)區(qū)別于其他一切文件系統(tǒng)的重要特性之一
2蛙吏,事務(wù)是一組具有原子性的SQL語句源哩,或是一個(gè)獨(dú)立的工作單元。(一條SQL語句或多條SQL語句的組合)
事務(wù)的四個(gè)特性:
- 原子性
- 一致性
- 隔離性
- 持久性
事務(wù)的原子性(ATOMICITY)
定義:一個(gè)書屋必須被事務(wù)一個(gè)不可分割的最小工作單元出刷,整個(gè)事務(wù)中的所有操作要么全部提交完成,要么全部失敗坯辩,對(duì)于一個(gè)事務(wù)來說馁龟,不可能只執(zhí)行其中的一部分操作
事務(wù)的一致性(CONSISTENCY)
定義:一致性是指事務(wù)將數(shù)據(jù)庫從一種一致性狀態(tài)轉(zhuǎn)換到另一種一致性狀態(tài),在事務(wù)開始之前和事務(wù)結(jié)束后數(shù)據(jù)庫中數(shù)據(jù)的完整性沒有被破壞漆魔。
事務(wù)的隔離性(ISOLATION)
定義:隔離性要求一個(gè)事務(wù)對(duì)數(shù)據(jù)庫中數(shù)據(jù)的修改坷檩,在未提交完成前對(duì)于其他事務(wù)是不可見的
SQL標(biāo)準(zhǔn)中定義的四種隔離級(jí)別
如何查看事務(wù)隔離級(jí)別:
mysql> show variables like '%iso%';
+---------------+-----------------+
| Variable_name | Value |
+---------------+-----------------+
| tx_isolation | REPEATABLE-READ |
+---------------+-----------------+
1 row in set, 1 warning (0.40 sec)
如何設(shè)置事務(wù)隔離級(jí)別:
mysql> set session tx_isolation='REPEATABLE-READ';
Query OK, 0 rows affected (0.32 sec)
未提交讀(READ UNCOMMITED)
指的是即使一個(gè)事務(wù)未提交,但是對(duì)數(shù)據(jù)的修改對(duì)其他事務(wù)是能夠被可見的改抡,未提交的數(shù)據(jù)被稱為臟數(shù)據(jù))已提交讀(READ COMMITED)
指的是一個(gè)事務(wù)在未被提交時(shí)矢炼,對(duì)其他事務(wù)是不可見的,只有被提交之后阿纤,才是可見的句灌。可重復(fù)讀(REPEATABLE READ)
指的是對(duì)同一個(gè)事務(wù)中的同一個(gè)數(shù)據(jù)在多次讀取的時(shí)候,結(jié)果是一樣的
不同事務(wù)對(duì)同一張表進(jìn)行操作的時(shí)候欠拾,可重復(fù)讀是不能讀取其他事務(wù)對(duì)表進(jìn)行的操作胰锌,而已提交讀中是可以讀取其他事務(wù)對(duì)表的操作。可串行化(SERIALIZABLE)
串行化會(huì)對(duì)每個(gè)讀取的行上都加鎖藐窄,會(huì)導(dǎo)致大量的鎖超時(shí)和鎖爭(zhēng)用問題资昧。
隔離性由低到高,并發(fā)性是由高到低荆忍。
InnoDB的默認(rèn)隔離級(jí)別是可重復(fù)讀格带。
事務(wù)的持久性(DURABILITY)
定義:一旦事務(wù)被提交撤缴,則其所做的修改就會(huì)永遠(yuǎn)保存到數(shù)據(jù)庫中。此時(shí)叽唱,即使系統(tǒng)崩潰屈呕,已提交的修改數(shù)據(jù)也不會(huì)丟失。
什么是大事務(wù)尔觉?
定義:運(yùn)行時(shí)間長(zhǎng)比較長(zhǎng)凉袱,操作的數(shù)據(jù)比較多的事務(wù)
風(fēng)險(xiǎn):
鎖定太多的數(shù)據(jù),造成大量的阻塞和鎖超時(shí)
回滾時(shí)間所需時(shí)間長(zhǎng)侦铜,回滾的時(shí)候专甩,數(shù)據(jù)同樣是處于鎖定狀態(tài)
執(zhí)行時(shí)間長(zhǎng),容易造成主從延遲
如何處理大事務(wù)钉稍?
1涤躲,避免一次處理太多的數(shù)據(jù)
2,移除不必要在事務(wù)中的SELECT操作(只有必要的寫操作)