MySQL優(yōu)化提高筆記整理概作,來(lái)自于一位鵝廠大佬的筆記

來(lái)自公眾號(hào):非科班的科班
作者黎杜

概述

對(duì)于mysql的優(yōu)化是一個(gè)綜合性的技術(shù)沪袭,sql的優(yōu)化只是其中的一種,其中主要包括

  1. 表的設(shè)計(jì)合理化(符合3大范式)妒御。

  2. 添加索引(index) [普通索引解愤、主鍵索引、唯一索引unique乎莉、全文索引]送讲。

  3. 分表技術(shù)(水平分割、垂直分割)惋啃。

  4. 讀寫(xiě)[寫(xiě): update/delete/add]分離哼鬓。

合理設(shè)計(jì)表

在表的設(shè)計(jì)中一定條件下要滿足三范式,表的范式边灭,是首先符合第一范式, 才能滿足第二范式 , 進(jìn)一步滿足第三范式异希。

第一范式: 即表的列的具有原子性,不可再分解,即列的信息绒瘦,不能分解, 只有數(shù)據(jù)庫(kù)是關(guān)系型數(shù)據(jù)庫(kù)(mysql/oracle/db2/sql server)称簿,就自動(dòng)的滿足第一范式扣癣。

第二范式: 表中的記錄是唯一的, 就滿足第二范式, 通常我們?cè)O(shè)計(jì)一個(gè)主鍵來(lái)實(shí)現(xiàn)。

第三范式: 即表中不要有冗余數(shù)據(jù), 就是說(shuō)予跌,表的信息搏色,如果能夠被推導(dǎo)出來(lái),就不應(yīng)該單獨(dú)的設(shè)計(jì)一個(gè)字段來(lái)存放. 比如下面的設(shè)計(jì)就是不滿足第三范式:

image

表1存在冗余表2的數(shù)據(jù)券册,正常的設(shè)計(jì)都會(huì)設(shè)計(jì)成如下:


image

注意: 反第三范式: 但是沒(méi)有冗余的數(shù)據(jù)庫(kù)未必是最好的數(shù)據(jù)庫(kù)频轿,有時(shí)為了提高運(yùn)行效率,就必須降低范式標(biāo)準(zhǔn)烁焙,適當(dāng)保留冗余數(shù)據(jù)航邢。具體做法是:在概念數(shù)據(jù)模型設(shè)計(jì)時(shí)遵守第三范式,降低范式標(biāo)準(zhǔn)的工作放到物理數(shù)據(jù)模型設(shè)計(jì)時(shí)考慮骄蝇。降低范式就是增加字段膳殷,允許冗余。

在1對(duì)N的情況下九火,為了提高查詢的效率赚窃,是允許部分字段冗余的。

Sql優(yōu)化

Sql的優(yōu)化中岔激,主要是對(duì)字段添加索引勒极,主要包含有這四種索引(主鍵索引/唯一索引/全文索引/普通索引)

1.主鍵索引添加

當(dāng)一張表,把某個(gè)列設(shè)為主鍵的時(shí)候虑鼎,則該列就是主鍵索引,下面的id 列就是主鍵索引

create table user
(id int unsigned primary key auto_increment ,
name varchar(32) not null defaul ‘’);

如果你創(chuàng)建表時(shí)辱匿,沒(méi)有指定主鍵索引,也可以在創(chuàng)建表后炫彩,在添加, 指令:

alter table 表名 add primary key (列名);
//舉例
alter table user add primary key (id);

2.普通索引

一般來(lái)說(shuō)匾七,普通索引的創(chuàng)建,是先創(chuàng)建表江兢,然后在創(chuàng)建普通索引
比如:

create table user(
id int unsigned,
name varchar(32)
)

create index 索引名 on 表 (列1,列名2);

3.創(chuàng)建全文索引

全文索引昨忆,主要是針對(duì)對(duì)文件,文本的檢索, 比如文章, 全文索引針對(duì)MyISAM有用杉允。創(chuàng)建如下:

CREATE TABLE articles (
       id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
       title VARCHAR(200),
       body TEXT,
       FULLTEXT (title,body)
     )engine=myisam charset utf8;

如何使用全文索引:

select * from articles where body like ‘%非科班%’;  //不會(huì)使用到全文索引

// 查看是否使用索引:
explain  select * from articles where body like ‘%非科班%’

// 正確的用法是:
select * from articles where match(title,body) against(‘非科班’); 

說(shuō)明:

  1. 在mysql中fulltext 索引只針對(duì) myisam生效

  2. mysql自己提供的fulltext針對(duì)英文生效->sphinx (coreseek) 技術(shù)處理中文

  3. 使用方法是match(字段名..) against(‘關(guān)鍵字’)

  4. 全文索引一個(gè) 叫 停止詞, 因?yàn)樵谝粋€(gè)文本中扔嵌,創(chuàng)建索引是一個(gè)無(wú)窮大的數(shù),因此夺颤,對(duì)一些常用詞和字符痢缎,就不會(huì)創(chuàng)建,這些詞世澜,稱為停止詞.

4.唯一索引
當(dāng)表的某列被指定為unique約束時(shí)独旷,這列就是一個(gè)唯一索引

// 創(chuàng)建
create table user(id int primary key auto_increment , name varchar(32) unique);

這時(shí), name 列就是一個(gè)唯一索引,unique字段可以為NULL,并可以有多NULL, 但是如果是具體內(nèi)容,則不能重復(fù)嵌洼,主鍵字段案疲,不能為NULL,也不能重復(fù)。

創(chuàng)建唯一索引

create table user(id int primary key auto_increment, name varchar(32));

create unique index 索引名  on 表名 (列表..);

查詢索引

desc 表名  //不能夠顯示索引名
show index(es) from 表名
show keys from 表名

刪除索引

alter table 表名 drop index 索引名; 

//如果刪除主鍵索引麻养。
alter table 表名 drop primary key

索引使用的注意事項(xiàng)

由于索引本身很大褐啡,占用磁盤(pán)空間,對(duì)dml操作有影響鳖昌,變慢备畦,滿足以下條件的字段,才應(yīng)該創(chuàng)建索引许昨。

  1. 肯定在where條經(jīng)常使用

  2. 該字段的內(nèi)容不是唯一的幾個(gè)值

  3. 字段內(nèi)容不是頻繁變化

explain 可以幫助我們?cè)诓徽嬲龍?zhí)行某個(gè)sql語(yǔ)句時(shí)懂盐,就執(zhí)行mysql怎樣執(zhí)行,這樣利用我們?nèi)シ治鰏ql指令糕档。

image
  1. id:查詢的序列號(hào)莉恼。

  2. select_type:查詢類型。

  3. table:查詢表名速那。

  4. type:掃描方式俐银,all表示全表掃描。

  5. possible_keys:可是使用到的索引端仰。

  6. key:實(shí)際使用到的索引悉患。

  7. rows:該sql掃面了多少行。

  8. Extra:sql語(yǔ)句額外的信息榆俺,比如排序方式

sql語(yǔ)句的小技巧

  1. 在使用group by 分組查詢時(shí),默認(rèn)分組后坞淮,還會(huì)排序茴晋,可能會(huì)降低速度,在group by 后面增加 order by null 就可以防止排序回窘。如下圖所示
image
  1. 有些情況下诺擅,可以使用連接來(lái)替代子查詢。因?yàn)槭褂胘oin啡直,MySQL不需要在內(nèi)存中創(chuàng)建臨時(shí)表烁涌。
select * from dept, emp where dept.deptno=emp.deptno; 
// 替換成
select * from dept left join emp on dept.deptno=emp.deptno;  
正確的選擇mysql的存儲(chǔ)引擎

Myisam : 如果表對(duì)事務(wù)要求不高,同時(shí)是以查詢和添加為主的酒觅,我們考慮使用myisam存儲(chǔ)引擎. ,比如 bbs 中的 發(fā)帖表撮执,回復(fù)表。

INNODB : 對(duì)事務(wù)要求高舷丹,保存的數(shù)據(jù)都是重要數(shù)據(jù)抒钱,我們建議使用INNODB,比如訂單表,賬號(hào)表。

image

如果你的數(shù)據(jù)庫(kù)的存儲(chǔ)引擎是myisam,請(qǐng)一定記住要定時(shí)進(jìn)行碎片整理

分表技術(shù)

為什么要分表谋币?
(1) 如果一個(gè)表的每條記錄的內(nèi)容很大仗扬,那么就需要更多的IO操作,如果字段值比較大蕾额,而使用頻率相對(duì)比較低早芭,可以將大字段移到另一張表中,當(dāng)查詢不查大字段的時(shí)候诅蝶,這樣就減少了I/O操作
(2)如果表的數(shù)據(jù)量非常非常大退个,那么查詢就變的比較慢;也就是表的數(shù)據(jù)量影響這查詢的性能秤涩。
(3)表中的數(shù)據(jù)本來(lái)就有獨(dú)立性帜乞,例如分別記錄各個(gè)地區(qū)的數(shù)據(jù)或者不同時(shí)期的數(shù)據(jù),特別是有些數(shù)據(jù)常用筐眷,而另外一些數(shù)據(jù)不常用黎烈。
(4) 分表技術(shù)有(水平分割和垂直分割)

垂直分割

垂直分割是指數(shù)據(jù)表列的拆分,把一張列比較多的表拆分為多張表匀谣。垂直分割一般用于拆分大字段和訪問(wèn)頻率低的字段照棋,分離冷熱數(shù)據(jù)。

垂直分割比較常見(jiàn):例如博客系統(tǒng)中的文章表武翎,比如文章tbl_articles
(id, titile, summary, content, user_id, create_time)烈炭,因?yàn)槲恼轮械膬?nèi)容content會(huì)比較長(zhǎng),放在tbl_articles中會(huì)嚴(yán)重影響表的查詢速度宝恶,所以將內(nèi)容放到tbl_articles_detail(article_id, content)符隙,像文章列表只需要查詢tbl_articles中的字段即可。

垂直拆分的優(yōu)點(diǎn):可以使得行數(shù)據(jù)變小垫毙,在查詢時(shí)減少讀取的Block數(shù)霹疫,減少I(mǎi)/O次數(shù)。此外综芥,垂直分區(qū)可以簡(jiǎn)化表的結(jié)構(gòu)丽蝎,易于維護(hù)。

垂直拆分的缺點(diǎn):主鍵會(huì)出現(xiàn)冗余膀藐,需要管理冗余列屠阻,并會(huì)引起Join操作,可以通過(guò)在應(yīng)用層進(jìn)行Join來(lái)解決额各。此外国觉,垂直分區(qū)會(huì)讓事務(wù)變得更加復(fù)雜。

水平分割

水平拆分是指數(shù)據(jù)表行數(shù)據(jù)的拆分虾啦,表的行數(shù)超過(guò)500萬(wàn)行或者單表容量超過(guò)10GB時(shí)蛉加,查詢就會(huì)變慢蚜枢,這時(shí)可以把一張的表的數(shù)據(jù)拆成多張表來(lái)存放。水平分表盡可能使每張表的數(shù)據(jù)量相當(dāng)针饥,比較均勻厂抽。

水平拆分會(huì)給應(yīng)用增加復(fù)雜度,它通常在查詢是需要多個(gè)表名丁眼,查詢所有數(shù)據(jù)需要union操作筷凤。在許多數(shù)據(jù)庫(kù)應(yīng)用中,這種復(fù)雜性會(huì)超過(guò)它帶來(lái)的優(yōu)點(diǎn)苞七。

因?yàn)橹灰饕P(guān)鍵字不大藐守,則在索引用于查詢時(shí),表中增加2-3倍數(shù)據(jù)量蹂风,查詢時(shí)也就增加讀一個(gè)索引層的磁盤(pán)次數(shù)卢厂,所以水平拆分要考慮數(shù)據(jù)量的增長(zhǎng)速度,根據(jù)實(shí)際情況決定是否需要對(duì)表進(jìn)行水平拆分惠啄。

水平分割最重要的是找到分割的標(biāo)準(zhǔn)慎恒,不同的表應(yīng)根據(jù)業(yè)務(wù)找出不同的標(biāo)準(zhǔn)

  1. 用戶表可以根據(jù)用戶的手機(jī)號(hào)段進(jìn)行分割如user183、user150撵渡、user153融柬、user189等,每個(gè)號(hào)段就是一張表

  2. 用戶表也可以根據(jù)用戶的id進(jìn)行分割趋距,加入分3張表user0,user1,user2粒氧,如果用戶的id%3=0就查詢user0表,
    如果用戶的id%3=1就查詢user1表

  3. 對(duì)于訂單表可以按照訂單的時(shí)間進(jìn)行分表

讀寫(xiě)分離

實(shí)現(xiàn)MySQL讀寫(xiě)分離的前提是我們已經(jīng)將MySQL主從復(fù)制配置完畢节腐,讀寫(xiě)分離實(shí)現(xiàn)方式:
(1)配置多數(shù)據(jù)源外盯。
(2)使用mysql的proxy中間件代理工具。

主從復(fù)制的原理
MySQL的主從復(fù)制和讀寫(xiě)分離兩者有著緊密的聯(lián)系翼雀,首先要部署主從復(fù)制饱苟,只有主從復(fù)制完成了才能在此基礎(chǔ)上進(jìn)行數(shù)據(jù)的讀寫(xiě)分離。

image

讀寫(xiě)分離的原理
讀寫(xiě)分離就是只在主服務(wù)器上寫(xiě)锅纺,只在從服務(wù)器上讀±吲梗基本原理是讓主數(shù)據(jù)庫(kù)處理事務(wù)性查詢囤锉,而從服務(wù)器處理select查詢。數(shù)據(jù)庫(kù)復(fù)制被用來(lái)把事務(wù)性查詢導(dǎo)致的變更同步到從數(shù)據(jù)庫(kù)中护锤。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末官地,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子烙懦,更是在濱河造成了極大的恐慌驱入,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異亏较,居然都是意外死亡莺褒,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)雪情,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)遵岩,“玉大人,你說(shuō)我怎么就攤上這事巡通〕局矗” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵宴凉,是天一觀的道長(zhǎng)誊锭。 經(jīng)常有香客問(wèn)我,道長(zhǎng)弥锄,這世上最難降的妖魔是什么丧靡? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮叉讥,結(jié)果婚禮上窘行,老公的妹妹穿的比我還像新娘。我一直安慰自己图仓,他們只是感情好罐盔,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著救崔,像睡著了一般惶看。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上六孵,一...
    開(kāi)封第一講書(shū)人閱讀 49,829評(píng)論 1 290
  • 那天纬黎,我揣著相機(jī)與錄音,去河邊找鬼劫窒。 笑死本今,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的主巍。 我是一名探鬼主播冠息,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼孕索!你這毒婦竟也來(lái)了逛艰?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤搞旭,失蹤者是張志新(化名)和其女友劉穎散怖,沒(méi)想到半個(gè)月后菇绵,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡镇眷,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年咬最,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片偏灿。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡丹诀,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出翁垂,到底是詐尸還是另有隱情铆遭,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布沿猜,位于F島的核電站枚荣,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏啼肩。R本人自食惡果不足惜橄妆,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望祈坠。 院中可真熱鬧害碾,春花似錦、人聲如沸赦拘。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)躺同。三九已至阁猜,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蹋艺,已是汗流浹背剃袍。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留捎谨,地道東北人民效。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像涛救,于是被迫代替她去往敵國(guó)和親畏邢。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349