問(wèn)題概述

使用阿里云rds for MySQL數(shù)據(jù)庫(kù)（就是MySQL5.6版本），有個(gè)用戶上網(wǎng)記錄表6個(gè)月的數(shù)據(jù)量近2000萬(wàn)庐船，保留最近一年的數(shù)據(jù)量達(dá)到4000萬(wàn)银酬，查詢速度極慢，日晨鹬樱卡死氨距。嚴(yán)重影響業(yè)務(wù)霎桅。

問(wèn)題前提：老系統(tǒng)，當(dāng)時(shí)設(shè)計(jì)系統(tǒng)的人大概是大學(xué)沒(méi)畢業(yè)，表設(shè)計(jì)和sql語(yǔ)句寫的不僅僅是垃圾预鬓，簡(jiǎn)直無(wú)法直視蕴侧。原開發(fā)人員都已離職府蛇，到我來(lái)維護(hù)腺怯，這就是傳說(shuō)中的維護(hù)不了就跑路，然后我就是掉坑的那個(gè)７谈８玖狻！

我嘗試解決該問(wèn)題，so恶耽，有個(gè)這個(gè)日志密任。

方案概述

方案一：優(yōu)化現(xiàn)有mysql數(shù)據(jù)庫(kù)。優(yōu)點(diǎn)：不影響現(xiàn)有業(yè)務(wù)偷俭，源程序不需要修改代碼浪讳，成本最低。缺點(diǎn)：有優(yōu)化瓶頸涌萤，數(shù)據(jù)量過(guò)億就玩完了淹遵。

方案二：升級(jí)數(shù)據(jù)庫(kù)類型，換一種100%兼容mysql的數(shù)據(jù)庫(kù)负溪。優(yōu)點(diǎn)：不影響現(xiàn)有業(yè)務(wù)透揣，源程序不需要修改代碼，你幾乎不需要做任何操作就能提升數(shù)據(jù)庫(kù)性能川抡，缺點(diǎn)：多花錢

方案三：一步到位辐真，大數(shù)據(jù)解決方案，更換newsql/nosql數(shù)據(jù)庫(kù)崖堤。優(yōu)點(diǎn)：擴(kuò)展性強(qiáng)侍咱，成本低，沒(méi)有數(shù)據(jù)容量瓶頸密幔，缺點(diǎn)：需要修改源程序代碼

以上三種方案楔脯，按順序使用即可，數(shù)據(jù)量在億級(jí)別一下的沒(méi)必要換nosql胯甩，開發(fā)成本太高昧廷。三種方案我都試了一遍，而且都形成了落地解決方案偎箫。該過(guò)程心中慰問(wèn)跑路的那幾個(gè)開發(fā)者一萬(wàn)遍 :)

方案一詳細(xì)說(shuō)明：優(yōu)化現(xiàn)有mysql數(shù)據(jù)庫(kù)

跟阿里云數(shù)據(jù)庫(kù)大佬電話溝通 and Google解決方案 and 問(wèn)群里大佬木柬，總結(jié)如下（都是精華）：

1.數(shù)據(jù)庫(kù)設(shè)計(jì)和表創(chuàng)建時(shí)就要考慮性能

2.sql的編寫需要注意優(yōu)化

3.分區(qū)

4.分表

5.分庫(kù)

1.數(shù)據(jù)庫(kù)設(shè)計(jì)和表創(chuàng)建時(shí)就要考慮性能

mysql數(shù)據(jù)庫(kù)本身高度靈活，造成性能不足镜廉，嚴(yán)重依賴開發(fā)人員能力弄诲。也就是說(shuō)開發(fā)人員能力高愚战，則mysql性能高娇唯。這也是很多關(guān)系型數(shù)據(jù)庫(kù)的通病，所以公司的dba通常工資巨高寂玲。

設(shè)計(jì)表時(shí)要注意：

1.表字段避免null值出現(xiàn)塔插，null值很難查詢優(yōu)化且占用額外的索引空間，推薦默認(rèn)數(shù)字0代替null拓哟。

2.盡量使用INT而非BIGINT想许，如果非負(fù)則加上UNSIGNED（這樣數(shù)值容量會(huì)擴(kuò)大一倍），當(dāng)然能使用TINYINT、SMALLINT流纹、MEDIUM_INT更好糜烹。

3.使用枚舉或整數(shù)代替字符串類型

4.盡量使用TIMESTAMP而非DATETIME

5.單表不要有太多字段，建議在20以內(nèi)

6.用整型來(lái)存IP

索引

1.索引并不是越多越好漱凝，要根據(jù)查詢有針對(duì)性的創(chuàng)建疮蹦，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據(jù)EXPLAIN來(lái)查看是否用了索引還是全表掃描

2.應(yīng)盡量避免在WHERE子句中對(duì)字段進(jìn)行NULL值判斷茸炒，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描

3.值分布很稀少的字段不適合建索引愕乎，例如"性別"這種只有兩三個(gè)值的字段

4.字符字段只建前綴索引

5.字符字段最好不要做主鍵

6.不用外鍵，由程序保證約束

7.盡量不用UNIQUE壁公，由程序保證約束

8.使用多列索引時(shí)主意順序和查詢條件保持一致感论，同時(shí)刪除不必要的單列索引

簡(jiǎn)言之就是使用合適的數(shù)據(jù)類型，選擇合適的索引

選擇合適的數(shù)據(jù)類型?

（1）使用可存下數(shù)據(jù)的最小的數(shù)據(jù)類型紊册，整型 < date,time < char,varchar < blob?

（2）使用簡(jiǎn)單的數(shù)據(jù)類型比肄，整型比字符處理開銷更小，因?yàn)樽址谋容^更復(fù)雜囊陡。如薪前，int類型存儲(chǔ)時(shí)間類型，bigint類型轉(zhuǎn)ip函數(shù)?

（3）使用合理的字段屬性長(zhǎng)度关斜，固定長(zhǎng)度的表會(huì)更快示括。使用enum、char而不是varchar?

（4）盡可能使用not null定義字段?

（5）盡量少用text痢畜，非用不可最好分表 # 選擇合適的索引列?

（1）查詢頻繁的列垛膝，在where，group by丁稀，order by吼拥，on從句中出現(xiàn)的列?

（2）where條件中<，<=线衫，=凿可，>，>=授账，between枯跑，in，以及l(fā)ike 字符串+通配符（%）出現(xiàn)的列?

（3）長(zhǎng)度小的列白热，索引字段越小越好敛助，因?yàn)閿?shù)據(jù)庫(kù)的存儲(chǔ)單位是頁(yè)，一頁(yè)中能存下的數(shù)據(jù)越多越好?

（4）離散度大（不同的值多）的列屋确，放在聯(lián)合索引前面纳击。查看離散度续扔，通過(guò)統(tǒng)計(jì)不同的列值來(lái)實(shí)現(xiàn)，count越大焕数，離散程度越高：

原開發(fā)人員已經(jīng)跑路纱昧，該表早已建立，我無(wú)法修改堡赔，故：該措辭無(wú)法執(zhí)行砌些，放棄！

2.sql的編寫需要注意優(yōu)化

1.使用limit對(duì)查詢結(jié)果的記錄進(jìn)行限定

2.避免select *加匈，將需要查找的字段列出來(lái)

3.使用連接（join）來(lái)代替子查詢

4.拆分大的delete或insert語(yǔ)句

5.可通過(guò)開啟慢查詢?nèi)罩緛?lái)找出較慢的SQL

6.不做列運(yùn)算：SELECT id WHERE age + 1 = 10存璃，任何對(duì)列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫(kù)教程函數(shù)雕拼、計(jì)算表達(dá)式等等纵东，查詢時(shí)要盡可能將操作移至等號(hào)右邊

7.sql語(yǔ)句盡可能簡(jiǎn)單：一條sql只能在一個(gè)cpu運(yùn)算；大語(yǔ)句拆小語(yǔ)句啥寇，減少鎖時(shí)間偎球；一條大sql可以堵死整個(gè)庫(kù)

8.OR改寫成IN：OR的效率是n級(jí)別，IN的效率是log(n)級(jí)別辑甜，in的個(gè)數(shù)建議控制在200以內(nèi)

9.不用函數(shù)和觸發(fā)器衰絮，在應(yīng)用程序?qū)崿F(xiàn)

10.避免%xxx式查詢

11.少用JOIN

12.使用同類型進(jìn)行比較，比如用'123'和'123'比磷醋，123和123比

13.盡量避免在WHERE子句中使用!=或<>操作符猫牡，否則將引擎放棄使用索引而進(jìn)行全表掃描

14.對(duì)于連續(xù)數(shù)值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5

15.列表數(shù)據(jù)不要拿全表邓线，要使用LIMIT來(lái)分頁(yè)淌友，每頁(yè)數(shù)量也不要太大

原開發(fā)人員已經(jīng)跑路，程序已經(jīng)完成上線骇陈，我無(wú)法修改sql震庭，故：該措辭無(wú)法執(zhí)行，放棄你雌！

引擎

引擎

目前廣泛使用的是MyISAM和InnoDB兩種引擎：

MyISAM

MyISAM引擎是MySQL 5.1及之前版本的默認(rèn)引擎器联，它的特點(diǎn)是：

1.不支持行鎖，讀取時(shí)對(duì)需要讀到的所有表加鎖婿崭，寫入時(shí)則對(duì)表加排它鎖

2.不支持事務(wù)

3.不支持外鍵

4.不支持崩潰后的安全恢復(fù)

5.在表有讀取查詢的同時(shí)拨拓，支持往表中插入新紀(jì)錄

6.支持BLOB和TEXT的前500個(gè)字符索引，支持全文索引

7.支持延遲更新索引逛球，極大提升寫入性能

8.對(duì)于不會(huì)進(jìn)行修改的表千元，支持壓縮表苫昌，極大減少磁盤空間占用

InnoDB

InnoDB在MySQL 5.5后成為默認(rèn)索引颤绕，它的特點(diǎn)是：

1.支持行鎖幸海，采用MVCC來(lái)支持高并發(fā)

2.支持事務(wù)

3.支持外鍵

4.支持崩潰后的安全恢復(fù)

5.不支持全文索引

總體來(lái)講，MyISAM適合SELECT密集型的表奥务，而InnoDB適合INSERT和UPDATE密集型的表

MyISAM速度可能超快物独，占用存儲(chǔ)空間也小，但是程序要求事務(wù)支持氯葬，故InnoDB是必須的挡篓，故該方案無(wú)法執(zhí)行，放棄帚称！

3.分區(qū)

MySQL在5.1版引入的分區(qū)是一種簡(jiǎn)單的水平拆分官研，用戶需要在建表的時(shí)候加上分區(qū)參數(shù)，對(duì)應(yīng)用是透明的無(wú)需修改代碼

對(duì)用戶來(lái)說(shuō)闯睹，分區(qū)表是一個(gè)獨(dú)立的邏輯表戏羽，但是底層由多個(gè)物理子表組成，實(shí)現(xiàn)分區(qū)的代碼實(shí)際上是通過(guò)對(duì)一組底層表的對(duì)象封裝楼吃，但對(duì)SQL層來(lái)說(shuō)是一個(gè)完全封裝底層的黑盒子始花。MySQL實(shí)現(xiàn)分區(qū)的方式也意味著索引也是按照分區(qū)的子表定義，沒(méi)有全局索引

用戶的SQL語(yǔ)句是需要針對(duì)分區(qū)表做優(yōu)化孩锡，SQL條件中要帶上分區(qū)條件的列酷宵，從而使查詢定位到少量的分區(qū)上，否則就會(huì)掃描全部分區(qū)躬窜，可以通過(guò)EXPLAIN PARTITIONS來(lái)查看某條SQL語(yǔ)句會(huì)落在那些分區(qū)上浇垦，從而進(jìn)行SQL優(yōu)化，我測(cè)試荣挨，查詢時(shí)不帶分區(qū)條件的列溜族，也會(huì)提高速度，故該措施值得一試垦沉。

分區(qū)的好處是：

1.可以讓單表存儲(chǔ)更多的數(shù)據(jù)

2.分區(qū)表的數(shù)據(jù)更容易維護(hù)煌抒，可以通過(guò)清楚整個(gè)分區(qū)批量刪除大量數(shù)據(jù)，也可以增加新的分區(qū)來(lái)支持新插入的數(shù)據(jù)厕倍。另外寡壮，還可以對(duì)一個(gè)獨(dú)立分區(qū)進(jìn)行優(yōu)化、檢查讹弯、修復(fù)等操作

3.部分查詢能夠從查詢條件確定只落在少數(shù)分區(qū)上况既，速度會(huì)很快

4.分區(qū)表的數(shù)據(jù)還可以分布在不同的物理設(shè)備上，從而搞笑利用多個(gè)硬件設(shè)備

5.可以使用分區(qū)表賴避免某些特殊瓶頸组民，例如InnoDB單個(gè)索引的互斥訪問(wèn)棒仍、ext3文件系統(tǒng)的inode鎖競(jìng)爭(zhēng)

6.可以備份和恢復(fù)單個(gè)分區(qū)

分區(qū)的限制和缺點(diǎn)：

1.一個(gè)表最多只能有1024個(gè)分區(qū)

2.如果分區(qū)字段中有主鍵或者唯一索引的列，那么所有主鍵列和唯一索引列都必須包含進(jìn)來(lái)

3.分區(qū)表無(wú)法使用外鍵約束

4.NULL值會(huì)使分區(qū)過(guò)濾無(wú)效

5.所有分區(qū)必須使用相同的存儲(chǔ)引擎

分區(qū)的類型：

1.RANGE分區(qū)：基于屬于一個(gè)給定連續(xù)區(qū)間的列值臭胜，把多行分配給分區(qū)

2.LIST分區(qū)：類似于按RANGE分區(qū)莫其，區(qū)別在于LIST分區(qū)是基于列值匹配一個(gè)離散值集合中的某個(gè)值來(lái)進(jìn)行選擇

3.HASH分區(qū)：基于用戶定義的表達(dá)式的返回值來(lái)進(jìn)行選擇的分區(qū)癞尚，該表達(dá)式使用將要插入到表中的這些行的列值進(jìn)行計(jì)算。這個(gè)函數(shù)可以包含MySQL中有效的乱陡、產(chǎn)生非負(fù)整數(shù)值的任何表達(dá)式

4.KEY分區(qū)：類似于按HASH分區(qū)浇揩，區(qū)別在于KEY分區(qū)只支持計(jì)算一列或多列，且MySQL服務(wù)器提供其自身的哈希函數(shù)憨颠。必須有一列或多列包含整數(shù)值

5.具體關(guān)于mysql分區(qū)的概念請(qǐng)自行g(shù)oogle或查詢官方文檔胳徽，我這里只是拋磚引玉了。

我首先根據(jù)月份把上網(wǎng)記錄表RANGE分區(qū)了12份爽彤，查詢效率提高6倍左右养盗，效果不明顯，故：換id為HASH分區(qū)适篙，分了64個(gè)分區(qū)爪瓜，查詢速度提升顯著。問(wèn)題解決匙瘪！

結(jié)果如下：PARTITION BY HASH (id)PARTITIONS 64

select count() from readroom_website; --11901336行記錄

/?受影響行數(shù): 0 已找到記錄: 1 警告: 0 持續(xù)時(shí)間 1 查詢: 5.734 sec.?/

select * from readroom_website where month(accesstime) =11 limit 10;

/?受影響行數(shù): 0 已找到記錄: 10 警告: 0 持續(xù)時(shí)間 1 查詢: 0.719 sec. */

4.分表

分表就是把一張大表铆铆，按照如上過(guò)程都優(yōu)化了，還是查詢卡死丹喻，那就把這個(gè)表分成多張表薄货，把一次查詢分成多次查詢，然后把結(jié)果組合返回給用戶碍论。

分表分為垂直拆分和水平拆分谅猾，通常以某個(gè)字段做拆分項(xiàng)。比如以id字段拆分為100張表： 表名為 tableName_id%100

但：分表需要修改源程序代碼鳍悠，會(huì)給開發(fā)帶來(lái)大量工作税娜，極大的增加了開發(fā)成本，故：只適合在開發(fā)初期就考慮到了大量數(shù)據(jù)存在藏研，做好了分表處理敬矩，不適合應(yīng)用上線了再做修改，成本太高４赖病；≡馈！而且選擇這個(gè)方案业踏，都不如選擇我提供的第二第三個(gè)方案的成本低禽炬！故不建議采用。

5.分庫(kù)

把一個(gè)數(shù)據(jù)庫(kù)分成多個(gè)勤家，建議做個(gè)讀寫分離就行了腹尖，真正的做分庫(kù)也會(huì)帶來(lái)大量的開發(fā)成本，得不償失伐脖！不推薦使用热幔。

方案二詳細(xì)說(shuō)明：升級(jí)數(shù)據(jù)庫(kù)乐设，換一個(gè)100%兼容mysql的數(shù)據(jù)庫(kù)

mysql性能不行，那就換個(gè)断凶。為保證源程序代碼不修改伤提，保證現(xiàn)有業(yè)務(wù)平穩(wěn)遷移巫俺，故需要換一個(gè)100%兼容mysql的數(shù)據(jù)庫(kù)认烁。

開源選擇

1.tiDB https://github.com/pingcap/tidb

2.Cubrid https://www.cubrid.org/

3.開源數(shù)據(jù)庫(kù)會(huì)帶來(lái)大量的運(yùn)維成本且其工業(yè)品質(zhì)和MySQL尚有差距，有很多坑要踩介汹，如果你公司要求必須自建數(shù)據(jù)庫(kù)却嗡，那么選擇該類型產(chǎn)品。

云數(shù)據(jù)選擇

1.阿里云POLARDB

2.https://www.aliyun.com/product/polardb?spm=a2c4g.11174283.cloudEssentials.47.7a984b5cS7h4wH

官方介紹語(yǔ)：POLARDB 是阿里云自研的下一代關(guān)系型分布式云原生數(shù)據(jù)庫(kù)嘹承，100%兼容MySQL窗价，存儲(chǔ)容量最高可達(dá) 100T，性能最高提升至 MySQL 的 6 倍叹卷。POLARDB 既融合了商業(yè)數(shù)據(jù)庫(kù)穩(wěn)定撼港、可靠、高性能的特征骤竹，又具有開源數(shù)據(jù)庫(kù)簡(jiǎn)單帝牡、可擴(kuò)展、持續(xù)迭代的優(yōu)勢(shì)蒙揣，而成本只需商用數(shù)據(jù)庫(kù)的 1/10靶溜。

我開通測(cè)試了一下，支持免費(fèi)mysql的數(shù)據(jù)遷移懒震，無(wú)操作成本罩息，性能提升在10倍左右，價(jià)格跟rds相差不多个扰，是個(gè)很好的備選解決方案瓷炮！

1.阿里云OcenanBase

2.淘寶使用的，扛得住雙十一递宅，性能卓著崭别，但是在公測(cè)中，我無(wú)法嘗試恐锣，但值得期待

3.阿里云HybridDB for MySQL (原PetaData)

4.https://www.aliyun.com/product/petadata?spm=a2c4g.11174283.cloudEssentials.54.7a984b5cS7h4wH

官方介紹：云數(shù)據(jù)庫(kù)HybridDB for MySQL （原名PetaData）是同時(shí)支持海量數(shù)據(jù)在線事務(wù)（OLTP）和在線分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關(guān)系型數(shù)據(jù)庫(kù)茅主。

我也測(cè)試了一下，是一個(gè)olap和oltp兼容的解決方案土榴，但是價(jià)格太高诀姚，每小時(shí)高達(dá)10塊錢，用來(lái)做存儲(chǔ)太浪費(fèi)了玷禽，適合存儲(chǔ)和分析一起用的業(yè)務(wù)赫段。

1.騰訊云DCDB

2.https://cloud.tencent.com/product/dcdb_for_tdsql

官方介紹：DCDB又名TDSQL呀打，一種兼容MySQL協(xié)議和語(yǔ)法，支持自動(dòng)水平拆分的高性能分布式數(shù)據(jù)庫(kù)——即業(yè)務(wù)顯示為完整的邏輯表糯笙，數(shù)據(jù)卻均勻的拆分到多個(gè)分片中贬丛；每個(gè)分片默認(rèn)采用主備架構(gòu)，提供災(zāi)備给涕、恢復(fù)豺憔、監(jiān)控、不停機(jī)擴(kuò)容等全套解決方案够庙，適用于TB或PB級(jí)的海量數(shù)據(jù)場(chǎng)景恭应。

騰訊的我不喜歡用，不多說(shuō)耘眨。原因是出了問(wèn)題找不到人昼榛，線上問(wèn)題無(wú)法解決頭疼！但是他價(jià)格便宜剔难，適合超小公司胆屿，玩玩。

方案三詳細(xì)說(shuō)明：去掉mysql偶宫，換大數(shù)據(jù)引擎處理數(shù)據(jù)

數(shù)據(jù)量過(guò)億了非迹，沒(méi)得選了，只能上大數(shù)據(jù)了读宙。

開源解決方案

hadoop家族彻秆。hbase/hive懟上就是了。但是有很高的運(yùn)維成本结闸，一般公司是玩不起的唇兑，沒(méi)十萬(wàn)投入是不會(huì)有很好的產(chǎn)出的！

云解決方案

這個(gè)就比較多了桦锄，也是一種未來(lái)趨勢(shì)扎附，大數(shù)據(jù)由專業(yè)的公司提供專業(yè)的服務(wù)，小公司或個(gè)人購(gòu)買服務(wù)结耀，大數(shù)據(jù)就像水/電等公共設(shè)施一樣留夜，存在于社會(huì)的方方面面。

國(guó)內(nèi)做的最好的當(dāng)屬阿里云图甜。

我選擇了阿里云的MaxCompute配合DataWorks碍粥，使用超級(jí)舒服，按量付費(fèi)黑毅，成本極低嚼摩。

MaxCompute可以理解為開源的Hive，提供sql/mapreduce/ai算法/python腳本/shell腳本等方式操作數(shù)據(jù)，數(shù)據(jù)以表格的形式展現(xiàn)枕面，以分布式方式存儲(chǔ)愿卒，采用定時(shí)任務(wù)和批處理的方式處理數(shù)據(jù)。DataWorks提供了一種工作流的方式管理你的數(shù)據(jù)處理任務(wù)和調(diào)度監(jiān)控潮秘。

當(dāng)然你也可以選擇阿里云hbase等其他產(chǎn)品琼开，我這里主要是離線處理，故選擇MaxCompute枕荞，基本都是圖形界面操作柜候，大概寫了300行sql，費(fèi)用不超過(guò)100塊錢就解決了數(shù)據(jù)處理問(wèn)題买猖。