記錄一次MySQL兩千萬數據的大表優(yōu)化解決過程，提供三種解決方案
作者：王帥
文末有彩蛋....
問題概述
使用阿里云rds for MySQL數據庫（就是MySQL5.6版本）驹针，有個用戶上網記錄表6個月的數據量近2000萬，保留最近一年的數據量達到4000萬祭刚，查詢速度極慢牌捷，日常卡死涡驮。嚴重影響業(yè)務暗甥。
問題前提：老系統(tǒng)，當時設計系統(tǒng)的人大概是大學沒畢業(yè)捉捅，表設計和sql語句寫的不僅僅是垃圾撤防，簡直無法直視。原開發(fā)人員都已離職棒口，到我來維護寄月，這就是傳說中的維護不了就跑路，然后我就是掉坑的那個Ｎ耷！Ｑ埂！
我嘗試解決該問題茎毁，so克懊，有個這個日志忱辅。
方案概述
方案一：優(yōu)化現有mysql數據庫。優(yōu)點：不影響現有業(yè)務谭溉，源程序不需要修改代碼墙懂，成本最低。缺點：有優(yōu)化瓶頸扮念，數據量過億就玩完了损搬。
方案二：升級數據庫類型，換一種100%兼容mysql的數據庫柜与。優(yōu)點：不影響現有業(yè)務巧勤，源程序不需要修改代碼，你幾乎不需要做任何操作就能提升數據庫性能弄匕，缺點：多花錢
方案三：一步到位踢关，大數據解決方案，更換newsql/nosql數據庫粘茄。優(yōu)點：擴展性強签舞，成本低，沒有數據容量瓶頸柒瓣，缺點：需要修改源程序代碼
以上三種方案儒搭，按順序使用即可，數據量在億級別一下的沒必要換nosql芙贫，開發(fā)成本太高。三種方案我都試了一遍磺平，而且都形成了落地解決方案。該過程心中慰問跑路的那幾個開發(fā)者一萬遍 ??
方案一詳細說明：優(yōu)化現有mysql數據庫
跟阿里云數據庫大佬電話溝通 and Google解決方案 and 問群里大佬拣挪，總結如下（都是精華）：
1.數據庫設計和表創(chuàng)建時就要考慮性能
2.sql的編寫需要注意優(yōu)化
3.分區(qū)
4.分表
5.分庫
1.數據庫設計和表創(chuàng)建時就要考慮性能
mysql數據庫本身高度靈活，造成性能不足菠劝，嚴重依賴開發(fā)人員能力赊舶。也就是說開發(fā)人員能力高，則mysql性能高赶诊。這也是很多關系型數據庫的通病，所以公司的dba通常工資巨高舔痪。
設計表時要注意：
1.表字段避免null值出現，null值很難查詢優(yōu)化且占用額外的索引空間锄码，推薦默認數字0代替null夺英。
2.盡量使用INT而非BIGINT鸠珠，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT秋麸、SMALLINT炬太、MEDIUM_INT更好。
3.使用枚舉或整數代替字符串類型
4.盡量使用TIMESTAMP而非DATETIME
5.單表不要有太多字段炒考，建議在20以內
6.用整型來存IP
索引
1.索引并不是越多越好霎迫，要根據查詢有針對性的創(chuàng)建，考慮在WHERE和ORDER BY命令上涉及的列建立索引知给，可根據EXPLAIN來查看是否用了索引還是全表掃描
2.應盡量避免在WHERE子句中對字段進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描
3.值分布很稀少的字段不適合建索引涩赢，例如"性別"這種只有兩三個值的字段
4.字符字段只建前綴索引
5.字符字段最好不要做主鍵
6.不用外鍵，由程序保證約束
7.盡量不用UNIQUE怯邪，由程序保證約束
8.使用多列索引時主意順序和查詢條件保持一致花墩，同時刪除不必要的單列索引
簡言之就是使用合適的數據類型，選擇合適的索引
選擇合適的數據類型 （1）使用可存下數據的最小的數據類型冰蘑，整型 < date,time < char,varchar < blob （2）使用簡單的數據類型，整型比字符處理開銷更小祠肥，因為字符串的比較更復雜允跑。如搪柑，int類型存儲時間類型，bigint類型轉ip函數 （3）使用合理的字段屬性長度弱睦，固定長度的表會更快渊额。使用enum垒拢、char而不是varchar （4）盡可能使用not null定義字段 （5）盡量少用text火惊，非用不可最好分表 # 選擇合適的索引列 （1）查詢頻繁的列，在where屹耐，group by，order by惶岭，on從句中出現的列 （2）where條件中<，<=症革，=鸯旁，>，>=铺罢，between，in畏铆，以及l(fā)ike 字符串+通配符（%）出現的列 （3）長度小的列，索引字段越小越好楷怒，因為數據庫的存儲單位是頁瓦灶，一頁中能存下的數據越多越好 （4）離散度大（不同的值多）的列，放在聯合索引前面贼陶。查看離散度，通過統(tǒng)計不同的列值來實現碉怔，count越大，離散程度越高：
原開發(fā)人員已經跑路桨踪，該表早已建立芹啥，我無法修改铺峭，故：該措辭無法執(zhí)行汽纠，放棄！
2.sql的編寫需要注意優(yōu)化
1.使用limit對查詢結果的記錄進行限定
2.避免select *虱朵，將需要查找的字段列出來
3.使用連接（join）來代替子查詢
4.拆分大的delete或insert語句
5.可通過開啟慢查詢日志來找出較慢的SQL
6.不做列運算：SELECT id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括數據庫教程函數官扣、計算表達式等等，查詢時要盡可能將操作移至等號右邊
7.sql語句盡可能簡單：一條sql只能在一個cpu運算蚯涮；大語句拆小語句，減少鎖時間遭顶；一條大sql可以堵死整個庫
8.OR改寫成IN：OR的效率是n級別泪蔫，IN的效率是log(n)級別，in的個數建議控制在200以內
9.不用函數和觸發(fā)器撩荣，在應用程序實現
10.避免%xxx式查詢
11.少用JOIN
12.使用同類型進行比較，比如用'123'和'123'比逛拱，123和123比
13.盡量避免在WHERE子句中使用!=或<>操作符台猴，否則將引擎放棄使用索引而進行全表掃描
14.對于連續(xù)數值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5
15.列表數據不要拿全表饱狂，要使用LIMIT來分頁，每頁數量也不要太大
原開發(fā)人員已經跑路箭窜，程序已經完成上線衍腥，我無法修改sql纳猫，故：該措辭無法執(zhí)行竹捉，放棄！
引擎
引擎
目前廣泛使用的是MyISAM和InnoDB兩種引擎：
MyISAM
MyISAM引擎是MySQL 5.1及之前版本的默認引擎块差，它的特點是：
1.不支持行鎖，讀取時對需要讀到的所有表加鎖憨闰，寫入時則對表加排它鎖
2.不支持事務
3.不支持外鍵
4.不支持崩潰后的安全恢復
5.在表有讀取查詢的同時鹉动，支持往表中插入新紀錄
6.支持BLOB和TEXT的前500個字符索引，支持全文索引
7.支持延遲更新索引泽示，極大提升寫入性能
8.對于不會進行修改的表，支持壓縮表捎泻，極大減少磁盤空間占用
InnoDB
InnoDB在MySQL 5.5后成為默認索引，它的特點是：
1.支持行鎖笆豁，采用MVCC來支持高并發(fā)
2.支持事務
3.支持外鍵
4.支持崩潰后的安全恢復
5.不支持全文索引
總體來講赤赊，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表
MyISAM速度可能超快扩氢，占用存儲空間也小爷辱，但是程序要求事務支持，故InnoDB是必須的饭弓，故該方案無法執(zhí)行，放棄弟断！
3.分區(qū)
MySQL在5.1版引入的分區(qū)是一種簡單的水平拆分，用戶需要在建表的時候加上分區(qū)參數昏翰，對應用是透明的無需修改代碼
對用戶來說，分區(qū)表是一個獨立的邏輯表浸踩，但是底層由多個物理子表組成统求，實現分區(qū)的代碼實際上是通過對一組底層表的對象封裝，但對SQL層來說是一個完全封裝底層的黑盒子码邻。MySQL實現分區(qū)的方式也意味著索引也是按照分區(qū)的子表定義，沒有全局索引
用戶的SQL語句是需要針對分區(qū)表做優(yōu)化怕犁，SQL條件中要帶上分區(qū)條件的列开睡，從而使查詢定位到少量的分區(qū)上苟耻，否則就會掃描全部分區(qū)，可以通過EXPLAIN PARTITIONS來查看某條SQL語句會落在那些分區(qū)上凶杖，從而進行SQL優(yōu)化，我測試腾么，查詢時不帶分區(qū)條件的列杈湾，也會提高速度，故該措施值得一試漆撞。
分區(qū)的好處是：
1.可以讓單表存儲更多的數據
2.分區(qū)表的數據更容易維護，可以通過清楚整個分區(qū)批量刪除大量數據悍汛，也可以增加新的分區(qū)來支持新插入的數據至会。另外，還可以對一個獨立分區(qū)進行優(yōu)化奉件、檢查昆著、修復等操作
3.部分查詢能夠從查詢條件確定只落在少數分區(qū)上糖埋，速度會很快
4.分區(qū)表的數據還可以分布在不同的物理設備上，從而搞笑利用多個硬件設備
5.可以使用分區(qū)表賴避免某些特殊瓶頸征候，例如InnoDB單個索引的互斥訪問祟敛、ext3文件系統(tǒng)的inode鎖競爭
6.可以備份和恢復單個分區(qū)
分區(qū)的限制和缺點：
1.一個表最多只能有1024個分區(qū)
2.如果分區(qū)字段中有主鍵或者唯一索引的列，那么所有主鍵列和唯一索引列都必須包含進來
3.分區(qū)表無法使用外鍵約束
4.NULL值會使分區(qū)過濾無效
5.所有分區(qū)必須使用相同的存儲引擎
分區(qū)的類型：
1.RANGE分區(qū)：基于屬于一個給定連續(xù)區(qū)間的列值跑揉，把多行分配給分區(qū)
2.LIST分區(qū)：類似于按RANGE分區(qū)埠巨，區(qū)別在于LIST分區(qū)是基于列值匹配一個離散值集合中的某個值來進行選擇
3.HASH分區(qū)：基于用戶定義的表達式的返回值來進行選擇的分區(qū)，該表達式使用將要插入到表中的這些行的列值進行計算辣垒。這個函數可以包含MySQL中有效的、產生非負整數值的任何表達式
4.KEY分區(qū)：類似于按HASH分區(qū)脱衙，區(qū)別在于KEY分區(qū)只支持計算一列或多列例驹，且MySQL服務器提供其自身的哈希函數。必須有一列或多列包含整數值
5.具體關于mysql分區(qū)的概念請自行google或查詢官方文檔鹃锈，我這里只是拋磚引玉了。
我首先根據月份把上網記錄表RANGE分區(qū)了12份仅政，查詢效率提高6倍左右扔茅，效果不明顯，故：換id為HASH分區(qū)召娜，分了64個分區(qū)，查詢速度提升顯著秸讹。問題解決！
結果如下：PARTITION BY HASH (id)PARTITIONS 64
select count() from readroom_website; --11901336行記錄
/ 受影響行數: 0 已找到記錄: 1 警告: 0 持續(xù)時間 1 查詢: 5.734 sec. /
select * from readroom_website where month(accesstime) =11 limit 10;
/ 受影響行數: 0 已找到記錄: 10 警告: 0 持續(xù)時間 1 查詢: 0.719 sec. */
4.分表
分表就是把一張大表弧可，按照如上過程都優(yōu)化了劣欢，還是查詢卡死，那就把這個表分成多張表凿将，把一次查詢分成多次查詢，然后把結果組合返回給用戶笛匙。
分表分為垂直拆分和水平拆分犀变，通常以某個字段做拆分項。比如以id字段拆分為100張表： 表名為 tableName_id%100
但：分表需要修改源程序代碼获枝，會給開發(fā)帶來大量工作，極大的增加了開發(fā)成本机隙，故：只適合在開發(fā)初期就考慮到了大量數據存在萨西，做好了分表處理旭旭，不適合應用上線了再做修改，成本太高３旨摹！废麻！而且選擇這個方案模庐，都不如選擇我提供的第二第三個方案的成本低！故不建議采用。
5.分庫
把一個數據庫分成多個慎冤，建議做個讀寫分離就行了沧卢，真正的做分庫也會帶來大量的開發(fā)成本，得不償失但狭！不推薦使用。
方案二詳細說明：升級數據庫藤巢，換一個100%兼容mysql的數據庫
mysql性能不行息罗，那就換個。為保證源程序代碼不修改绍刮，保證現有業(yè)務平穩(wěn)遷移挨摸，故需要換一個100%兼容mysql的數據庫。
開源選擇
1.tiDB https://github.com/pingcap/tidb
2.Cubrid https://www.cubrid.org/
3.開源數據庫會帶來大量的運維成本且其工業(yè)品質和MySQL尚有差距得运，有很多坑要踩，如果你公司要求必須自建數據庫饱搏，那么選擇該類型產品置逻。
云數據選擇
1.阿里云POLARDB
2.https://www.aliyun.com/product/polardb?spm=a2c4g.11174283.cloudEssentials.47.7a984b5cS7h4wH
官方介紹語：POLARDB 是阿里云自研的下一代關系型分布式云原生數據庫，100%兼容MySQL券坞，存儲容量最高可達 100T恨锚，性能最高提升至 MySQL 的 6 倍。POLARDB 既融合了商業(yè)數據庫穩(wěn)定猴伶、可靠菌瘫、高性能的特征布卡，又具有開源數據庫簡單、可擴展栖忠、持續(xù)迭代的優(yōu)勢贸街，而成本只需商用數據庫的 1/10。
我開通測試了一下薛匪，支持免費mysql的數據遷移，無操作成本古沥，性能提升在10倍左右娇跟，價格跟rds相差不多，是個很好的備選解決方案苞俘！
1.阿里云OcenanBase
2.淘寶使用的，扛得住雙十一乞封，性能卓著岗憋，但是在公測中，我無法嘗試陷揪，但值得期待
3.阿里云HybridDB for MySQL (原PetaData)
4.https://www.aliyun.com/product/petadata?spm=a2c4g.11174283.cloudEssentials.54.7a984b5cS7h4wH
官方介紹：云數據庫HybridDB for MySQL （原名PetaData）是同時支持海量數據在線事務（OLTP）和在線分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關系型數據庫杂穷。
我也測試了一下卦绣，是一個olap和oltp兼容的解決方案，但是價格太高滤港，每小時高達10塊錢趴拧，用來做存儲太浪費了山叮，適合存儲和分析一起用的業(yè)務屁倔。
1.騰訊云DCDB
2.https://cloud.tencent.com/product/dcdb_for_tdsql
官方介紹：DCDB又名TDSQL，一種兼容MySQL協議和語法锐借，支持自動水平拆分的高性能分布式數據庫——即業(yè)務顯示為完整的邏輯表，數據卻均勻的拆分到多個分片中严卖；每個分片默認采用主備架構布轿，提供災備、恢復汰扭、監(jiān)控、不停機擴容等全套解決方案启具，適用于TB或PB級的海量數據場景珊泳。
騰訊的我不喜歡用素挽，不多說拖刃。原因是出了問題找不到人丢胚，線上問題無法解決頭疼跨扮！但是他價格便宜验毡，適合超小公司，玩玩璃氢。
方案三詳細說明：去掉mysql狮辽，換大數據引擎處理數據
數據量過億了巢寡，沒得選了椰苟，只能上大數據了。
開源解決方案
hadoop家族爪幻。hbase/hive懟上就是了须误。但是有很高的運維成本，一般公司是玩不起的京痢，沒十萬投入是不會有很好的產出的！
云解決方案
這個就比較多了臭家，也是一種未來趨勢方淤，大數據由專業(yè)的公司提供專業(yè)的服務，小公司或個人購買服務携茂，大數據就像水/電等公共設施一樣讳苦，存在于社會的方方面面。
國內做的最好的當屬阿里云鸳谜。
我選擇了阿里云的MaxCompute配合DataWorks，使用超級舒服芭挽，按量付費蝗肪，成本極低。
MaxCompute可以理解為開源的Hive穗慕，提供sql/mapreduce/ai算法/python腳本/shell腳本等方式操作數據，數據以表格的形式展現怀各，以分布式方式存儲术浪，采用定時任務和批處理的方式處理數據。DataWorks提供了一種工作流的方式管理你的數據處理任務和調度監(jiān)控硕蛹。
當然你也可以選擇阿里云hbase等其他產品硕并，我這里主要是離線處理，故選擇MaxCompute埃仪，基本都是圖形界面操作陕赃，大概寫了300行sql，費用不超過100塊錢就解決了數據處理問題么库。
