問題概述
使用阿里云rds for MySQL數(shù)據(jù)庫（就是MySQL5.6版本），有個用戶上網(wǎng)記錄表6個月的數(shù)據(jù)量近2000萬譬涡，保留最近一年的數(shù)據(jù)量達到4000萬，查詢速度極慢啥辨，日澄性龋卡死。嚴重影響業(yè)務溉知。
問題前提：老系統(tǒng)渊跋，當時設計系統(tǒng)的人大概是大學沒畢業(yè)，表設計和SQL語句寫的不僅僅是垃圾着倾，簡直無法直視拾酝。原開發(fā)人員都已離職，到我來維護卡者，這就是傳說中的維護不了就跑路蒿囤，然后我就是掉坑的那個！３缇觥材诽！
我嘗試解決該問題，so恒傻，有個這個日志脸侥。
方案概述
- 方案一：優(yōu)化現(xiàn)有MySQL數(shù)據(jù)庫。優(yōu)點：不影響現(xiàn)有業(yè)務盈厘，源程序不需要修改代碼睁枕，成本最低。缺點：有優(yōu)化瓶頸，數(shù)據(jù)量過億就玩完了外遇。
- 方案二：升級數(shù)據(jù)庫類型注簿，換一種100%兼容MySQL的數(shù)據(jù)庫。優(yōu)點：不影響現(xiàn)有業(yè)務跳仿，源程序不需要修改代碼诡渴，你幾乎不需要做任何操作就能提升數(shù)據(jù)庫性能，缺點：多花錢
- 方案三：一步到位菲语，大數(shù)據(jù)解決方案妄辩，更換newSQL/noSQL數(shù)據(jù)庫。優(yōu)點：沒有數(shù)據(jù)容量瓶頸山上，缺點：需要修改源程序代碼恩袱，影響業(yè)務，總成本最高胶哲。
以上三種方案畔塔，按順序使用即可，數(shù)據(jù)量在億級別一下的沒必要換noSQL鸯屿，開發(fā)成本太高澈吨。三種方案我都試了一遍，而且都形成了落地解決方案寄摆。該過程心中慰問跑路的那幾個開發(fā)者一萬遍 :)
方案一詳細說明:優(yōu)化現(xiàn)有MySQL數(shù)據(jù)庫
跟阿里云數(shù)據(jù)庫大佬電話溝通 and Google解決方案 and 問群里大佬谅辣，總結如下（都是精華）：
- 數(shù)據(jù)庫設計和表創(chuàng)建時就要考慮性能
- SQL的編寫需要注意優(yōu)化
- 分區(qū)
- 分表
- 分庫
1. 數(shù)據(jù)庫設計和表創(chuàng)建時就要考慮性能
MySQL數(shù)據(jù)庫本身高度靈活，造成性能不足婶恼，嚴重依賴開發(fā)人員能力桑阶。也就是說開發(fā)人員能力高，則MySQL性能高勾邦。這也是很多關系型數(shù)據(jù)庫的通病蚣录，所以公司的dba通常工資巨高。
設計表時要注意的東西
- 表字段避免null值出現(xiàn)眷篇，null值很難查詢優(yōu)化且占用額外的索引空間萎河，推薦默認數(shù)字0代替null。
- 盡量使用INT而非BIGINT蕉饼，如果非負則加上UNSIGNED（這樣數(shù)值容量會擴大一倍）虐杯，當然能使用TINYINT、SMALLINT昧港、MEDIUM_INT更好擎椰。
- 使用枚舉或整數(shù)代替字符串類型
- 盡量使用TIMESTAMP而非DATETIME
- 單表不要有太多字段，建議在20以內(nèi)
- 用整型來存IP
索引
- 索引并不是越多越好创肥，要根據(jù)查詢有針對性的創(chuàng)建达舒，考慮在WHERE和ORDER BY命令上涉及的列建立索引值朋，可根據(jù)EXPLAIN來查看是否用了索引還是全表掃描
- 應盡量避免在WHERE子句中對字段進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描
- 值分布很稀少的字段不適合建索引休弃，例如"性別"這種只有兩三個值的字段
- 字符字段只建前綴索引
- 字符字段最好不要做主鍵
- 不用外鍵，由程序保證約束
- 盡量不用UNIQUE圈膏，由程序保證約束
- 使用多列索引時注意順序和查詢條件保持一致塔猾，同時刪除不必要的單列索引
簡言之就是：使用合適的數(shù)據(jù)類型,選擇合適的索引
選擇合適的數(shù)據(jù)類型:
- 使用可存下數(shù)據(jù)的最小的數(shù)據(jù)類型，整型 < date,time < char,varchar < blob
- 使用簡單的數(shù)據(jù)類型稽坤，整型比字符處理開銷更小丈甸，因為字符串的比較更復雜。如尿褪，int類型存儲時間類型睦擂，bigint類型轉ip函數(shù)
- 使用合理的字段屬性長度，固定長度的表會更快杖玲。使用enum顿仇、char而不是varchar
- 盡可能使用not null定義字段
- 盡量少用text，非用不可最好分表
選擇合適的索引列:
- （1）查詢頻繁的列摆马，在where臼闻，group by，order by囤采，on從句中出現(xiàn)的列
- （2）where條件中<述呐，<=，=蕉毯，>乓搬，>=，between代虾，in进肯，以及l(fā)ike 字符串+通配符（%）出現(xiàn)的列
- （3）長度小的列，索引字段越小越好棉磨，因為數(shù)據(jù)庫的存儲單位是頁坷澡，一頁中能存下的數(shù)據(jù)越多越好
- （4）離散度大（不同的值多）的列，放在聯(lián)合索引前面含蓉。查看離散度频敛，通過統(tǒng)計不同的列值來實現(xiàn)，count越大馅扣，離散程度越高：
原開發(fā)人員已經(jīng)跑路斟赚，該表早已建立，我無法修改差油，故：該措辭無法執(zhí)行拗军，放棄任洞！
2.SQL的編寫需要注意優(yōu)化
- 使用limit對查詢結果的記錄進行限定
- 避免select *，將需要查找的字段列出來
- 使用連接（join）來代替子查詢
- 拆分大的delete或insert語句
- 可通過開啟慢查詢?nèi)罩緛碚页鲚^慢的SQL
- 不做列運算：SELECT id WHERE age + 1 = 10发侵，任何對列的操作都將導致表掃描交掏，它包括數(shù)據(jù)庫教程函數(shù)、計算表達式等等刃鳄，查詢時要盡可能將操作移至等號右邊
- SQL語句盡可能簡單：一條SQL只能在一個cpu運算盅弛；大語句拆小語句，減少鎖時間叔锐；一條大SQL可以堵死整個庫
- OR改寫成IN：OR的效率是n級別挪鹏，IN的效率是log(n)級別，in的個數(shù)建議控制在200以內(nèi)
- 不用函數(shù)和觸發(fā)器愉烙，在應用程序?qū)崿F(xiàn)
- 避免%xxx式查詢
- 少用JOIN
- 使用同類型進行比較讨盒，比如用'123'和'123'比，123和123比
- 盡量避免在WHERE子句中使用!=或<>操作符步责，否則將引擎放棄使用索引而進行全表掃描
- 對于連續(xù)數(shù)值返顺，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5
- 列表數(shù)據(jù)不要拿全表，要使用LIMIT來分頁蔓肯，每頁數(shù)量也不要太大
原開發(fā)人員已經(jīng)跑路创南，程序已經(jīng)完成上線，我無法修改SQL省核，故：該措辭無法執(zhí)行稿辙，放棄！
3. 引擎選擇
目前廣泛使用的是MyISAM和InnoDB兩種引擎：
MyISAM
MyISAM引擎是MySQL 5.1及之前版本的默認引擎气忠，它的特點是：
- 不支持行鎖邻储，讀取時對需要讀到的所有表加鎖，寫入時則對表加排它鎖
- 不支持事務
- 不支持外鍵
- 不支持崩潰后的安全恢復
- 在表有讀取查詢的同時旧噪，支持往表中插入新紀錄
- 支持BLOB和TEXT的前500個字符索引吨娜，支持全文索引
- 支持延遲更新索引，極大提升寫入性能
- 對于不會進行修改的表淘钟，支持壓縮表宦赠，極大減少磁盤空間占用
InnoDB
InnoDB在MySQL 5.5后成為默認索引，它的特點是：
- 支持行鎖米母，采用MVCC來支持高并發(fā)
- 支持事務
- 支持外鍵
- 支持崩潰后的安全恢復
- 不支持全文索引
總體來講勾扭，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表
MyISAM速度可能超快铁瞒，占用存儲空間也小妙色，但是程序要求事務支持，故InnoDB是必須的慧耍，故該方案無法執(zhí)行身辨，放棄丐谋！
4.分區(qū)
MySQL在5.1版引入的分區(qū)是一種簡單的水平拆分，用戶需要在建表的時候加上分區(qū)參數(shù)煌珊，對應用是透明的無需修改代碼
對用戶來說号俐，分區(qū)表是一個獨立的邏輯表，但是底層由多個物理子表組成定庵，實現(xiàn)分區(qū)的代碼實際上是通過對一組底層表的對象封裝吏饿，但對SQL層來說是一個完全封裝底層的黑盒子。MySQL實現(xiàn)分區(qū)的方式也意味著索引也是按照分區(qū)的子表定義洗贰，沒有全局索引
用戶的SQL語句是需要針對分區(qū)表做優(yōu)化找岖，SQL條件中要帶上分區(qū)條件的列陨倡，從而使查詢定位到少量的分區(qū)上敛滋，否則就會掃描全部分區(qū)，可以通過EXPLAIN PARTITIONS來查看某條SQL語句會落在那些分區(qū)上兴革，從而進行SQL優(yōu)化绎晃，我測試，查詢時不帶分區(qū)條件的列杂曲，也會提高速度庶艾，故該措施值得一試。
分區(qū)的好處
- 可以讓單表存儲更多的數(shù)據(jù)
- 分區(qū)表的數(shù)據(jù)更容易維護擎勘，可以通過清楚整個分區(qū)批量刪除大量數(shù)據(jù)咱揍，也可以增加新的分區(qū)來支持新插入的數(shù)據(jù)。另外棚饵，還可以對一個獨立分區(qū)進行優(yōu)化煤裙、檢查、修復等操作
- 部分查詢能夠從查詢條件確定只落在少數(shù)分區(qū)上噪漾，速度會很快
- 分區(qū)表的數(shù)據(jù)還可以分布在不同的物理設備上硼砰，從而搞笑利用多個硬件設備
- 可以使用分區(qū)表賴避免某些特殊瓶頸，例如InnoDB單個索引的互斥訪問欣硼、ext3文件系統(tǒng)的inode鎖競爭
- 可以備份和恢復單個分區(qū)
分區(qū)的限制和缺點
- 一個表最多只能有1024個分區(qū)
- 如果分區(qū)字段中有主鍵或者唯一索引的列题翰，那么所有主鍵列和唯一索引列都必須包含進來
- 分區(qū)表無法使用外鍵約束
- NULL值會使分區(qū)過濾無效
- 所有分區(qū)必須使用相同的存儲引擎
分區(qū)的類型
- RANGE分區(qū)：基于屬于一個給定連續(xù)區(qū)間的列值，把多行分配給分區(qū)
- LIST分區(qū)：類似于按RANGE分區(qū)诈胜，區(qū)別在于LIST分區(qū)是基于列值匹配一個離散值集合中的某個值來進行選擇
- HASH分區(qū)：基于用戶定義的表達式的返回值來進行選擇的分區(qū)豹障，該表達式使用將要插入到表中的這些行的列值進行計算。這個函數(shù)可以包含MySQL中有效的焦匈、產(chǎn)生非負整數(shù)值的任何表達式
- KEY分區(qū)：類似于按HASH分區(qū)沼填，區(qū)別在于KEY分區(qū)只支持計算一列或多列，且MySQL服務器提供其自身的哈希函數(shù)括授。必須有一列或多列包含整數(shù)值
具體關于MySQL分區(qū)的概念請自行google或查詢官方文檔坞笙，我這里只是拋磚引玉了岩饼。
我首先根據(jù)月份把上網(wǎng)記錄表RANGE分區(qū)了12份，查詢效率提高6倍左右薛夜，效果不明顯籍茧，故：換id為HASH分區(qū)，分了64個分區(qū)梯澜，查詢速度提升顯著寞冯。問題解決！
結果如下：PARTITION BY HASH (id)PARTITIONS 64
select count(*) from readroom_website; --11901336行記錄
/* 受影響行數(shù): 0 已找到記錄: 1 警告: 0 持續(xù)時間 1 查詢: 5.734 sec. */
select * from readroom_website where month(accesstime) =11 limit 10;
/* 受影響行數(shù): 0 已找到記錄: 10 警告: 0 持續(xù)時間 1 查詢: 0.719 sec. */
5.分表
分表就是把一張大表晚伙，按照如上過程都優(yōu)化了吮龄，還是查詢卡死，那就把這個表分成多張表咆疗，把一次查詢分成多次查詢漓帚，然后把結果組合返回給用戶。
分表分為垂直拆分和水平拆分午磁，通常以某個字段做拆分項尝抖。比如以id字段拆分為100張表： 表名為 tableName_id%100
但：分表需要修改源程序代碼，會給開發(fā)帶來大量工作迅皇，極大的增加了開發(fā)成本昧辽，故：只適合在開發(fā)初期就考慮到了大量數(shù)據(jù)存在，做好了分表處理登颓，不適合應用上線了再做修改搅荞，成本太高！？蛄咕痛！而且選擇這個方案，都不如選擇我提供的第二第三個方案的成本低扁耐！故不建議采用暇检。
6.分庫
把一個數(shù)據(jù)庫分成多個，建議做個讀寫分離就行了婉称，真正的做分庫也會帶來大量的開發(fā)成本块仆，得不償失！不推薦使用王暗。
方案二詳細說明:升級數(shù)據(jù)庫悔据，換一個100%兼容MySQL的數(shù)據(jù)庫
MySQL性能不行，那就換個俗壹。為保證源程序代碼不修改科汗，保證現(xiàn)有業(yè)務平穩(wěn)遷移，故需要換一個100%兼容MySQL的數(shù)據(jù)庫绷雏。
1. 開源選擇
- tiDB pingcap/tidb
- Cubrid Open Source Database With Enterprise Features
開源數(shù)據(jù)庫會帶來大量的運維成本且其工業(yè)品質(zhì)和MySQL尚有差距头滔，有很多坑要踩怖亭，如果你公司要求必須自建數(shù)據(jù)庫，那么選擇該類型產(chǎn)品坤检。
2. 云數(shù)據(jù)選擇
- 阿里云POLARDB
官方介紹語：POLARDB 是阿里云自研的下一代關系型分布式云原生數(shù)據(jù)庫兴猩，100%兼容MySQL，存儲容量最高可達 100T早歇，性能最高提升至 MySQL 的 6 倍倾芝。POLARDB 既融合了商業(yè)數(shù)據(jù)庫穩(wěn)定、可靠箭跳、高性能的特征晨另，又具有開源數(shù)據(jù)庫簡單、可擴展谱姓、持續(xù)迭代的優(yōu)勢借尿，而成本只需商用數(shù)據(jù)庫的 1/10。
我開通測試了一下逝段，支持免費MySQL的數(shù)據(jù)遷移垛玻，無操作成本割捅，性能提升在10倍左右奶躯，價格跟rds相差不多，是個很好的備選解決方案亿驾！
- 阿里云OcenanBase
淘寶使用的嘹黔，扛得住雙十一，性能卓著莫瞬，但是在公測中儡蔓，我無法嘗試，但值得期待
- 阿里云HybridDB for MySQL (原PetaData)
官方介紹：云數(shù)據(jù)庫HybridDB for MySQL （原名PetaData）是同時支持海量數(shù)據(jù)在線事務（OLTP）和在線分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關系型數(shù)據(jù)庫疼邀。
我也測試了一下喂江，是一個olap和oltp兼容的解決方案，但是價格太高旁振，每小時高達10塊錢获询，用來做存儲太浪費了，適合存儲和分析一起用的業(yè)務拐袜。
- 騰訊云DCDB
官方介紹：DCDB又名TDSQL吉嚣，一種兼容MySQL協(xié)議和語法，支持自動水平拆分的高性能分布式數(shù)據(jù)庫——即業(yè)務顯示為完整的邏輯表蹬铺，數(shù)據(jù)卻均勻的拆分到多個分片中尝哆；每個分片默認采用主備架構，提供災備甜攀、恢復秋泄、監(jiān)控琐馆、不停機擴容等全套解決方案，適用于TB或PB級的海量數(shù)據(jù)場景恒序。
騰訊的我不喜歡用啡捶，不多說。原因是出了問題找不到人奸焙，線上問題無法解決頭疼瞎暑！但是他價格便宜，適合超小公司与帆，玩玩了赌。
方案三詳細說明:去掉MySQL,換大數(shù)據(jù)引擎處理數(shù)據(jù)
數(shù)據(jù)量過億了，沒得選了玄糟，只能上大數(shù)據(jù)了勿她。
1. 開源解決方案
hadoop家族。hbase/hive懟上就是了阵翎。但是有很高的運維成本逢并，一般公司是玩不起的，沒十萬投入是不會有很好的產(chǎn)出的郭卫！
2.云解決方案
這個就比較多了砍聊，也是一種未來趨勢，大數(shù)據(jù)由專業(yè)的公司提供專業(yè)的服務贰军，小公司或個人購買服務玻蝌，大數(shù)據(jù)就像水/電等公共設施一樣，存在于社會的方方面面词疼。
國內(nèi)做的最好的當屬阿里云俯树。
我選擇了阿里云的MaxCompute配合DataWorks，使用超級舒服贰盗，按量付費许饿，成本極低。
MaxCompute可以理解為開源的Hive舵盈，提供SQL/mapreduce/ai算法/python腳本/shell腳本等方式操作數(shù)據(jù)陋率，數(shù)據(jù)以表格的形式展現(xiàn)，以分布式方式存儲书释，采用定時任務和批處理的方式處理數(shù)據(jù)翘贮。DataWorks提供了一種工作流的方式管理你的數(shù)據(jù)處理任務和調(diào)度監(jiān)控。
當然你也可以選擇阿里云hbase等其他產(chǎn)品爆惧，我這里主要是離線處理狸页，故選擇MaxCompute，基本都是圖形界面操作，大概寫了300行SQL芍耘，費用不超過100塊錢就解決了數(shù)據(jù)處理問題址遇。
