軍規(guī)適用場(chǎng)景:并發(fā)量大、數(shù)據(jù)量大的互聯(lián)網(wǎng)業(yè)務(wù)
軍規(guī):介紹內(nèi)容
解讀:講解原因,解讀比軍規(guī)更重要
一、基礎(chǔ)規(guī)范
(1)必須使用InnoDB存儲(chǔ)引擎
解讀:支持事務(wù)锨并、行級(jí)鎖、并發(fā)性能更好睬棚、CPU及內(nèi)存緩存頁(yè)優(yōu)化使得資源利用率更高
(2)必須使用UTF8字符集
解讀:萬(wàn)國(guó)碼第煮,無(wú)需轉(zhuǎn)碼,無(wú)亂碼風(fēng)險(xiǎn)抑党,節(jié)省空間
(3)數(shù)據(jù)表包警、數(shù)據(jù)字段必須加入中文注釋
解讀:N年后誰(shuí)tm知道這個(gè)r1,r2,r3字段是干嘛的
(4)禁止使用存儲(chǔ)過(guò)程、視圖底靠、觸發(fā)器害晦、Event
解讀:高并發(fā)大數(shù)據(jù)的互聯(lián)網(wǎng)業(yè)務(wù),架構(gòu)設(shè)計(jì)思路是“解放數(shù)據(jù)庫(kù)CPU暑中,將計(jì)算轉(zhuǎn)移到服務(wù)層”壹瘟,并發(fā)量大的情況下,這些功能很可能將數(shù)據(jù)庫(kù)拖死鳄逾,業(yè)務(wù)邏輯放到服務(wù)層具備更好的擴(kuò)展性稻轨,能夠輕易實(shí)現(xiàn)“增機(jī)器就加性能”。數(shù)據(jù)庫(kù)擅長(zhǎng)存儲(chǔ)與索引雕凹,CPU計(jì)算還是上移吧
(5)禁止存儲(chǔ)大文件或者大照片
解讀:為何要讓數(shù)據(jù)庫(kù)做它不擅長(zhǎng)的事情澄者?大文件和照片存儲(chǔ)在文件系統(tǒng),數(shù)據(jù)庫(kù)里存URI多好
二请琳、命名規(guī)范
(6)只允許使用內(nèi)網(wǎng)域名,而不是ip連接數(shù)據(jù)庫(kù)
(7)線上環(huán)境赠幕、開(kāi)發(fā)環(huán)境俄精、測(cè)試環(huán)境數(shù)據(jù)庫(kù)內(nèi)網(wǎng)域名遵循命名規(guī)范
業(yè)務(wù)名稱(chēng):xxx
線上環(huán)境:dj.xxx.db
開(kāi)發(fā)環(huán)境:dj.xxx.rdb
測(cè)試環(huán)境:dj.xxx.tdb
從庫(kù)在名稱(chēng)后加-s標(biāo)識(shí),備庫(kù)在名稱(chēng)后加-ss標(biāo)識(shí)
線上從庫(kù):dj.xxx-s.db
線上備庫(kù):dj.xxx-sss.db
(8)庫(kù)名榕堰、表名竖慧、字段名:小寫(xiě),下劃線風(fēng)格逆屡,不超過(guò)32個(gè)字符圾旨,必須見(jiàn)名知意,禁止拼音英文混用
(9)表名t_xxx魏蔗,非唯一索引名idx_xxx砍的,唯一索引名uniq_xxx
三、表設(shè)計(jì)規(guī)范
(10)單實(shí)例表數(shù)目必須小于500
(11)單表列數(shù)目必須小于30
(12)表必須有主鍵莺治,例如自增主鍵
解讀:
a)主鍵遞增廓鞠,數(shù)據(jù)行寫(xiě)入可以提高插入性能帚稠,可以避免page分裂,減少表碎片提升空間和內(nèi)存的使用
b)主鍵要選擇較短的數(shù)據(jù)類(lèi)型床佳, Innodb引擎普通索引都會(huì)保存主鍵的值滋早,較短的數(shù)據(jù)類(lèi)型可以有效的減少索引的磁盤(pán)空間,提高索引的緩存效率
c) 無(wú)主鍵的表刪除砌们,在row模式的主從架構(gòu)杆麸,會(huì)導(dǎo)致備庫(kù)夯住
(13)禁止使用外鍵約束,可以冗余外鍵浪感,如果有外鍵完整性約束昔头,需要應(yīng)用程序控制
解讀:外鍵會(huì)導(dǎo)致表與表之間耦合,update與delete操作都會(huì)涉及相關(guān)聯(lián)的表篮撑,十分影響sql 的性能减细,甚至?xí)斐伤梨i。高并發(fā)情況下容易造成數(shù)據(jù)庫(kù)性能赢笨,大數(shù)據(jù)高并發(fā)業(yè)務(wù)場(chǎng)景數(shù)據(jù)庫(kù)使用以性能優(yōu)先
四未蝌、字段設(shè)計(jì)規(guī)范
(14)必須把字段定義為NOT NULL并且提供默認(rèn)值
解讀:
a)null的列使索引/索引統(tǒng)計(jì)/值比較都更加復(fù)雜,對(duì)MySQL來(lái)說(shuō)更難優(yōu)化
b)null 這種類(lèi)型MySQL內(nèi)部需要進(jìn)行特殊處理茧妒,增加數(shù)據(jù)庫(kù)處理記錄的復(fù)雜性萧吠;同等條件下,表中有較多空字段的時(shí)候桐筏,數(shù)據(jù)庫(kù)的處理性能會(huì)降低很多
c)null值需要更多的存儲(chǔ)空纸型,無(wú)論是表還是索引中每行中的null的列都需要額外的空間來(lái)標(biāo)識(shí)
d)對(duì)null 的處理時(shí)候,只能采用is null或is not null梅忌,而不能采用=狰腌、in、<牧氮、<>琼腔、!=、not in這些操作符號(hào)踱葛。如:where name!=’shenjian’丹莲,如果存在name為null值的記錄,查詢(xún)結(jié)果就不會(huì)包含name為null值的記錄
(15)禁止使用TEXT尸诽、BLOB類(lèi)型
解讀:會(huì)浪費(fèi)更多的磁盤(pán)和內(nèi)存空間甥材,非必要的大量的大字段查詢(xún)會(huì)淘汰掉熱數(shù)據(jù),導(dǎo)致內(nèi)存命中率急劇降低性含,影響數(shù)據(jù)庫(kù)性能
(16)禁止使用小數(shù)存儲(chǔ)貨幣
解讀:使用整數(shù)吧洲赵,小數(shù)容易導(dǎo)致錢(qián)對(duì)不上
(17)必須使用varchar(20)存儲(chǔ)手機(jī)號(hào)
解讀:
a)涉及到區(qū)號(hào)或者國(guó)家代號(hào),可能出現(xiàn)+-()
b)手機(jī)號(hào)會(huì)去做數(shù)學(xué)運(yùn)算么?
c)varchar可以支持模糊查詢(xún)板鬓,例如:like“138%”
(18)禁止使用ENUM悲敷,可使用TINYINT代替
解讀:
a)增加新的ENUM值要做DDL操作
b)ENUM的內(nèi)部實(shí)際存儲(chǔ)就是整數(shù),你以為自己定義的是字符串俭令?
五后德、索引設(shè)計(jì)規(guī)范
(19)單表索引建議控制在5個(gè)以?xún)?nèi)
(20)單索引字段數(shù)不允許超過(guò)5個(gè)
解讀:字段超過(guò)5個(gè)時(shí),實(shí)際已經(jīng)起不到有效過(guò)濾數(shù)據(jù)的作用了
(21)禁止在更新十分頻繁抄腔、區(qū)分度不高的屬性上建立索引
解讀:
a)更新會(huì)變更B+樹(shù)瓢湃,更新頻繁的字段建立索引會(huì)大大降低數(shù)據(jù)庫(kù)性能
b)“性別”這種區(qū)分度不大的屬性,建立索引是沒(méi)有什么意義的赫蛇,不能有效過(guò)濾數(shù)據(jù)绵患,性能與全表掃描類(lèi)似
(22)建立組合索引,必須把區(qū)分度高的字段放在前面
解讀:能夠更加有效的過(guò)濾數(shù)據(jù)
六悟耘、SQL使用規(guī)范
(23)禁止使用SELECT *落蝙,只獲取必要的字段,需要顯示說(shuō)明列屬性
解讀:
a)讀取不需要的列會(huì)增加CPU暂幼、IO筏勒、NET消耗
b)不能有效的利用覆蓋索引
c)使用SELECT *容易在增加或者刪除字段后出現(xiàn)程序BUG
(24)禁止使用INSERT INTO t_xxx VALUES(xxx),必須顯示指定插入的列屬性
解讀:容易在增加或者刪除字段后出現(xiàn)程序BUG
(25)禁止使用屬性隱式轉(zhuǎn)換
解讀:SELECT uid FROM t_user WHERE phone=13812345678 會(huì)導(dǎo)致全表掃描旺嬉,而不能命中phone索引管行,猜猜為什么?(這個(gè)線上問(wèn)題不止出現(xiàn)過(guò)一次)
(26)禁止在WHERE條件的屬性上使用函數(shù)或者表達(dá)式
解讀:SELECT uid FROM t_user WHERE from_unixtime(day)>='2017-02-15' 會(huì)導(dǎo)致全表掃描
正確的寫(xiě)法是:SELECT uid FROM t_user WHERE day>= unix_timestamp('2017-02-15 00:00:00')
(27)禁止負(fù)向查詢(xún)邪媳,以及%開(kāi)頭的模糊查詢(xún)
解讀:
a)負(fù)向查詢(xún)條件:NOT捐顷、!=、<>雨效、!<迅涮、!>、NOT IN徽龟、NOT LIKE等逗柴,會(huì)導(dǎo)致全表掃描
b)%開(kāi)頭的模糊查詢(xún),會(huì)導(dǎo)致全表掃描
(28)禁止大表使用JOIN查詢(xún)顿肺,禁止大表使用子查詢(xún)
解讀:會(huì)產(chǎn)生臨時(shí)表,消耗較多內(nèi)存與CPU渣蜗,極大影響數(shù)據(jù)庫(kù)性能
(29)禁止使用OR條件屠尊,必須改為IN查詢(xún)
解讀:舊版本Mysql的OR查詢(xún)是不能命中索引的,即使能命中索引耕拷,為何要讓數(shù)據(jù)庫(kù)耗費(fèi)更多的CPU幫助實(shí)施查詢(xún)優(yōu)化呢讼昆?
(30)應(yīng)用程序必須捕獲SQL異常,并有相應(yīng)處理
總結(jié):大數(shù)據(jù)量高并發(fā)的互聯(lián)網(wǎng)業(yè)務(wù)骚烧,極大影響數(shù)據(jù)庫(kù)性能的都不讓用浸赫,不讓用喲闰围。
補(bǔ)充:
軍規(guī):必須使用UTF8字符集
和DBA負(fù)責(zé)人確認(rèn)后,糾正為“新庫(kù)默認(rèn)使用utf8mb4字符集”既峡。
這點(diǎn)感謝網(wǎng)友的提醒羡榴,utf8mb4是utf8的超集,emoji表情以及部分不常見(jiàn)漢字在utf8下會(huì)表現(xiàn)為亂碼运敢,故需要升級(jí)至utf8mb4校仑。
默認(rèn)使用這個(gè)字符集的原因是:“標(biāo)準(zhǔn),萬(wàn)國(guó)碼传惠,無(wú)需轉(zhuǎn)碼迄沫,無(wú)亂碼風(fēng)險(xiǎn)”,并不“節(jié)省空間”卦方。
一個(gè)潛在坑:阿里云上RDS服務(wù)如果要從utf8升級(jí)為utf8mb4羊瘩,需要重啟實(shí)例,所以58到家并沒(méi)有把所有的數(shù)據(jù)庫(kù)升級(jí)成這個(gè)字符集盼砍,而是“新庫(kù)默認(rèn)使用utf8mb4字符集”尘吗。
自搭的Mysql可以完成在線轉(zhuǎn)換,而不需要重啟數(shù)據(jù)庫(kù)實(shí)例衬廷。
軍規(guī):數(shù)據(jù)表摇予、數(shù)據(jù)字段必須加入中文注釋
這一點(diǎn)應(yīng)該沒(méi)有疑問(wèn)。
不過(guò)也有朋友提出吗跋,加入注釋會(huì)方便黑客侧戴,建議“注釋寫(xiě)在文檔里,文檔和數(shù)據(jù)庫(kù)同步更新”跌宛。這個(gè)建議根據(jù)經(jīng)驗(yàn)來(lái)說(shuō)是不太靠譜的:
(1)不能怕bug就不寫(xiě)代碼酗宋,怕黑客就不寫(xiě)注釋?zhuān)瑢?duì)吧?
(2)文檔同步更新也不太現(xiàn)實(shí)疆拘,還是把注釋寫(xiě)好蜕猫,代碼可讀性做好更可行,互聯(lián)網(wǎng)公司的文檔管理哎迄?呆過(guò)互聯(lián)網(wǎng)公司的同學(xué)估計(jì)都清楚回右。
軍規(guī):禁止使用存儲(chǔ)過(guò)程、視圖漱挚、觸發(fā)器翔烁、Event
軍規(guī):禁止使用外鍵,如果有外鍵完整性約束旨涝,需要應(yīng)用程序控制
軍規(guī):禁止大表使用JOIN查詢(xún)蹬屹,禁止大表使用子查詢(xún)
很多網(wǎng)友提出,這些軍規(guī)不合理,完全做到不可能慨默。
如原文所述贩耐,58到家數(shù)據(jù)庫(kù)30條軍規(guī)的背景是“并發(fā)量大、數(shù)據(jù)量大的互聯(lián)網(wǎng)業(yè)務(wù)”厦取,這類(lèi)業(yè)務(wù)架構(gòu)設(shè)計(jì)的重點(diǎn)往往是吞吐量潮太,性能優(yōu)先(和錢(qián)相關(guān)的少部分業(yè)務(wù)是一致性?xún)?yōu)先),對(duì)數(shù)據(jù)庫(kù)性能影響較大的數(shù)據(jù)庫(kù)特性較少使用蒜胖。這類(lèi)場(chǎng)景的架構(gòu)方向是“解放數(shù)據(jù)庫(kù)CPU消别,把復(fù)雜邏輯計(jì)算放到服務(wù)層”,服務(wù)層具備更好的擴(kuò)展性台谢,容易實(shí)現(xiàn)“增機(jī)器就擴(kuò)充性能”寻狂,數(shù)據(jù)庫(kù)擅長(zhǎng)存儲(chǔ)與索引,勿讓數(shù)據(jù)庫(kù)背負(fù)過(guò)重的任務(wù)朋沮。
關(guān)于這個(gè)點(diǎn)蛇券,再有較真的柳巖小編就不回復(fù)了哈,任何事情都沒(méi)有百分之百樊拓,但58到家的數(shù)據(jù)庫(kù)使用確實(shí)沒(méi)有存儲(chǔ)過(guò)程纠亚、視圖、觸發(fā)器筋夏、外鍵蒂胞、用戶(hù)自定義函數(shù),針對(duì)業(yè)務(wù)特性設(shè)計(jì)架構(gòu)条篷,等單庫(kù)吞吐量到了幾千上萬(wàn)骗随,就明白這些軍規(guī)的重要性啦。
軍規(guī):只允許使用內(nèi)網(wǎng)域名赴叹,而不是ip連接數(shù)據(jù)庫(kù)
這一點(diǎn)應(yīng)該也沒(méi)有疑問(wèn)鸿染。
不只是數(shù)據(jù)庫(kù),緩存(memcache乞巧、redis)的連接涨椒,服務(wù)(service)的連接都必須使用內(nèi)網(wǎng)域名,機(jī)器遷移/平滑升級(jí)/運(yùn)維管理…太多太多的好處绽媒,如果朋友你還是采用ip直連的蚕冬,趕緊升級(jí)到內(nèi)網(wǎng)域名吧。
軍規(guī):禁止使用小數(shù)存儲(chǔ)國(guó)幣
有朋友問(wèn)存儲(chǔ)前乘以100是辕,取出后除以100是否可行播瞳,個(gè)人建議“盡量少的使用除法”。
曾經(jīng)踩過(guò)這樣的坑免糕,100元分3天攤銷(xiāo),每天攤銷(xiāo)100/3元,結(jié)果得到3個(gè)33.33石窑。后來(lái)實(shí)施對(duì)賬系統(tǒng)牌芋,始終有幾分錢(qián)對(duì)不齊,郁悶了很久(不是幾分錢(qián)的事松逊,是業(yè)務(wù)方質(zhì)疑的眼神讓研發(fā)很不爽)躺屁,最后發(fā)現(xiàn)是除法惹的禍。
解決方案:使用“分”作為單位经宏,這樣數(shù)據(jù)庫(kù)里就是整數(shù)了犀暑。
案例:SELECT uid FROM t_user WHERE phone=13812345678 會(huì)導(dǎo)致全表掃描,而不能命中phone索引
這個(gè)坑大家沒(méi)踩過(guò)么烁兰?
phone是varchar類(lèi)型耐亏,SQL語(yǔ)句帶入的是整形,故不會(huì)命中索引沪斟,加個(gè)引號(hào)就好了:
SELECT uid FROM t_user WHERE phone=’13812345678’
軍規(guī):禁止使用負(fù)向查詢(xún)NOT广辰、!=、<>主之、!<择吊、!>、NOT IN槽奕、NOT LIKE等几睛,會(huì)導(dǎo)致全表掃描
此軍規(guī)爭(zhēng)議比較大,部分網(wǎng)友反饋不這么做很多業(yè)務(wù)實(shí)現(xiàn)不了粤攒,稍微解釋一下:
一般來(lái)說(shuō)所森,WHERE過(guò)濾條件不會(huì)只帶這么一個(gè)“負(fù)向查詢(xún)條件”,還會(huì)有其他過(guò)濾條件琼讽,舉個(gè)例子:查詢(xún)沈劍已完成訂單之外的訂單(好拗口):
SELECT oid FROM t_order WHERE uid=123 AND status != 1;
訂單表5000w數(shù)據(jù)必峰,但uid=123就會(huì)迅速的將數(shù)據(jù)量過(guò)濾到很少的級(jí)別(uid建立了索引),此時(shí)再接上一個(gè)負(fù)向的查詢(xún)條件就無(wú)所謂了钻蹬,掃描的行數(shù)本身就會(huì)很少吼蚁。
但如果要查詢(xún)所有已完成訂單之外的訂單:
SELECT oid FROM t_order WHERE status != 1;
這就掛了,立馬CPU100%问欠,status索引會(huì)失效肝匆,負(fù)向查詢(xún)導(dǎo)致全表掃描。
末了顺献,除了《58到家數(shù)據(jù)庫(kù)30條軍規(guī)解讀》中提到的基礎(chǔ)規(guī)范旗国、命名規(guī)范、表設(shè)計(jì)規(guī)范注整、字段設(shè)計(jì)規(guī)范能曾、索引設(shè)計(jì)規(guī)范度硝、SQL使用規(guī)范,還有一個(gè)行為規(guī)范的軍規(guī):
(31)禁止使用應(yīng)用程序配置文件內(nèi)的帳號(hào)手工訪問(wèn)線上數(shù)據(jù)庫(kù)
(32)禁止非DBA對(duì)線上數(shù)據(jù)庫(kù)進(jìn)行寫(xiě)操作寿冕,修改線上數(shù)據(jù)需要提交工單蕊程,由DBA執(zhí)行,提交的SQL語(yǔ)句必須經(jīng)過(guò)測(cè)試
(33)分配非DBA以只讀帳號(hào)驼唱,必須通過(guò)VPN+跳板機(jī)訪問(wèn)授權(quán)的從庫(kù)
(34)開(kāi)發(fā)藻茂、測(cè)試、線上環(huán)境隔離
為什么要制定行為規(guī)范的軍規(guī)呢玫恳,大伙的公司是不是有這樣的情況:
任何研發(fā)辨赐、測(cè)試都有連接線上數(shù)據(jù)庫(kù)的帳號(hào)?
是不是經(jīng)常有這類(lèi)誤操作京办?
(1)本來(lái)只想update一條記錄掀序,where條件搞錯(cuò),update了全部的記錄
(2)本來(lái)只想delete幾行記錄臂港,結(jié)果刪多了森枪,四下無(wú)人,再insert回去
(3)以為drop的是測(cè)試庫(kù)审孽,結(jié)果把線上庫(kù)drop掉了
(4)以為操作的是分庫(kù)x县袱,結(jié)果SecureCRT開(kāi)窗口太多,操作成了分庫(kù)y
(5)寫(xiě)錯(cuò)配置文件佑力,壓力測(cè)試壓到線上庫(kù)了式散,生成了N多臟數(shù)據(jù)
…
無(wú)數(shù)的事情,結(jié)果就是打電話給DBA打颤,讓他們幫忙擦屁股暴拄。
…
所謂的“業(yè)務(wù)靈活性”都是扯淡,為什么要有行為規(guī)范编饺?不讓你帶刀乖篷,不是限制你,而是保護(hù)你的安全透且。要相信DBA是專(zhuān)業(yè)的撕蔼,讓專(zhuān)業(yè)的人干專(zhuān)業(yè)的事情。別把DBA看做你的對(duì)立面秽誊,多和他們溝通業(yè)務(wù)場(chǎng)景鲸沮,溝通請(qǐng)求讀寫(xiě)比,溝通訪問(wèn)模式锅论,他們真的能幫助到你讼溺,這是我?guī)BA團(tuán)隊(duì)的一些感觸。
誰(shuí)都可能刪除全庫(kù)最易,能找回?cái)?shù)據(jù)的怒坯,真的只有DBA炫狱。想學(xué)Java的可以留言,評(píng)論我整理一些零基礎(chǔ)到實(shí)戰(zhàn)的視頻資料想要的留言私聊