內(nèi)容來源：華為云社區(qū)

作者：華為云數(shù)據(jù)庫高級項目經(jīng)理/肖永

肖永：

華為云RDS從上線到現(xiàn)在可以說是飛速發(fā)展诉稍，我個人有幸見證了這樣一個進(jìn)步過程检碗，今天跟大家分享一下階段性的小成果：HWSQL。在介紹HWSQL具體內(nèi)容之前帆离，我們先看一下云數(shù)據(jù)庫到底做了些什么钱烟？

云數(shù)據(jù)庫做了什么

在幫助客戶搬遷上云的過程租悄，我們經(jīng)常面臨一些客戶的問題：“為什么我不采用自建呢琼了？”當(dāng)客戶問這個問題時他看到的RDS是有一些基本的數(shù)據(jù)庫管理逻锐，數(shù)據(jù)庫的增產(chǎn)查改，備份審計等，這些功能看起來DBA寫一些腳本就行昧诱。 實際上我們服務(wù)化在實現(xiàn)這些功能背后做了很多內(nèi)容晓淀，主要有兩方面：

一是我們的功能都是基于云架構(gòu)進(jìn)行選擇和設(shè)計的，凝結(jié)著云上全面的能力盏档，比如我們跟OBS自動集成進(jìn)行備份的管理凶掰，比如說出于可靠性和擴(kuò)展性我們底層選用EVS，不中斷業(yè)務(wù)的進(jìn)行磁盤擴(kuò)展妆丘。還有底層的ECS調(diào)度锄俄，反親和的放置局劲，這是自建數(shù)據(jù)庫單單靠腳本無法完成的勺拣。

二是我們的產(chǎn)品包含了專業(yè)的數(shù)據(jù)庫人員針對云上進(jìn)行全面調(diào)優(yōu)測試，每一個相應(yīng)的配置都有相應(yīng)的專業(yè)DBA的優(yōu)化鱼填，你拿到以后就是優(yōu)化的成果药有，以及后臺大家看不到運(yùn)維系統(tǒng)，包括監(jiān)控苹丸、審計等等愤惰，在這個運(yùn)維系統(tǒng)之下，我們DBA會經(jīng)常進(jìn)行巡檢赘理，給大家提供非常安全可靠的能力宦言，這些能力也能通過專家服務(wù)提供出來，給大家一些解決方案的建議和選擇商模。

最重要的今天的主題奠旺，冰山之下，我們做了很多數(shù)據(jù)庫內(nèi)核方面的研究和加固施流，把數(shù)據(jù)庫本身的增強(qiáng)的能力提供給大家响疚。HWSQL的定位就是企業(yè)級的數(shù)據(jù)庫服務(wù)。什么是企業(yè)級的數(shù)據(jù)庫服務(wù)呢瞪醋？我個人理解當(dāng)我們購買一個企業(yè)級或者企業(yè)版的數(shù)據(jù)庫忿晕，我們主要購買了三項東西，第一樣?xùn)|西是一個企業(yè)級內(nèi)核能力的背書银受，它體現(xiàn)在企業(yè)級的質(zhì)量保障践盼，這樣大家用起來更加放心，包括我們用Oracle宾巍，DB2宏侍，MYSQL的企業(yè)版都有著超越開源版的質(zhì)量。二是增值特性蜀漆，開源是一種商業(yè)模式谅河，現(xiàn)在大多數(shù)的開源也被大公司所控制，一些核心增值特性在企業(yè)版開放，純開源版本是沒有的绷耍。三是高性能高可靠吐限，企業(yè)版本有著更高的標(biāo)準(zhǔn)。今天通過這三部分跟大家進(jìn)行交流褂始。

HWSQL內(nèi)核能力展示

第一部分是HWSQL內(nèi)核能力的展示诸典。

提到數(shù)據(jù)庫方面的內(nèi)核能力，一般情況下大家想到一些互聯(lián)網(wǎng)公司崎苗，其實華為在本身的基礎(chǔ)的軟件和技術(shù)的積累非常深厚狐粱，之前因為公司風(fēng)格的原因沒有對外展示。華為的數(shù)據(jù)庫內(nèi)核團(tuán)隊已經(jīng)做了很多年胆数，在金融業(yè)肌蜻，政府一些關(guān)鍵業(yè)務(wù)，包括華為內(nèi)部的關(guān)鍵業(yè)務(wù)必尼，都已經(jīng)用了華為自己的數(shù)據(jù)庫蒋搜，現(xiàn)在通過云服務(wù)，我們會把華為之前的積累展示出來判莉。

回到HWSQL這個團(tuán)隊里面豆挽，我們兩個主要的技術(shù)負(fù)責(zé)人，一是Calvin Sun券盅，他是我們現(xiàn)在HWSQL的技術(shù)負(fù)責(zé)人帮哈。Calvin曾經(jīng)是Oracle MySQL innodb團(tuán)隊的負(fù)責(zé)人，有十多年的MySQL內(nèi)核經(jīng)驗锰镀，在來華為之前他是Oracle MySQL上云技術(shù)顧問娘侍，所以他對MYSQL的技術(shù)和上云都是非常有經(jīng)驗的，由他帶領(lǐng)我們HWSQL的交付互站。第二位專家是Paul私蕾，Paul是ACM院士，微軟研究院20年首席研究員胡桃。他主要負(fù)責(zé)N+1版本踩叭， 華為數(shù)據(jù)庫其實是兩條線路來走，保證我們急速發(fā)展翠胰，第一條線是HWSQL在研版本容贝，我們是基礎(chǔ)的優(yōu)化和加固的東西。第二條線之景，也就是我們N+1的版本是更加前沿的版本斤富，有一些黑科技，軟硬件垂直整合的東西在里面锻狗，主要由Paul教授帶領(lǐng)大家來做满力。圍繞這兩位專家焕参，我們在外研，在加拿大和美國有將近20多位技術(shù)專家油额，分別來源業(yè)界知名的數(shù)據(jù)庫廠商叠纷。加上國內(nèi)一批有多年自研數(shù)據(jù)庫經(jīng)驗的內(nèi)核人員，大家一塊做HWSQL服務(wù)潦嘶，所以我們的內(nèi)核能力也是非常強(qiáng)的涩嚣。

HWSQL 強(qiáng)大內(nèi)核能力

內(nèi)核能力第二個體現(xiàn)點(diǎn)是質(zhì)量。 質(zhì)量很多時候大家不是特別的拿出來講掂僵，而對于華為來講航厚，最大的品牌是就質(zhì)量。對于MySQL來講锰蓬，大部分人都用開源MySQL幔睬，開源社區(qū)有開源測試套，也有很多人在用互妓，它的質(zhì)量是不是就很好呢溪窒？實際上并不是坤塞，一方面我們可以看到MySQL開源的bug提交還是非常多的冯勉，包括有各種架構(gòu)機(jī)制的問題，往往還是規(guī)避處理摹芙，當(dāng)你碰到坑的時候成本時很高的灼狰。對于商業(yè)版的MySQL，Oracle內(nèi)部有強(qiáng)大的QA團(tuán)隊來做質(zhì)量加固浮禾，有自己的測試套并沒有公布出去交胚，大家可以知道真正商業(yè)版和純開源版的質(zhì)量不是一個檔次。

我們怎么做的呢盈电？主要兩個部分蝴簇，一是框架部分，我們有四層防護(hù)匆帚，包括有AT熬词，ST，以及我們有專業(yè)的集成測試團(tuán)隊驗收吸重，華為之前專業(yè)測試力量去驗收互拾，最終到線上以后，進(jìn)行灰度發(fā)布嚎幸，線上驗證颜矿，這是我們的質(zhì)量流程框架。

里面具體的內(nèi)容嫉晶，首先是將所有的MySQL生態(tài)的側(cè)記級都拿進(jìn)來骑疆，包括MYSQL田篇、percona、mariadb的箍铭，都會拿過來開看斯辰，收入到我們自己的用例級里面。在這之上我們還開發(fā)了一些測試套坡疼，比如自研一致性測試工具集彬呻，以及DFX測試用例集，反復(fù)捶打和鍛造式的測試柄瑰。通過這些投入闸氮，我們有一個企業(yè)級的質(zhì)量保障，我們先于開源發(fā)現(xiàn)修復(fù)XX bug教沾，很多我們也提給了社區(qū)進(jìn)行回饋蒲跨。而基于現(xiàn)在云的管理，當(dāng)天如果發(fā)現(xiàn)開源bug授翻，當(dāng)天就可以進(jìn)行急速修復(fù)或悲，可以把大家還沒有遇到的開源問題的風(fēng)險規(guī)避掉。

第二部分是HWSQL增值特性部分堪唐，我們會根據(jù)云上客戶的訴求不斷快速的補(bǔ)充增值特性巡语，我舉其中的一個例子介紹一下。 舉例：華為消費(fèi)者云淮菠。華為消費(fèi)者云承接了華為手機(jī)業(yè)務(wù)男公，現(xiàn)在華為手機(jī)比較火，它整體的數(shù)據(jù)量很大合陵，業(yè)務(wù)擴(kuò)展也很快枢赔，需要強(qiáng)大的數(shù)據(jù)庫平臺支撐。其中有十幾個業(yè)務(wù)共用一個數(shù)據(jù)庫拥知，這是一個很正常的場景踏拜，可能在座各位所在公司也有同樣的場景。第一個從成本考慮低剔，第二在業(yè)務(wù)上可能有數(shù)據(jù)的訪問速梗，用同一個數(shù)據(jù)庫實例方便一些。但是這樣使用會有問題户侥，從MySQL本身來講镀琉，或者從數(shù)據(jù)庫本身來講，session之間是有資源競爭的蕊唐，當(dāng)session達(dá)到一定數(shù)量的時候屋摔，資源征用鎖的成本很高，性能會陡降替梨。對于客戶來說怎么辦呢钓试，只能控制每一個應(yīng)用鏈接數(shù)装黑，但是這個很不可靠，因為你控制鏈接的時候弓熏，應(yīng)用并發(fā)可能跟不上恋谭，應(yīng)用內(nèi)部要去排隊，這個對應(yīng)用有一些要求挽鞠，另外如果有一個應(yīng)用它出現(xiàn)的問題疚颊，我把連接占多了，其他應(yīng)用就用不了了信认，這在可靠性上有問題材义。開源版本有這樣的問題，但是在Oracle的商用版MySQL上沒有這個問題嫁赏，這兩張圖是oracle官網(wǎng)發(fā)布的其掂，可以看到鏈接數(shù)上升時開源版和商用版的差異。

我們在HWSQL上做了商用版類似的內(nèi)置連接池功能潦蝇， 開源MYSQL上一個鏈接對應(yīng)一個內(nèi)部的session款熬，是一對一的關(guān)系，所以一旦鏈接比較多的時候攘乒，就有剛才說的資源消耗的問題贤牛。HWSQL的內(nèi)置鏈接池對鏈接進(jìn)行分組，外部鏈接和內(nèi)部session是一個一對多的關(guān)系持灰，這樣在內(nèi)部可以讓數(shù)據(jù)庫運(yùn)行在一個很健康的狀態(tài)下盔夜。其中的排序?qū)蛻魳I(yè)務(wù)透明负饲，業(yè)務(wù)不需要關(guān)注堤魁。從測試結(jié)果上，在多達(dá)8192鏈接的時候返十，性能不會基本進(jìn)行衰減妥泉。 會看到在小鏈接情況下HWSQL在云上性能比開源版本在云上性能有將近2—3倍的提升，后面大并發(fā)的場景它還不會衰減洞坑，對于這種消費(fèi)者云盲链，HWSQL通過增值的特性解決了他的場景問題能，現(xiàn)在也已經(jīng)進(jìn)行使用迟杂。

還有其他的增值特性刽沾，逐步會在我們社區(qū)進(jìn)行分享，大家可以去了解排拷，下面如果有一些企業(yè)很關(guān)鍵的問題侧漓，在業(yè)務(wù)端很難解決，希望在數(shù)據(jù)庫端解決可以和我們聯(lián)系监氢，我們在很快把這些需求進(jìn)行反饋布蔗。

最后一個部分介紹高性能高可靠進(jìn)行的一些優(yōu)化藤违。

從HWSQL公測以來我們已經(jīng)經(jīng)過很多客戶的競標(biāo)，對于企業(yè)級客戶上云纵揍，性能比拼和可靠性比拼是基礎(chǔ)選項顿乒。首先從華為數(shù)據(jù)庫架構(gòu)上我們選擇了云盤，而國內(nèi)大多數(shù)廠商選擇的是本地盤泽谨。業(yè)界領(lǐng)頭的AWS用的也是云盤璧榄，為什么華為選擇云盤？ 因為華為看重可靠性和技術(shù)的演進(jìn)吧雹，可靠性上我們的云盤有三副本犹菱，提供了非常高的可靠性，和本地盤的raid不是一個水平吮炕。二是從技術(shù)演進(jìn)來講腊脱，本地盤有諸多限制，比如磁盤大小的限制龙亲。比如備份陕凹，本地盤備份大小和數(shù)據(jù)庫量已經(jīng)成為正比，這必然有限制鳄炉，當(dāng)數(shù)據(jù)量很大杜耙，備份就會很慢了，進(jìn)而影響可用性拂盯∮优基于云盤，我們可以做基于存儲的快照谈竿，基于塊級的增量備份處理团驱。云盤有好處也有壞處，壞處在于它的時延空凸，相對于本地盤差一些嚎花。在云盤之上我們怎么保證它的性能呢，傳統(tǒng)數(shù)據(jù)庫還是很依賴時延的呀洲，比如MYSQL的binlog紊选，redo log都是同步IO。 基于EVS存儲我們就需要改變這些IO模型道逗，比MySQL為了解決半寫問題引入doublewrite buffer兵罢，它是單線程同步寫的。

我們在第一個版本的做法滓窍，是multi-doublewrite buffer卖词，并發(fā)來解除對時延的依賴，在后面我們現(xiàn)在做云盤的原子寫贰您，基于原子寫接口坏平，就可以直接解決半寫問題拢操，廢除doublewrite buffer，同樣其他時延的依賴也是這個思路舶替。另外我們還做了很對鎖的優(yōu)化令境，大鎖拆小鎖，還有原生的算法的優(yōu)化等等顾瞪。 為什么我們選擇云盤的底氣也來源于華為強(qiáng)大的硬件能力舔庶，在華為還沒有做云的時候，是很多云廠商基礎(chǔ)設(shè)施提供者商了陈醒，都在購買華為的服務(wù)器惕橙，華為的存儲。所以我們能夠全棧的去思考解決問題钉跷，后面我們會有100微秒的云盤弥鹦，有下一代網(wǎng)絡(luò)芯片出來，有一些軟件卸載的東西爷辙，整體把軟硬件徹底打通彬坏。 下面一個競標(biāo)的數(shù)據(jù)分享給大家，這時客戶自己進(jìn)行線上測試的結(jié)果膝晾。和兩個友商進(jìn)行對比栓始，一個友商是20U20G，還有一個友商是16U16U血当，在我們8U16G是友商產(chǎn)品價格一半的情況下幻赚，我們的性能基本和它們持平，大并發(fā)情況我們可能更好臊旭；在同樣一個價格（16U32G）落恼，我們基本價格一致（便宜一點(diǎn)）的情況下，我們性能是大大趕超巍扛，所以最終這個客戶選用HWSQL领跛，現(xiàn)在催著我們趕緊商用，我們商用前會再更新一版硬件撤奸，性能進(jìn)一步提升。

最后分享HWSQL的未來喊括，剛才講了我們有兩個演進(jìn)的版本胧瓜，有三個東西分享，一是基于現(xiàn)在的版本郑什，我們持續(xù)做優(yōu)化府喳，5.7上面我們會做Online DDL、算子下推等等蘑拯，還有一些運(yùn)維的特性钝满。第二部分兜粘，在Q3的時候我們會推出金融版，3節(jié)點(diǎn)高可用強(qiáng)一致性弯蚜。最后一個是云上進(jìn)一步軟硬件垂直整合孔轴，提供類似Aurora架構(gòu)，進(jìn)一步提升性價比∷檗啵現(xiàn)集華為全棧能力與一體的一個軟硬件垂直整合的能力路鹰，使用底下DFV共享存儲池來完成原有replication功能，這個架構(gòu)下存儲引擎和事務(wù)引擎都會進(jìn)行適配改造收厨。

HWSQL未來

基于這種架構(gòu)可以非常多的只讀副本進(jìn)行擴(kuò)展晋柱。在MySQL Server層我們會把華為積累多年的global buffer pool技術(shù)提供出來，做到0時延讀诵叁，以及后續(xù)的多寫雁竞，未來變成真正云上海量擴(kuò)展。

這些就是我今天分享的內(nèi)容拧额，HWSQL正在路上一步一個腳印堅定快速的發(fā)展浓领，希望大家可以選擇HWSQL作為各位云上的伙伴。

主持人：

華為在數(shù)據(jù)庫團(tuán)隊的產(chǎn)品云化之前势腮，它積累了很多的研發(fā)經(jīng)驗联贩，它自己的內(nèi)核經(jīng)驗已經(jīng)很多。大家現(xiàn)在如果用了華為手機(jī)捎拯，華為消費(fèi)者業(yè)務(wù)泪幌，終端類業(yè)務(wù)，手機(jī)上的APP現(xiàn)在都是部署在華為云上署照，就是剛才介紹的消費(fèi)者云祸泪。我們現(xiàn)在有非常專業(yè)的海外專家團(tuán)隊，世界上最懂MySQL的五個人之一建芙，現(xiàn)在在華為海外的研究所没隘，加研所還有美研所。另外就是HWSQL的未來禁荸。從這幾個維度來講右蒲，大家提問一下HWSQL的專家，我們會給提問的來賓準(zhǔn)備一些禮物赶熟。

提問：

現(xiàn)在facebook搞的SQL DD瑰妄，有MYSQL，如果替換映砖，如果用MySQL有什么優(yōu)勢和損失嗎间坐？？

肖永：

國內(nèi)有一個產(chǎn)品在谷歌孵化器里面，是做基于MySQL的優(yōu)化竹宋，這種存儲有優(yōu)點(diǎn)和缺點(diǎn)劳澄，它在數(shù)據(jù)寫的模型非常好，它的好處是壓縮蜈七，你的存儲數(shù)據(jù)量如果比較大秒拔，會帶來非常好的收益，facebook數(shù)量很大宪潮，這種情況下可以省磁盤的空間溯警，但是它的業(yè)務(wù)模型比較受限，國內(nèi)一些不良廠商狡相，像百度梯轻，底下原來那個就是那個前身，爬蟲這些業(yè)務(wù)會放 在上面尽棕，在ORTP領(lǐng)域喳挑，我們的一致性，它是通用數(shù)據(jù)庫滔悉，所以這種場景優(yōu)化我們并沒有放進(jìn)去伊诵，但是阿里也沒有放進(jìn)去，但是我們做一個事情回官，如果你有這樣整合的需求曹宴，在（忙夠DB）上，會集成這樣的引擎歉提，并且我們后面會做基于（忙夠DB）（Rua克斯DB）的更深度的優(yōu)化笛坦，我們覺得那個場景更適合，雙方有點(diǎn)分裂的感覺苔巨，但是我們也得考慮一個方向版扩。

提問：

剛才有一個價格，并發(fā)有一個表侄泽，包括算這個價格方面礁芦，云存儲和這個價格有什么關(guān)系？

肖永：

我們企業(yè)價格按照節(jié)點(diǎn)來算的悼尾，你的存儲和你的業(yè)務(wù)相關(guān)柿扣，我們在購買一個RDF實力的時候，你主要付這個節(jié)點(diǎn)的價格費(fèi)用诀豁，這個費(fèi)用和ECS差距非常小窄刘，二是存儲價格，你用多少舷胜，你買多少，它支持包月和包年的消費(fèi)方式，沒有直接綁定關(guān)系烹骨，不是提供你的是一個8U32G的500G的磁盤翻伺，不是這樣，磁盤按你的區(qū)域自己去做沮焕，另算錢吨岭。

提問：

你們這是數(shù)據(jù)庫，應(yīng)用是不是單獨(dú)部署到另外一個服務(wù)器上峦树？光用你們的數(shù)據(jù)庫辣辫。

肖永：

對，應(yīng)用是單獨(dú)部署的魁巩，這是數(shù)據(jù)庫服務(wù)急灭，應(yīng)用應(yīng)該有開發(fā)的人員給你講解。

提問：

在有些場景下谷遂，有些企業(yè)手于一定的限制葬馋，比如一個企業(yè)的云服務(wù)的數(shù)據(jù)庫，放虛擬云虛擬機(jī)上肾扰，這個系統(tǒng)華為能不能做私有云的業(yè)務(wù)畴嘶？

肖永：

我們現(xiàn)在有私有云業(yè)務(wù)，如果大家關(guān)注新聞集晚，華為私有云業(yè)務(wù)發(fā)展的非常好窗悯。如果你在云上，如果你本地有自己的管理系統(tǒng)偷拔，已經(jīng)做的非常好的時候蒋院，如果要投更大的，對你來說是很大的成本条摸，你如果做私有云的規(guī)模一定是有IT能力悦污，你可以進(jìn)行另外一個選擇，我們先有DRS服務(wù)钉蒲，你可以把你的背景切端，把載位部署到華為云上，來享受這樣的高可靠顷啼，你業(yè)務(wù)還可以這樣跑踏枣，你覺得放到我自己數(shù)據(jù)中心不放心，這是另外一種場景钙蒙，可以把我們當(dāng)成備機(jī)跑茵瀑，我覺得云還是一個方向，最終在那個合適的時候躬厌，就可以支持马昨，但是私有云我們也有這樣方便的業(yè)務(wù)。

提問：

華為云私有云，之前從2012年2013年華為就開始起步做這一塊鸿捧，對企業(yè)來說屹篓，這兩天國內(nèi)生產(chǎn)制造型企業(yè)日子不好過，我的一個客戶匙奴，現(xiàn)在他們有一個IT中心堆巧，機(jī)器系統(tǒng)在上面部署類似虛擬云的WAP的方式，這兩年做的超融合云泼菌，做（艾斯）那些東西风罩。企業(yè)的預(yù)算钻心，有核算的情況下农尖，把私有云東西卡進(jìn)去涣易。

肖永：

這個問題比較大。

提問：

我們下來聊也可以笋颤。

肖永：

我補(bǔ)充一個乳附，云現(xiàn)在是一個方向，很多企業(yè)有考慮伴澄，我不希望一下完全放到公共資源池里面赋除，我是不放心的。現(xiàn)在在華為公有云的專屬云的特性我們馬上支持非凌，物理上你的那塊資源就是隔離的举农，對于成本的問題，非標(biāo)硬件的問題敞嗡，這是比較細(xì)的話題颁糟。