mysql執(zhí)行過程
一MySQL 基礎(chǔ)架構(gòu)分析
1.1 MySQL 基本架構(gòu)概覽
下圖是MySQL 的一個簡要架構(gòu)圖，從下圖你可以很清晰的看到用戶的 SQL 語句在 MySQL 內(nèi)部是如何執(zhí)行的距辆。
先簡單介紹一下下圖涉及的一些組件的基本作用幫助大家理解這幅圖句喷，在1.2 節(jié)中會詳細介紹到這些組件的作用慨蓝。
?連接器：?身份認證和權(quán)限相關(guān)(登錄 MySQL 的時候)俱恶。?查詢緩存:??執(zhí)行查詢語句的時候帖族，會先查詢緩存（MySQL 8.0 版本后移除，因為這個功能不太實用）逊抡。?分析器:??沒有命中緩存的話，SQL 語句就會經(jīng)過分析器零酪，分析器說白了就是要先看你的 SQL 語句要干嘛冒嫡，再檢查你的 SQL 語句語法是否正確拇勃。?優(yōu)化器：?按照 MySQL 認為最優(yōu)的方案去執(zhí)行。?執(zhí)行器:??執(zhí)行語句孝凌，然后從存儲引擎返回數(shù)據(jù)方咆。
簡單來說MySQL 主要分為 Server 層和存儲引擎層：
?Server 層：主要包括連接器、查詢緩存蟀架、分析器瓣赂、優(yōu)化器、執(zhí)行器等片拍，所有跨存儲引擎的功能都在這一層實現(xiàn)煌集，比如存儲過程、觸發(fā)器穆碎、視圖牙勘，函數(shù)等，還有一個通用的日志模塊binglog 日志模塊所禀。?存儲引擎：主要負責數(shù)據(jù)的存儲和讀取方面，采用可以替換的插件式架構(gòu)，支持InnoDB色徘、MyISAM恭金、Memory 等多個存儲引擎，其中 InnoDB 引擎有自有的日志模塊 redolog 模塊褂策。現(xiàn)在最常用的存儲引擎是InnoDB横腿，它從 MySQL 5.5.5 版本開始就被當做默認存儲引擎了。
1.2 Server 層基本組件介紹
1) 連接器
連接器主要和身份認證和權(quán)限相關(guān)的功能相關(guān)斤寂，就好比一個級別很高的門衛(wèi)一樣耿焊。
主要負責用戶登錄數(shù)據(jù)庫，進行用戶的身份認證遍搞，包括校驗賬戶密碼罗侯，權(quán)限等操作，如果用戶賬戶密碼已通過溪猿，連接器會到權(quán)限表中查詢該用戶的所有權(quán)限钩杰，之后在這個連接里的權(quán)限邏輯判斷都是會依賴此時讀取到的權(quán)限數(shù)據(jù)，也就是說诊县，后續(xù)只要這個連接不斷開讲弄，即時管理員修改了該用戶的權(quán)限，該用戶也是不受影響的依痊。
2) 查詢緩存(MySQL 8.0 版本后移除)
查詢緩存主要用來緩存我們所執(zhí)行的SELECT 語句以及該語句的結(jié)果集避除。
連接建立后，執(zhí)行查詢語句的時候，會先查詢緩存驹饺，MySQL 會先校驗這個 sql 是否執(zhí)行過钳枕，以 Key-Value 的形式緩存在內(nèi)存中，Key 是查詢預(yù)計赏壹，Value 是結(jié)果集鱼炒。如果緩存 key 被命中，就會直接返回給客戶端蝌借，如果沒有命中昔瞧，就會執(zhí)行后續(xù)的操作，完成后也會把結(jié)果緩存起來菩佑，方便下一次調(diào)用自晰。當然在真正執(zhí)行緩存查詢的時候還是會校驗用戶的權(quán)限，是否有該表的查詢條件稍坯。
MySQL 查詢不建議使用緩存酬荞，因為查詢緩存失效在實際業(yè)務(wù)場景中可能會非常頻繁，假如你對一個表更新的話瞧哟，這個表上的所有的查詢緩存都會被清空混巧。對于不經(jīng)常更新的數(shù)據(jù)來說，使用緩存還是可以的勤揩。
所以咧党，一般在大多數(shù)情況下我們都是不推薦去使用查詢緩存的。
MySQL 8.0 版本后刪除了緩存的功能陨亡，官方也是認為該功能在實際的應(yīng)用場景比較少傍衡，所以干脆直接刪掉了。
3) 分析器
MySQL 沒有命中緩存负蠕，那么就會進入分析器蛙埂，分析器主要是用來分析 SQL 語句是來干嘛的，分析器也會分為幾步：
第一步遮糖，詞法分析箱残，一條SQL 語句有多個字符串組成，首先要提取關(guān)鍵字止吁，比如 select，提出查詢的表燎悍，提出字段名敬惦，提出查詢條件等等。做完這些操作后谈山，就會進入第二步俄删。
第二步，語法分析，主要就是判斷你輸入的sql 是否正確畴椰，是否符合 MySQL 的語法臊诊。
完成這2 步之后，MySQL 就準備開始執(zhí)行了斜脂，但是如何執(zhí)行抓艳，怎么執(zhí)行是最好的結(jié)果呢？這個時候就需要優(yōu)化器上場了帚戳。
4) 優(yōu)化器
優(yōu)化器的作用就是它認為的最優(yōu)的執(zhí)行方案去執(zhí)行（有時候可能也不是最優(yōu)玷或，這篇文章涉及對這部分知識的深入講解），比如多個索引的時候該如何選擇索引片任，多表查詢的時候如何選擇關(guān)聯(lián)順序等偏友。
可以說，經(jīng)過了優(yōu)化器之后可以說這個語句具體該如何執(zhí)行就已經(jīng)定下來对供。
5) 執(zhí)行器
當選擇了執(zhí)行方案后位他，MySQL 就準備開始執(zhí)行了，首先執(zhí)行前會校驗該用戶有沒有權(quán)限产场，如果沒有權(quán)限鹅髓，就會返回錯誤信息，如果有權(quán)限涝动，就會去調(diào)用引擎的接口迈勋，返回接口執(zhí)行的結(jié)果。
二語句分析
2.1 查詢語句
說了以上這么多醋粟，那么究竟一條sql 語句是如何執(zhí)行的呢靡菇？其實我們的 sql 可以分為兩種，一種是查詢米愿，一種是更新（增加厦凤，更新冤寿，刪除）眷蚓。我們先分析下查詢語句，語句如下：
select * from tb_student ?A where A.age=18 and A.name= 張三 ;
結(jié)合上面的說明窄驹，我們分析下這個語句的執(zhí)行流程：
先檢查該語句是否有權(quán)限违柏，如果沒有權(quán)限博烂，直接返回錯誤信息，如果有權(quán)限漱竖，在MySQL8.0 版本以前禽篱，會先查詢緩存，以這條 sql 語句為 key 在內(nèi)存中查詢是否有結(jié)果馍惹，如果有直接緩存躺率，如果沒有玛界，執(zhí)行下一步。
通過分析器進行詞法分析悼吱，提取sql 語句的關(guān)鍵元素慎框，比如提取上面這個語句是查詢 select，提取需要查詢的表名為 tb_student,需要查詢所有的列后添，查詢條件是這個表的 id=1笨枯。然后判斷這個 sql 語句是否有語法錯誤，比如關(guān)鍵詞是否正確等等吕朵，如果檢查沒問題就執(zhí)行下一步猎醇。
接下來就是優(yōu)化器進行確定執(zhí)行方案，上面的sql 語句努溃，可以有兩種執(zhí)行方案：
??a.先查詢學生表中姓名為“張三”的學生硫嘶，然后判斷是否年齡是 18。 ?b.先找出學生中年齡 18 歲的學生梧税，然后再查詢姓名為“張三”的學生沦疾。
那么優(yōu)化器根據(jù)自己的優(yōu)化算法進行選擇執(zhí)行效率最好的一個方案（優(yōu)化器認為，有時候不一定最好）第队。那么確認了執(zhí)行計劃后就準備開始執(zhí)行了哮塞。
進行權(quán)限校驗，如果沒有權(quán)限就會返回錯誤信息凳谦，如果有權(quán)限就會調(diào)用數(shù)據(jù)庫引擎接口忆畅，返回引擎的執(zhí)行結(jié)果。
2.2 更新語句
以上就是一條查詢sql 的執(zhí)行流程尸执，那么接下來我們看看一條更新語句如何執(zhí)行的呢家凯？sql 語句如下：
update tb_student A set A.age=19 where A.name= 張三 ;
我們來給張三修改下年齡，在實際數(shù)據(jù)庫肯定不會設(shè)置年齡這個字段的如失，不然要被技術(shù)負責人打的绊诲。其實條語句也基本上會沿著上一個查詢的流程走，只不過執(zhí)行更新的時候肯定要記錄日志啦褪贵，這就會引入日志模塊了掂之，MySQL 自帶的日志模塊式binlog（歸檔日志）?，所有的存儲引擎都可以使用脆丁，我們常用的 InnoDB 引擎還自帶了一個日志模塊?redo log（重做日志）世舰，我們就以InnoDB 模式下來探討這個語句的執(zhí)行流程。流程如下：
先查詢到張三這一條數(shù)據(jù)槽卫，如果有緩存冯乘，也是會用到緩存。?然后拿到查詢的語句晒夹，把 age 改為 19裆馒，然后調(diào)用引擎 API 接口，寫入這一行數(shù)據(jù)丐怯，InnoDB 引擎把數(shù)據(jù)保存在內(nèi)存中喷好，同時記錄 redo log，此時 redo log 進入 prepare 狀態(tài)读跷，然后告訴執(zhí)行器梗搅，執(zhí)行完成了，隨時可以提交效览。?執(zhí)行器收到通知后記錄 binlog无切，然后調(diào)用引擎接口，提交 redo log 為提交狀態(tài)丐枉。?更新完成哆键。
這里肯定有同學會問，為什么要用兩個日志模塊瘦锹，用一個日志模塊不行嗎?
這是因為最開始MySQL 并沒與 InnoDB 引擎( InnoDB 引擎是其他公司以插件形式插入 MySQL 的) 籍嘹，MySQL 自帶的引擎是 MyISAM，但是我們知道 redo log 是 InnoDB 引擎特有的弯院，其他存儲引擎都沒有辱士，這就導(dǎo)致會沒有 crash-safe 的能力(crash-safe 的能力即使數(shù)據(jù)庫發(fā)生異常重啟，之前提交的記錄都不會丟失)听绳，binlog 日志只能用來歸檔颂碘。
并不是說只用一個日志模塊不可以，只是InnoDB 引擎就是通過 redo log 來支持事務(wù)的椅挣。那么头岔，又會有同學問，我用兩個日志模塊贴妻，但是不要這么復(fù)雜行不行切油，為什么 redo log 要引入 prepare 預(yù)提交狀態(tài)？這里我們用反證法來說明下為什么要這么做名惩？
?先寫redo log 直接提交澎胡，然后寫 binlog，假設(shè)寫完redo log 后娩鹉，機器掛了攻谁，binlog 日志沒有被寫入，那么機器重啟后弯予，這臺機器會通過 redo log 恢復(fù)數(shù)據(jù)戚宦，但是這個時候 bingog 并沒有記錄該數(shù)據(jù)，后續(xù)進行機器備份的時候锈嫩，就會丟失這一條數(shù)據(jù)受楼，同時主從同步也會丟失這一條數(shù)據(jù)垦搬。?先寫binlog，然后寫 redo log艳汽，假設(shè)寫完了binlog猴贰，機器異常重啟了，由于沒有 redo log河狐，本機是無法恢復(fù)這一條記錄的米绕，但是 binlog 又有記錄，那么和上面同樣的道理馋艺，就會產(chǎn)生數(shù)據(jù)不一致的情況栅干。
如果采用redo log 兩階段提交的方式就不一樣了，寫完 binglog 后捐祠，然后再提交 redo log 就會防止出現(xiàn)上述的問題碱鳞，從而保證了數(shù)據(jù)的一致性。那么問題來了雏赦，有沒有一個極端的情況呢劫笙？假設(shè) redo log 處于預(yù)提交狀態(tài)，binglog 也已經(jīng)寫完了星岗，這個時候發(fā)生了異常重啟會怎么樣呢填大？ 這個就要依賴于 MySQL 的處理機制了，MySQL 的處理過程如下：
?判斷 redo log 是否完整俏橘，如果判斷是完整的允华，就立即提交。?如果 redo log 只是預(yù)提交但不是 commit 狀態(tài)寥掐，這個時候就會去判斷 binlog 是否完整靴寂，如果完整就提交 redo log, 不完整就回滾事務(wù)。
這樣就解決了數(shù)據(jù)一致性的問題召耘。
三總結(jié)
?MySQL 主要分為 Server 層和引擎層百炬，Server 層主要包括連接器、查詢緩存污它、分析器剖踊、優(yōu)化器、執(zhí)行器衫贬，同時還有一個日志模塊（binlog）德澈，這個日志模塊所有執(zhí)行引擎都可以共用,redolog 只有 InnoDB 有。?引擎層是插件式的固惯，目前主要包括梆造，MyISAM,InnoDB,Memory 等。?SQL 等執(zhí)行過程分為兩類葬毫，一類對于查詢等過程如下：權(quán)限校驗---》查詢緩存---》分析器---》優(yōu)化器---》權(quán)限校驗---》執(zhí)行器---》引擎?對于更新等語句執(zhí)行流程如下：分析器----》權(quán)限校驗----》執(zhí)行器---》引擎---redo log prepare---》binlog---》redo log commit
References
?《MySQL實戰(zhàn)45講》?MySQL 5.6參考手冊:https://dev.MySQL.com/doc/refman/5.6/en/[16]
一MySQL 基礎(chǔ)架構(gòu)分析
1.1 MySQL 基本架構(gòu)概覽
下圖是MySQL 的一個簡要架構(gòu)圖镇辉，從下圖你可以很清晰的看到用戶的 SQL 語句在 MySQL 內(nèi)部是如何執(zhí)行的屡穗。
先簡單介紹一下下圖涉及的一些組件的基本作用幫助大家理解這幅圖，在1.2 節(jié)中會詳細介紹到這些組件的作用忽肛。
?連接器：?身份認證和權(quán)限相關(guān)(登錄 MySQL 的時候)鸡捐。?查詢緩存:??執(zhí)行查詢語句的時候，會先查詢緩存（MySQL 8.0 版本后移除麻裁，因為這個功能不太實用）。?分析器:??沒有命中緩存的話源祈，SQL 語句就會經(jīng)過分析器煎源，分析器說白了就是要先看你的 SQL 語句要干嘛，再檢查你的 SQL 語句語法是否正確香缺。?優(yōu)化器：?按照 MySQL 認為最優(yōu)的方案去執(zhí)行手销。?執(zhí)行器:??執(zhí)行語句，然后從存儲引擎返回數(shù)據(jù)图张。
簡單來說MySQL 主要分為 Server 層和存儲引擎層：
?Server 層：主要包括連接器锋拖、查詢緩存、分析器祸轮、優(yōu)化器兽埃、執(zhí)行器等，所有跨存儲引擎的功能都在這一層實現(xiàn)适袜，比如存儲過程柄错、觸發(fā)器、視圖苦酱，函數(shù)等售貌，還有一個通用的日志模塊binglog 日志模塊。?存儲引擎：主要負責數(shù)據(jù)的存儲和讀取疫萤，采用可以替換的插件式架構(gòu)颂跨，支持InnoDB、MyISAM扯饶、Memory 等多個存儲引擎恒削，其中 InnoDB 引擎有自有的日志模塊 redolog 模塊。現(xiàn)在最常用的存儲引擎是InnoDB帝际，它從 MySQL 5.5.5 版本開始就被當做默認存儲引擎了蔓同。
1.2 Server 層基本組件介紹
1) 連接器
連接器主要和身份認證和權(quán)限相關(guān)的功能相關(guān)，就好比一個級別很高的門衛(wèi)一樣蹲诀。
主要負責用戶登錄數(shù)據(jù)庫斑粱，進行用戶的身份認證，包括校驗賬戶密碼脯爪，權(quán)限等操作则北，如果用戶賬戶密碼已通過矿微，連接器會到權(quán)限表中查詢該用戶的所有權(quán)限，之后在這個連接里的權(quán)限邏輯判斷都是會依賴此時讀取到的權(quán)限數(shù)據(jù)尚揣，也就是說涌矢，后續(xù)只要這個連接不斷開，即時管理員修改了該用戶的權(quán)限快骗，該用戶也是不受影響的娜庇。
2) 查詢緩存(MySQL 8.0 版本后移除)
查詢緩存主要用來緩存我們所執(zhí)行的SELECT 語句以及該語句的結(jié)果集。
連接建立后方篮，執(zhí)行查詢語句的時候名秀，會先查詢緩存，MySQL 會先校驗這個 sql 是否執(zhí)行過藕溅，以 Key-Value 的形式緩存在內(nèi)存中匕得，Key 是查詢預(yù)計，Value 是結(jié)果集巾表。如果緩存 key 被命中汁掠，就會直接返回給客戶端，如果沒有命中集币，就會執(zhí)行后續(xù)的操作考阱，完成后也會把結(jié)果緩存起來，方便下一次調(diào)用惠猿。當然在真正執(zhí)行緩存查詢的時候還是會校驗用戶的權(quán)限羔砾，是否有該表的查詢條件。
MySQL 查詢不建議使用緩存偶妖，因為查詢緩存失效在實際業(yè)務(wù)場景中可能會非常頻繁姜凄，假如你對一個表更新的話，這個表上的所有的查詢緩存都會被清空趾访。對于不經(jīng)常更新的數(shù)據(jù)來說态秧，使用緩存還是可以的。
所以扼鞋，一般在大多數(shù)情況下我們都是不推薦去使用查詢緩存的申鱼。
MySQL 8.0 版本后刪除了緩存的功能，官方也是認為該功能在實際的應(yīng)用場景比較少云头，所以干脆直接刪掉了捐友。
3) 分析器
MySQL 沒有命中緩存，那么就會進入分析器溃槐，分析器主要是用來分析 SQL 語句是來干嘛的匣砖，分析器也會分為幾步：
第一步，詞法分析，一條SQL 語句有多個字符串組成猴鲫，首先要提取關(guān)鍵字对人，比如 select，提出查詢的表拂共，提出字段名牺弄，提出查詢條件等等。做完這些操作后宜狐，就會進入第二步势告。
第二步，語法分析抚恒，主要就是判斷你輸入的sql 是否正確培慌，是否符合 MySQL 的語法。
完成這2 步之后柑爸，MySQL 就準備開始執(zhí)行了，但是如何執(zhí)行盒音，怎么執(zhí)行是最好的結(jié)果呢表鳍？這個時候就需要優(yōu)化器上場了。
4) 優(yōu)化器
優(yōu)化器的作用就是它認為的最優(yōu)的執(zhí)行方案去執(zhí)行（有時候可能也不是最優(yōu)祥诽，這篇文章涉及對這部分知識的深入講解）譬圣，比如多個索引的時候該如何選擇索引，多表查詢的時候如何選擇關(guān)聯(lián)順序等雄坪。
可以說厘熟，經(jīng)過了優(yōu)化器之后可以說這個語句具體該如何執(zhí)行就已經(jīng)定下來。
5) 執(zhí)行器
當選擇了執(zhí)行方案后维哈，MySQL 就準備開始執(zhí)行了绳姨，首先執(zhí)行前會校驗該用戶有沒有權(quán)限，如果沒有權(quán)限阔挠，就會返回錯誤信息飘庄，如果有權(quán)限，就會去調(diào)用引擎的接口购撼，返回接口執(zhí)行的結(jié)果跪削。
二語句分析
2.1 查詢語句
說了以上這么多，那么究竟一條sql 語句是如何執(zhí)行的呢迂求？其實我們的 sql 可以分為兩種碾盐，一種是查詢，一種是更新（增加揩局，更新毫玖，刪除）。我們先分析下查詢語句，語句如下：
select * from tb_student ?A where A.age=18 and A.name= 張三 ;
結(jié)合上面的說明孕豹，我們分析下這個語句的執(zhí)行流程：
先檢查該語句是否有權(quán)限涩盾，如果沒有權(quán)限，直接返回錯誤信息励背，如果有權(quán)限春霍，在MySQL8.0 版本以前，會先查詢緩存叶眉，以這條 sql 語句為 key 在內(nèi)存中查詢是否有結(jié)果址儒，如果有直接緩存，如果沒有衅疙，執(zhí)行下一步莲趣。
通過分析器進行詞法分析，提取sql 語句的關(guān)鍵元素饱溢，比如提取上面這個語句是查詢 select喧伞，提取需要查詢的表名為 tb_student,需要查詢所有的列，查詢條件是這個表的 id=1绩郎。然后判斷這個 sql 語句是否有語法錯誤潘鲫，比如關(guān)鍵詞是否正確等等，如果檢查沒問題就執(zhí)行下一步肋杖。
接下來就是優(yōu)化器進行確定執(zhí)行方案溉仑，上面的sql 語句，可以有兩種執(zhí)行方案：
??a.先查詢學生表中姓名為“張三”的學生状植，然后判斷是否年齡是 18浊竟。 ?b.先找出學生中年齡 18 歲的學生，然后再查詢姓名為“張三”的學生津畸。
那么優(yōu)化器根據(jù)自己的優(yōu)化算法進行選擇執(zhí)行效率最好的一個方案（優(yōu)化器認為振定，有時候不一定最好）。那么確認了執(zhí)行計劃后就準備開始執(zhí)行了肉拓。
進行權(quán)限校驗吩案，如果沒有權(quán)限就會返回錯誤信息，如果有權(quán)限就會調(diào)用數(shù)據(jù)庫引擎接口帝簇，返回引擎的執(zhí)行結(jié)果徘郭。
2.2 更新語句
以上就是一條查詢sql 的執(zhí)行流程，那么接下來我們看看一條更新語句如何執(zhí)行的呢丧肴？sql 語句如下：
update tb_student A set A.age=19 where A.name=張三 ;
我們來給張三修改下年齡残揉，在實際數(shù)據(jù)庫肯定不會設(shè)置年齡這個字段的，不然要被技術(shù)負責人打的芋浮。其實條語句也基本上會沿著上一個查詢的流程走抱环，只不過執(zhí)行更新的時候肯定要記錄日志啦壳快，這就會引入日志模塊了，MySQL 自帶的日志模塊式binlog（歸檔日志）?镇草，所有的存儲引擎都可以使用眶痰，我們常用的 InnoDB 引擎還自帶了一個日志模塊?redo log（重做日志），我們就以InnoDB 模式下來探討這個語句的執(zhí)行流程梯啤。流程如下：
?先查詢到張三這一條數(shù)據(jù)竖伯，如果有緩存，也是會用到緩存因宇。?然后拿到查詢的語句七婴，把 age 改為 19，然后調(diào)用引擎 API 接口察滑，寫入這一行數(shù)據(jù)打厘，InnoDB 引擎把數(shù)據(jù)保存在內(nèi)存中，同時記錄 redo log贺辰，此時 redo log 進入 prepare 狀態(tài)户盯，然后告訴執(zhí)行器，執(zhí)行完成了饲化，隨時可以提交先舷。?執(zhí)行器收到通知后記錄 binlog，然后調(diào)用引擎接口滓侍，提交 redo log 為提交狀態(tài)。?更新完成牲芋。
這里肯定有同學會問撩笆，為什么要用兩個日志模塊，用一個日志模塊不行嗎?
這是因為最開始MySQL 并沒與 InnoDB 引擎( InnoDB 引擎是其他公司以插件形式插入 MySQL 的) 缸浦，MySQL 自帶的引擎是 MyISAM夕冲，但是我們知道 redo log 是 InnoDB 引擎特有的，其他存儲引擎都沒有裂逐，這就導(dǎo)致會沒有 crash-safe 的能力(crash-safe 的能力即使數(shù)據(jù)庫發(fā)生異常重啟歹鱼，之前提交的記錄都不會丟失)，binlog 日志只能用來歸檔卜高。
并不是說只用一個日志模塊不可以弥姻，只是InnoDB 引擎就是通過 redo log 來支持事務(wù)的。那么掺涛，又會有同學問庭敦，我用兩個日志模塊，但是不要這么復(fù)雜行不行薪缆，為什么 redo log 要引入 prepare 預(yù)提交狀態(tài)秧廉？這里我們用反證法來說明下為什么要這么做？
?先寫redo log 直接提交，然后寫 binlog疼电，假設(shè)寫完redo log 后嚼锄，機器掛了，binlog 日志沒有被寫入蔽豺，那么機器重啟后区丑，這臺機器會通過 redo log 恢復(fù)數(shù)據(jù)，但是這個時候 bingog 并沒有記錄該數(shù)據(jù)茫虽，后續(xù)進行機器備份的時候刊苍，就會丟失這一條數(shù)據(jù)，同時主從同步也會丟失這一條數(shù)據(jù)濒析。?先寫binlog正什，然后寫 redo log，假設(shè)寫完了binlog号杏，機器異常重啟了婴氮，由于沒有 redo log，本機是無法恢復(fù)這一條記錄的盾致，但是 binlog 又有記錄主经，那么和上面同樣的道理，就會產(chǎn)生數(shù)據(jù)不一致的情況庭惜。
如果采用redo log 兩階段提交的方式就不一樣了罩驻，寫完 binglog 后，然后再提交 redo log 就會防止出現(xiàn)上述的問題护赊，從而保證了數(shù)據(jù)的一致性惠遏。那么問題來了，有沒有一個極端的情況呢骏啰？假設(shè) redo log 處于預(yù)提交狀態(tài)节吮，binglog 也已經(jīng)寫完了，這個時候發(fā)生了異常重啟會怎么樣呢判耕？ 這個就要依賴于 MySQL 的處理機制了透绩，MySQL 的處理過程如下：
?判斷 redo log 是否完整，如果判斷是完整的壁熄，就立即提交帚豪。?如果 redo log 只是預(yù)提交但不是 commit 狀態(tài)，這個時候就會去判斷 binlog 是否完整草丧，如果完整就提交 redo log, 不完整就回滾事務(wù)志鞍。
這樣就解決了數(shù)據(jù)一致性的問題。
三總結(jié)
?MySQL 主要分為 Server 層和引擎層方仿，Server 層主要包括連接器固棚、查詢緩存熙参、分析器徐块、優(yōu)化器脂倦、執(zhí)行器业崖，同時還有一個日志模塊（binlog），這個日志模塊所有執(zhí)行引擎都可以共用,redolog 只有 InnoDB 有呜师。?引擎層是插件式的娶桦，目前主要包括，MyISAM,InnoDB,Memory 等汁汗。?SQL 等執(zhí)行過程分為兩類衷畦，一類對于查詢等過程如下：權(quán)限校驗---》查詢緩存---》分析器---》優(yōu)化器---》權(quán)限校驗---》執(zhí)行器---》引擎?對于更新等語句執(zhí)行流程如下：分析器----》權(quán)限校驗----》執(zhí)行器---》引擎---redo log prepare---》binlog---》redo log commit
References
?《MySQL實戰(zhàn)45講》
3月熱門開源項目
1. JavaGuide
?Github 地址： https://github.com/Snailclimb/JavaGuide[1]
?Star: 32.9k (6,196 stars this month)
?介紹: 【Java 學習+面試指南】 一份涵蓋大部分 Java 程序員所需要掌握的核心知識。
2.advanced-java
?Github 地址：https://github.com/doocs/advanced-java[2]
?Star: 15.1k (4,012 stars this month)
?介紹: 互聯(lián)網(wǎng) Java 工程師進階知識完全掃盲知牌。
3.spring-boot-examples
?Github 地址：https://github.com/ityouknow/spring-boot-examples[3]
?Star: 12.8k (3,462 stars this month)
?介紹: Spring Boot 教程祈争、技術(shù)棧示例代碼，快速簡單上手教程角寸。
4. mall
?Github 地址： https://github.com/macrozheng/mall[4]
?star: 9.7 k (2,418 stars this month)
?介紹: mall 項目是一套電商系統(tǒng)菩混，包括前臺商城系統(tǒng)及后臺管理系統(tǒng)，基于 SpringBoot+MyBatis 實現(xiàn)扁藕。 前臺商城系統(tǒng)包含首頁門戶沮峡、商品推薦、商品搜索亿柑、商品展示邢疙、購物車、訂單流程望薄、會員中心疟游、客戶服務(wù)、幫助中心等模塊式矫。 后臺管理系統(tǒng)包含商品管理、訂單管理役耕、會員管理采转、促銷管理、運營管理瞬痘、內(nèi)容管理故慈、統(tǒng)計報表、財務(wù)管理框全、權(quán)限管理察绷、設(shè)置等模塊。
5. seata
?Github 地址 : https://github.com/seata/seata[5]
?star: 7.2 k (1359 stars this month)
?介紹: Seata 是一種易于使用津辩，高性能拆撼，基于 Java 的開源分布式事務(wù)解決方案容劳。
6. quarkus
?Github 地址：https://github.com/quarkusio/quarkus[6]
?star: 12 k (1,224 stars this month)
?介紹: Quarkus 是為 GraalVM 和 HotSpot 量身定制的 Kubernetes Native Java 框架，由最佳的 Java 庫和標準精心打造而成闸度。Quarkus 的目標是使 Java 成為 Kubernetes 和無服務(wù)器環(huán)境中的領(lǐng)先平臺竭贩，同時為開發(fā)人員提供統(tǒng)一的反應(yīng)式和命令式編程模型，以優(yōu)化地滿足更廣泛的分布式應(yīng)用程序架構(gòu)莺禁。
7. arthas
?Github 地址：https://github.com/alibaba/arthas[7]
?star: 11.6 k (1,199 stars this month)
?介紹: Arthas 是 Alibaba 開源的 Java 診斷工具留量。
8.DoraemonKit
?Github 地址： https://github.com/didi/DoraemonKit[8]
?Star: 6.2k (1,177 stars this month)
?介紹: 簡稱 "DoKit" 。一款功能齊全的客戶端（ iOS 哟冬、Android ）研發(fā)助手楼熄，你值得擁有。
9.elasticsearch
?Github 地址https://github.com/elastic/elasticsearch[9]
?Star: 39.7k (1,069 stars this month)
?介紹: 開源浩峡，分布式可岂，RESTful 搜索引擎。
10. tutorials
?Github 地址：https://github.com/eugenp/tutorials[10]
?star: 13 k (998 stars this month)
?介紹: 該項目是一系列小而專注的教程 - 每個教程都涵蓋 Java 生態(tài)系統(tǒng)中單一且定義明確的開發(fā)領(lǐng)域红符。 當然青柄，它們的重點是 Spring Framework - Spring，Spring Boot 和 Spring Securiyt预侯。 除了 Spring 之外致开，還有以下技術(shù)：核心 Java，Jackson萎馅，HttpClient双戳，Guava。
其他參考：
https://mp.weixin.qq.com/s/vlqdOMxSO8m9c1yyGTcU_Q
SimpleDateFormat優(yōu)化替換
先看看《阿里巴巴開發(fā)手冊》對于SimpleDateFormat是怎么看待的：
單線程沒問題糜芳，多線程下會部分時間獲取不對飒货，部分線程直接報java.lang.NumberFormatException:multiple points錯，線程直接掛死了峭竣。
因為我們把SimpleDateFormat定義為靜態(tài)變量塘辅，那么多線程下SimpleDateFormat的實例就會被多個線程共享，B線程會讀取到A線程的時間皆撩，就會出現(xiàn)時間差異和其它各種問題扣墩。SimpleDateFormat和它繼承的DateFormat類也不是線程安全的。
解決方法：
只在需要的時候創(chuàng)建新實例扛吞，不用static修飾呻惕。缺點加重了創(chuàng)建對象的負擔，會頻繁地創(chuàng)建和銷毀對象滥比，效率較低亚脆。
synchronized大法好。缺點缺點自然就是并發(fā)量大的時候會對性能有影響盲泛，線程阻塞濒持。
ThreadLocal確保每個線程都可以得到單獨的一個SimpleDateFormat的對象键耕，那么自然也就不存在競爭問題了。
重點推薦方法：
基于JDK1.8的DateTimeFormatter弥喉。也是《阿里巴巴開發(fā)手冊》給我們的解決方案郁竟，對之前的代碼進行改造：
DateTimeFormatter源碼上作者也加注釋說明了，他的類是不可變的由境，并且是線程安全的棚亩。
Java學習必備書籍推薦
Java
基礎(chǔ)
?《Head First Java》[1](推薦，豆瓣評分 8.7虏杰，1.0K+人評價)： 可以說是我的 Java 啟蒙書籍了讥蟆，特別適合新手讀當然也適合我們用來溫故 Java 知識點。
?《Java 核心技術(shù)卷 1+卷 2》[2]（推薦）: 很棒的兩本書纺阔，建議有點 Java 基礎(chǔ)之后再讀瘸彤，介紹的還是比較深入的，非常推薦笛钝。這兩本書我一般也會用來鞏固知識點质况，是兩本適合放在自己身邊的好書。
?《JAVA 網(wǎng)絡(luò)編程 第 4 版》[3]： 可以系統(tǒng)的學習一下網(wǎng)絡(luò)的一些概念以及網(wǎng)絡(luò)編程在 Java 中的使用玻靡。
?《Java 編程思想 (第 4 版)》[4]（推薦结榄，豆瓣評分 9.1，3.2K+人評價）：大部分人稱之為Java領(lǐng)域的圣經(jīng)囤捻，但我不推薦初學者閱讀臼朗，有點勸退的味道。稍微有點基礎(chǔ)后閱讀更好蝎土。
并發(fā)
?《Java 并發(fā)編程之美》[5]?（推薦）：2018 年 10 月出版的一本書视哑，個人感覺非常不錯，對每個知識點的講解都很棒誊涯。
?《Java 并發(fā)編程的藝術(shù)》[6]（推薦挡毅，豆瓣評分 7.2，0.2K+人評價）： 這本書不是很適合作為 Java 并發(fā)入門書籍暴构，需要具備一定的 JVM 基礎(chǔ)跪呈。我感覺有些東西講的還是挺深入的，推薦閱讀丹壕。
?《實戰(zhàn)Java 高并發(fā)程序設(shè)計》[7]（推薦,豆瓣評分 8.3）： 書的質(zhì)量沒的說庆械，推薦大家好好看一下薇溃。
?《Java 高并發(fā)編程詳解》[8]（豆瓣評分 7.6）： 2018 年 6 月出版的一本書菌赖，內(nèi)容很詳細，但可能又有點過于啰嗦沐序，不過這只是我的感覺琉用。
JVM
?《深入理解Java 虛擬機（第 2 版）周志明》[9]（推薦堕绩，豆瓣評分 8.9，1.0K+人評價）：建議多刷幾遍邑时，書中的所有知識點可以通過 JAVA 運行時區(qū)域和 JAVA 的內(nèi)存模型與線程兩個大模塊羅列完全奴紧。
?《實戰(zhàn)JAVA 虛擬機》[10]（推薦，豆瓣評分 8.0晶丘，1.0K+人評價）：作為入門的了解 Java 虛擬機的知識還是不錯的黍氮。
Java8新特性
?《Java 8 實戰(zhàn)》[11]?（推薦，豆瓣評分 9.2 ）：面向 Java 8 的技能升級浅浮，包括 Lambdas沫浆、流和函數(shù)式編程特性。實戰(zhàn)系列的一貫風格讓自己快速上手應(yīng)用起來滚秩。Java 8 支持的 Lambda 是精簡表達在語法上提供的支持专执。Java 8 提供了 Stream，學習和使用可以建立流式編程的認知郁油。
?《Java 8 編程參考官方教程》[12]?（推薦本股，豆瓣評分 9.2）：也還不錯吧。
代碼優(yōu)化
?《重構(gòu)_改善既有代碼的設(shè)計》[13]（推薦）：豆瓣 9.1 分桐腌，重構(gòu)書籍的開山鼻祖拄显。
?《Effective java 》[14]（推薦，豆瓣評分 9.0哩掺，1.4K+人評價）：本書介紹了在 Java 編程中 78 條極具實用價值的經(jīng)驗規(guī)則凿叠，這些經(jīng)驗規(guī)則涵蓋了大多數(shù)開發(fā)人員每天所面臨的問題的解決方案。通過對 Java 平臺設(shè)計專家所使用的技術(shù)的全面描述嚼吞，揭示了應(yīng)該做什么盒件，不應(yīng)該做什么才能產(chǎn)生清晰、健壯和高效的代碼舱禽。本書中的每條規(guī)則都以簡短炒刁、獨立的小文章形式出現(xiàn)，并通過例子代碼加以進一步說明誊稚。本書內(nèi)容全面翔始，結(jié)構(gòu)清晰，講解詳細里伯〕窍梗可作為技術(shù)人員的參考用書。
?《代碼整潔之道》[15]（推薦疾瓮，豆瓣評分 9.1）：雖然是用 Java 語言作為例子脖镀，全篇都是在闡述 Java 面向?qū)ο蟮乃枷耄瞧渲写蟛糠謨?nèi)容其它語言也能應(yīng)用到狼电。
?阿里巴巴Java 開發(fā)手冊（詳盡版）?https://github.com/alibaba/p3c/blob/master/阿里巴巴 Java 開發(fā)手冊（詳盡版）.pdf[16]?Google Java 編程風格指南：?http://www.hawstein.com/posts/google-java-style.html[17]
網(wǎng)絡(luò)
?《圖解HTTP》[18]（推薦,豆瓣評分 8.1 , 1.6K+人評價）： 講漫畫一樣的講 HTTP蜒灰，很有意思弦蹂，不會覺得枯燥，大概也涵蓋也 HTTP 常見的知識點强窖。因為篇幅問題凸椿，內(nèi)容可能不太全面。不過翅溺，如果不是專門做網(wǎng)絡(luò)方向研究的小伙伴想研究 HTTP 相關(guān)知識的話脑漫，讀這本書的話應(yīng)該來說就差不多了。
?《HTTP 權(quán)威指南》[19]?（推薦,豆瓣評分 8.6）:如果要全面了解 HTTP 非此書不可咙崎！
操作系統(tǒng)
?《鳥哥的Linux 私房菜》[20]（推薦窿撬，，豆瓣評分 9.1叙凡，0.3K+人評價）：本書是最具知名度的 Linux 入門書《鳥哥的 Linux 私房菜基礎(chǔ)學習篇》的最新版劈伴，全面而詳細地介紹了 Linux 操作系統(tǒng)。全書分為 5 個部分：第一部分著重說明 Linux 的起源及功能握爷，如何規(guī)劃和安裝 Linux 主機跛璧；第二部分介紹 Linux 的文件系統(tǒng)、文件新啼、目錄與磁盤的管理追城；第三部分介紹文字模式接口 shell 和管理系統(tǒng)的好幫手 shell 腳本，另外還介紹了文字編輯器 vi 和 vim 的使用方法燥撞；第四部分介紹了對于系統(tǒng)安全非常重要的 Linux 賬號的管理座柱，以及主機系統(tǒng)與程序的管理，如查看進程物舒、任務(wù)分配和作業(yè)管理色洞；第五部分介紹了系統(tǒng)管理員 (root) 的管理事項，如了解系統(tǒng)運行狀況冠胯、系統(tǒng)服務(wù)火诸，針對登錄文件進行解析，對系統(tǒng)進行備份以及核心的管理等荠察。
數(shù)據(jù)結(jié)構(gòu)與算法
?《大話數(shù)據(jù)結(jié)構(gòu)》[21]（推薦置蜀，豆瓣評分 7.9 , 1K+人評價）：入門類型的書籍，讀起來比較淺顯易懂悉盆，適合沒有數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)或者說數(shù)據(jù)結(jié)構(gòu)沒學好的小伙伴用來入門數(shù)據(jù)結(jié)構(gòu)盯荤。
?《數(shù)據(jù)結(jié)構(gòu)與算法分析：C 語言描述》[22]（推薦，豆瓣評分 8.9焕盟，1.6K+人評價）:本書是《Data Structures and Algorithm Analysis in C》一書第 2 版的簡體中譯本秋秤。原書曾被評為 20 世紀頂尖的 30 部計算機著作之一，作者 Mark Allen Weiss 在數(shù)據(jù)結(jié)構(gòu)和算法分析方面卓有建樹，他的數(shù)據(jù)結(jié)構(gòu)和算法分析的著作尤其暢銷航缀，并受到廣泛好評．已被世界 500 余所大學用作教材。
?《算法圖解》[23]（推薦堰怨，豆瓣評分 8.4芥玉，0.6K+人評價）：入門類型的書籍，讀起來比較淺顯易懂备图，適合沒有算法基礎(chǔ)或者說算法沒學好的小伙伴用來入門灿巧。示例豐富，圖文并茂揽涮，以讓人容易理解的方式闡釋了算法.讀起來比較快抠藕，內(nèi)容不枯燥！
?《算法 第四版》[24]（推薦蒋困，豆瓣評分 9.3盾似，0.4K+人評價）：Java 語言描述，算法領(lǐng)域經(jīng)典的參考書雪标，全面介紹了關(guān)于算法和數(shù)據(jù)結(jié)構(gòu)的必備知識零院，并特別針對排序、搜索村刨、圖處理和字符串處理進行了論述告抄。書的內(nèi)容非常多，可以說是 Java 程序員的必備書籍之一了嵌牺。
數(shù)據(jù)庫
?《高性能MySQL》[25]（推薦打洼，豆瓣評分 9.3，0.4K+人評價）：mysql 領(lǐng)域的經(jīng)典之作逆粹，擁有廣泛的影響力募疮。不但適合數(shù)據(jù)庫管理員（dba）閱讀，也適合開發(fā)人員參考學習僻弹。不管是數(shù)據(jù)庫新手還是專家酝锅，相信都能從本書有所收獲。
?《Redis 實戰(zhàn)》[26]：如果你想了解 Redis 的一些概念性知識的話奢方，這本書真的非常不錯搔扁。?《Redis 設(shè)計與實現(xiàn)》[27]（推薦，豆瓣評分 8.5蟋字，0.5K+人評價）：也還行吧稿蹲！
?《MySQL 技術(shù)內(nèi)幕-InnoDB 存儲引擎》[28]（推薦，豆瓣評分 8.7）：了解 InnoDB 存儲引擎底層原理必備的一本書鹊奖，比較深入苛聘。
系統(tǒng)設(shè)計
設(shè)計模式
?《設(shè)計模式: 可復(fù)用面向?qū)ο筌浖幕A(chǔ)》?[29]?（推薦，豆瓣評分 9.1）：設(shè)計模式的經(jīng)典！
?《Head First 設(shè)計模式（中文版）》[30]?（推薦设哗，豆瓣評分 9.2）：相當贊的一本設(shè)計模式入門書籍唱捣。用實際的編程案例講解算法設(shè)計中會遇到的各種問題和需求變更（對的，連需求變更都考慮到了Ｍ摇）震缭，并以此逐步推導(dǎo)出良好的設(shè)計模式解決辦法。
常用框架
?《深入分析Java Web 技術(shù)內(nèi)幕》[31]： 感覺還行战虏，涉及的東西也蠻多拣宰。
?《Netty 實戰(zhàn)》[32]（推薦，豆瓣評分 7.8烦感，92 人評價）：內(nèi)容很細巡社，如果想學 Netty 的話，推薦閱讀這本書手趣！
?《從Paxos 到 Zookeeper》[33]（推薦晌该，豆瓣評分 7.8，0.3K 人評價）：簡要介紹幾種典型的分布式一致性協(xié)議绿渣，以及解決分布式一致性問題的思路气笙，其中重點講解了 Paxos 和 ZAB 協(xié)議。同時怯晕，本書深入介紹了分布式一致性問題的工業(yè)解決方案——ZooKeeper潜圃，并著重向讀者展示這一分布式協(xié)調(diào)框架的使用方法、內(nèi)部實現(xiàn)及運維技巧舟茶，旨在幫助讀者全面了解 ZooKeeper谭期，并更好地使用和運維 ZooKeeper。
?《Spring 實戰(zhàn)（第 4 版）》[34]（推薦吧凉，豆瓣評分 8.3隧出，0.3K+人評價）：不建議當做入門書籍讀，入門的話可以找點國人的書或者視頻看阀捅。這本定位就相當于是關(guān)于 Spring 的新華字典胀瞪，只有一些基本概念的介紹和示例，涵蓋了 Spring 的各個方面饲鄙，但都不夠深入凄诞。就像作者在最后一頁寫的那樣：“學習 Spring，這才剛剛開始”忍级。
?《RabbitMQ 實戰(zhàn)指南》[35]：《RabbitMQ 實戰(zhàn)指南》從消息中間件的概念和 RabbitMQ 的歷史切入帆谍，主要闡述 RabbitMQ 的安裝、使用轴咱、配置汛蝙、管理烈涮、運維、原理窖剑、擴展等方面的細節(jié)坚洽。如果你想淺嘗 RabbitMQ 的使用，這本書是你最好的選擇西土；如果你想深入 RabbitMQ 的原理讶舰，這本書也是你最好的選擇；總之翠储，如果你想玩轉(zhuǎn) RabbitMQ，這本書一定是最值得看的書之一
?《Spring Cloud 微服務(wù)實戰(zhàn)》[36]：從時下流行的微服務(wù)架構(gòu)概念出發(fā)橡疼，詳細介紹了 Spring Cloud 針對微服務(wù)架構(gòu)中幾大核心要素的解決方案和基礎(chǔ)組件援所。對于各個組件的介紹，《Spring Cloud 微服務(wù)實戰(zhàn)》主要以示例與源碼結(jié)合的方式來幫助讀者更好地理解這些組件的使用方法以及運行原理欣除。同時住拭，在介紹的過程中，還包含了作者在實踐中所遇到的一些問題和解決思路历帚，可供讀者在實踐中作為參考滔岳。
?《第一本Docker 書》[37]：Docker 入門書籍！
網(wǎng)站架構(gòu)
?《大型網(wǎng)站技術(shù)架構(gòu)：核心原理與案例分析+李智慧》[38]（推薦）:這本書我讀過挽牢，基本不需要你有什么基礎(chǔ)啊~讀起來特別輕松谱煤，但是卻可以學到很多東西，非常推薦了禽拔。另外我寫過這本書的思維導(dǎo)圖刘离，關(guān)注我的微信公眾號：“Java 面試通關(guān)手冊”回復(fù)“大型網(wǎng)站技術(shù)架構(gòu)”即可領(lǐng)取思維導(dǎo)圖。
?《億級流量網(wǎng)站架構(gòu)核心技術(shù)》[39]（推薦）：一書總結(jié)并梳理了億級流量網(wǎng)站高可用和高并發(fā)原則睹栖，通過實例詳細介紹了如何落地這些原則硫惕。本書分為四部分：概述、高可用原則野来、高并發(fā)原則恼除、案例實戰(zhàn)。從負載均衡曼氛、限流豁辉、降級、隔離舀患、超時與重試秋忙、回滾機制、壓測與預(yù)案构舟、緩存灰追、池化堵幽、異步化、擴容弹澎、隊列等多方面詳細介紹了億級流量網(wǎng)站的架構(gòu)核心技術(shù)朴下，讓讀者看后能快速運用到實踐項目中。
軟件底層
?《深入剖析Tomcat》[40]（推薦苦蒿，豆瓣評分 8.4殴胧，0.2K+人評價）：本書深入剖析 Tomcat 4 和 Tomcat 5 中的每個組件，并揭示其內(nèi)部工作原理佩迟。通過學習本書团滥，你將可以自行開發(fā) Tomcat 組件，或者擴展已有的組件报强。 讀完這本書灸姊，基本可以擺脫背誦面試題的尷尬。
?《深入理解Nginx（第 2 版）》[41]：作者講的非常細致秉溉，注釋都寫的都很工整力惯，對于 Nginx 的開發(fā)人員非常有幫助。優(yōu)點是細致召嘶，缺點是過于細致父晶，到處都是代碼片段，缺少一些抽象弄跌。
其他
?《黑客與畫家》[42]：這本書是硅谷創(chuàng)業(yè)之父甲喝，Y Combinator 創(chuàng)始人 Paul Graham 的文集。之所以叫這個名字铛只，是因為作者認為黑客（并非負面的那個意思）與畫家有著極大的相似性俺猿，他們都是在創(chuàng)造，而不是完成某個任務(wù)格仲。
