一、內(nèi)存數(shù)據(jù)
Zookeeper的數(shù)據(jù)模型是樹結(jié)構(gòu)溺健，在內(nèi)存數(shù)據(jù)庫中麦牺，存儲(chǔ)了整棵樹的內(nèi)容，包括所有的節(jié)點(diǎn)路徑鞭缭、節(jié)點(diǎn)數(shù)據(jù)剖膳、ACL信息，Zookeeper會(huì)定時(shí)將這個(gè)數(shù)據(jù)存儲(chǔ)到磁盤上岭辣。
1吱晒、DataTree
DataTree是內(nèi)存數(shù)據(jù)存儲(chǔ)的核心，是一個(gè)樹結(jié)構(gòu)沦童，代表了內(nèi)存中一份完整的數(shù)據(jù)仑濒。DataTree不包含任何與網(wǎng)絡(luò)、客戶端連接及請(qǐng)求處理相關(guān)的業(yè)務(wù)邏輯偷遗，是一個(gè)獨(dú)立的組件墩瞳。
2、DataNode
DataNode是數(shù)據(jù)存儲(chǔ)的最小單元氏豌，其內(nèi)部除了保存了結(jié)點(diǎn)的數(shù)據(jù)內(nèi)容喉酌、ACL列表、節(jié)點(diǎn)狀態(tài)之外泵喘，還記錄了父節(jié)點(diǎn)的引用和子節(jié)點(diǎn)列表兩個(gè)屬性泪电，其也提供了對(duì)子節(jié)點(diǎn)列表進(jìn)行操作的接口。
3纪铺、ZKDatabase
Zookeeper的內(nèi)存數(shù)據(jù)庫相速，管理Zookeeper的所有會(huì)話、DataTree存儲(chǔ)和事務(wù)日志霹陡。ZKDatabase會(huì)定時(shí)向磁盤dump快照數(shù)據(jù)和蚪，同時(shí)在Zookeeper啟動(dòng)時(shí)，會(huì)通過磁盤的事務(wù)日志和快照文件恢復(fù)成一個(gè)完整的內(nèi)存數(shù)據(jù)庫烹棉。
二攒霹、事務(wù)日志
1、文件存儲(chǔ)
在配置Zookeeper集群時(shí)需要配置dataDir目錄浆洗，其用來存儲(chǔ)事務(wù)日志文件催束。也可以為事務(wù)日志單獨(dú)分配一個(gè)文件存儲(chǔ)目錄:dataLogDir。若配置dataLogDir為/home/admin/zkData/zk_log伏社，那么Zookeeper在運(yùn)行過程中會(huì)在該目錄下建立一個(gè)名字為version-2的子目錄抠刺，該目錄確定了當(dāng)前Zookeeper使用的事務(wù)日志格式版本號(hào)塔淤，當(dāng)下次某個(gè)Zookeeper版本對(duì)事務(wù)日志格式進(jìn)行變更時(shí)，此目錄也會(huì)變更速妖，即在version-2子目錄下會(huì)生成一系列文件大小一致(64MB)的文件高蜂。
2、日志格式
在配置好日志文件目錄罕容，啟動(dòng)Zookeeper后备恤，完成如下操作
(1) 創(chuàng)建/test_log節(jié)點(diǎn)，初始值為v1锦秒。
(2) 更新/test_log節(jié)點(diǎn)的數(shù)據(jù)為v2露泊。
(3) 創(chuàng)建/test_log/c節(jié)點(diǎn)，初始值為v1旅择。
(4) 刪除/test_log/c節(jié)點(diǎn)惭笑。
經(jīng)過四步操作后，會(huì)在/log/version-2/目錄下生成一個(gè)日志文件生真，筆者下是log.cec沉噩。
將Zookeeper下的zookeeper-3.4.6.jar和slf4j-api-1.6.1.jar復(fù)制到/log/version-2目錄下，使用如下命令打開log.cec文件汇歹。
java -classpath ./zookeeper-3.4.6.jar:./slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter log.cec
(1) ZooKeeper Transactional Log File with dbid 0 txnlog format version 2 ：是文件頭信息屁擅，主要是事務(wù)日志的DBID和日志格式版本。
(2) ...session 0x159...0xcec createSession 30000：表示客戶端會(huì)話創(chuàng)建操作产弹。
(3) ...session 0x159...0xced create '/test_log,... ：表示創(chuàng)建/test_log節(jié)點(diǎn)，數(shù)據(jù)內(nèi)容為#7631(v1)弯囊。
(4) ...session 0x159...0xcee setData ‘/test_log,...：表示設(shè)置了/test_log節(jié)點(diǎn)數(shù)據(jù)痰哨，內(nèi)容為#7632(v2)。
(5) ...session 0x159...0xcef create ’/test_log/c,...：表示創(chuàng)建節(jié)點(diǎn)/test_log/c匾嘱。
(6) ...session 0x159...0xcf0 delete '/test_log/c：表示刪除節(jié)點(diǎn)/test_log/c斤斧。
3、日志寫入
FileTxnLog負(fù)責(zé)維護(hù)事務(wù)日志對(duì)外的接口霎烙，包括事務(wù)日志的寫入和讀取等撬讽。Zookeeper的事務(wù)日志寫入過程大體可以分為如下6個(gè)步驟。
(1) 確定是否有事務(wù)日志可寫：當(dāng)Zookeeper服務(wù)器啟動(dòng)完成需要進(jìn)行第一次事務(wù)日志的寫入悬垃，或是上一次事務(wù)日志寫滿時(shí)游昼，都會(huì)處于與事務(wù)日志文件斷開的狀態(tài)，即Zookeeper服務(wù)器沒有和任意一個(gè)日志文件相關(guān)聯(lián)尝蠕。因此在進(jìn)行事務(wù)日志寫入前烘豌，Zookeeper首先會(huì)判斷FileTxnLog組件是否已經(jīng)關(guān)聯(lián)上一個(gè)可寫的事務(wù)日志文件。若沒有看彼，則會(huì)使用該事務(wù)操作關(guān)聯(lián)的ZXID作為后綴創(chuàng)建一個(gè)事務(wù)日志文件廊佩，同時(shí)構(gòu)建事務(wù)日志的文件頭信息囚聚，并立即寫入這個(gè)事務(wù)日志文件中去，同時(shí)將該文件的文件流放入streamToFlush集合标锄，該集合用來記錄當(dāng)前需要強(qiáng)制進(jìn)行數(shù)據(jù)落盤的文件流顽铸。
(2) 確定事務(wù)日志文件是否需要擴(kuò)容(預(yù)分配)：Zookeeper會(huì)采用磁盤空間預(yù)分配策略。當(dāng)檢測(cè)到當(dāng)前事務(wù)日志文件剩余空間不足4096字節(jié)時(shí)料皇，就會(huì)開始進(jìn)行文件空間擴(kuò)容跋破，即在現(xiàn)有文件大小上，將文件增加65536KB(64MB)瓶蝴，然后使用"0"填充被擴(kuò)容的文件空間毒返。
(3) 事務(wù)序列化：對(duì)事務(wù)頭和事務(wù)體的序列化，其中事務(wù)體又可分為會(huì)話創(chuàng)建事務(wù)舷手、節(jié)點(diǎn)創(chuàng)建事務(wù)拧簸、節(jié)點(diǎn)刪除事務(wù)、節(jié)點(diǎn)數(shù)據(jù)更新事務(wù)等男窟。
(4) 生成Checksum：為保證日志文件的完整性和數(shù)據(jù)的準(zhǔn)確性盆赤，Zookeeper在將事務(wù)日志寫入文件前，會(huì)計(jì)算生成Checksum歉眷。
(5) 寫入事務(wù)日志文件流：將序列化后的事務(wù)頭牺六、事務(wù)體和Checksum寫入文件流中，此時(shí)并為寫入到磁盤上汗捡。
(6) 事務(wù)日志刷入磁盤：由于步驟5中的緩存原因淑际，無法實(shí)時(shí)地寫入磁盤文件中，因此需要將緩存數(shù)據(jù)強(qiáng)制刷入磁盤扇住。
4春缕、日志截?cái)?/p>
在Zookeeper運(yùn)行過程中，可能出現(xiàn)非Leader記錄的事務(wù)ID比Leader上大艘蹋，這是非法運(yùn)行狀態(tài)锄贼。此時(shí)，需要保證所有機(jī)器必須與該Leader的數(shù)據(jù)保持同步女阀，即Leader會(huì)發(fā)送TRUNC命令給該機(jī)器宅荤，要求進(jìn)行日志截?cái)啵琇earner收到該命令后浸策，就會(huì)刪除所有包含或大于該事務(wù)ID的事務(wù)日志文件冯键。
三、snapshot-數(shù)據(jù)快照
數(shù)據(jù)快照是Zookeeper數(shù)據(jù)存儲(chǔ)中非常核心的運(yùn)行機(jī)制的榛，數(shù)據(jù)快照用來記錄Zookeeper服務(wù)器上某一時(shí)刻的全量內(nèi)存數(shù)據(jù)內(nèi)容琼了，并將其寫入指定的磁盤文件中。
1、 文件存儲(chǔ)
與事務(wù)文件類似雕薪，Zookeeper快照文件也可以指定特定磁盤目錄昧诱，通過dataDir屬性來配置。若指定dataDir為/home/admin/zkData/zk_data所袁，則在運(yùn)行過程中會(huì)在該目錄下創(chuàng)建version-2的目錄盏档，該目錄確定了當(dāng)前Zookeeper使用的快照數(shù)據(jù)格式版本號(hào)。在Zookeeper運(yùn)行時(shí)燥爷，會(huì)生成一系列文件蜈亩。
2、數(shù)據(jù)快照
FileSnap負(fù)責(zé)維護(hù)快照數(shù)據(jù)對(duì)外的接口前翎，包括快照數(shù)據(jù)的寫入和讀取等稚配，將內(nèi)存數(shù)據(jù)庫寫入快照數(shù)據(jù)文件其實(shí)是一個(gè)序列化過程。針對(duì)客戶端的每一次事務(wù)操作港华，Zookeeper都會(huì)將他們記錄到事務(wù)日志中道川，同時(shí)也會(huì)將數(shù)據(jù)變更應(yīng)用到內(nèi)存數(shù)據(jù)庫中，Zookeeper在進(jìn)行若干次事務(wù)日志記錄后立宜，將內(nèi)存數(shù)據(jù)庫的全量數(shù)據(jù)Dump到本地文件中冒萄，這就是數(shù)據(jù)快照。其步驟如下
(1) 確定是否需要進(jìn)行數(shù)據(jù)快照：每進(jìn)行一次事務(wù)日志記錄之后橙数，Zookeeper都會(huì)檢測(cè)當(dāng)前是否需要進(jìn)行數(shù)據(jù)快照尊流，考慮到數(shù)據(jù)快照對(duì)于Zookeeper機(jī)器的影響，需要盡量避免Zookeeper集群中的所有機(jī)器在同一時(shí)刻進(jìn)行數(shù)據(jù)快照灯帮。采用過半隨機(jī)策略進(jìn)行數(shù)據(jù)快照操作崖技。
(2) 切換事務(wù)日志文件：表示當(dāng)前的事務(wù)日志已經(jīng)寫滿，需要重新創(chuàng)建一個(gè)新的事務(wù)日志施流。
(3) 創(chuàng)建數(shù)據(jù)快照異步線程：創(chuàng)建單獨(dú)的異步線程來進(jìn)行數(shù)據(jù)快照以避免影響Zookeeper主流程响疚。
(4) 獲取全量數(shù)據(jù)和會(huì)話信息：從ZKDatabase中獲取到DataTree和會(huì)話信息。
(5) 生成快照數(shù)據(jù)文件名：Zookeeper根據(jù)當(dāng)前已經(jīng)提交的最大ZXID來生成數(shù)據(jù)快照文件名瞪醋。
(6) 數(shù)據(jù)序列化：首先序列化文件頭信息，然后再對(duì)會(huì)話信息和DataTree分別進(jìn)行序列化装诡，同時(shí)生成一個(gè)Checksum银受，一并寫入快照數(shù)據(jù)文件中去。
