Ponf回憶錄

背景

Ponf的全稱是Planet‘s Configuration的縮寫咒精,是為了當(dāng)時(shí)代號(hào)星球項(xiàng)目專門編寫的分布式配置中間件。

問:市面上已經(jīng)有很多配置中心了旷档,為什么要專門做一個(gè)配置中間件模叙?
答:因?yàn)樾乔蝽?xiàng)目是源于老VIP項(xiàng)目的升級(jí),它的目標(biāo)是將VIP從一個(gè)單體項(xiàng)目(一套程序多機(jī)部署)升級(jí)為微服務(wù)項(xiàng)目鞋屈,以解決團(tuán)隊(duì)快速增長范咨,項(xiàng)目難以管控的問題。但升級(jí)不是一步到位的厂庇,要兼容之前的數(shù)據(jù)和代碼渠啊,同時(shí)還要保證升級(jí)過程循序漸進(jìn)不能耗費(fèi)太多人力。
而在VIP項(xiàng)目中有一個(gè)非常復(fù)雜的配置系統(tǒng)权旷,數(shù)據(jù)大概有幾個(gè)G替蛉。我們的目標(biāo)是不下線原本的配置系統(tǒng),同時(shí)為微服務(wù)提供高效簡介的配置服務(wù)炼杖。因此需要兼容原有的配置功能灭返,同時(shí)還要進(jìn)行微服務(wù)改進(jìn)。

Ponf要解決的問題

原來配置服務(wù)存在的問題:

  1. 邏輯簡單粗暴坤邪,每五分鐘掃描Mysql獲取全量配置熙含,并全量分發(fā)給所有服務(wù)。
  2. 使用Thrift進(jìn)行通訊艇纺,在目前微服務(wù)統(tǒng)一使用Dubbo進(jìn)行通訊的背景下怎静,又引入Thrift會(huì)增加學(xué)習(xí)成本。
  3. 原配置服務(wù)為單體服務(wù)黔衡,一旦出問題所有服務(wù)奔潰蚓聘。

Ponf要解決的問題:

  1. 兼容原來配置服務(wù)數(shù)據(jù)(Mysql),同時(shí)可以使用原配置頁面進(jìn)行配置
  2. 開箱即用盟劫,提供最簡單的get接口夜牡,讓用戶不需要理解任何實(shí)現(xiàn)原理
  3. 完全使用分布式架構(gòu),不再存在單點(diǎn)問題
  4. 高性能侣签,高時(shí)效性
  5. 保證數(shù)據(jù)的一致性(原配置使用Mysql自然能保證完全的一致性塘装,而Ponf的目標(biāo)是實(shí)現(xiàn)時(shí)間一致性和最終一致性,時(shí)間一致性指的是在Ponf只能看到某一時(shí)間之前的數(shù)據(jù)影所,而不會(huì)既看見之前的數(shù)據(jù)又看到之后的數(shù)據(jù))
  6. 使用Dubbo

方案

這是一套簡單而又高效的方案蹦肴,雖然不是完美的配置系統(tǒng),但是是最適合星球項(xiàng)目的方案猴娩。

首先在Ponf中有多個(gè)ConfigServer阴幌,他們都注冊為Dubbo服務(wù)勺阐,給所有客戶端提供服務(wù)。同時(shí)ConfigServer無狀態(tài)矛双,所有的客戶端可以任意選擇自己的ConfigServer渊抽,也可以隨時(shí)切換。

流程:

  1. 客戶端發(fā)送心跳到ConfigServer议忽,內(nèi)容為客戶端配置Version
  2. ConfigServer回復(fù)Version
  3. 客戶端檢查Version是否一致腰吟,若一致則等待下次心跳發(fā)送。
  4. 若不一致徙瓶,則將自己所有的配置key的ID,以及每個(gè)Key對(duì)應(yīng)的Version發(fā)送給ConfigServer(使用ID節(jié)約空間)
  5. ConfigServer將Version落后的Key的Value發(fā)送給客戶端
  6. 客戶端完成更新

若客戶端業(yè)務(wù)程序在獲取一個(gè)本地沒有緩存的Key時(shí)嫉称,執(zhí)行上面的4-6(這是比較耗時(shí)的操作侦镇,建議初始化時(shí)把key注冊上)。當(dāng)然如果業(yè)務(wù)不需要時(shí)間一致性织阅,也可以直接獲取壳繁。

ConfigServer內(nèi)部邏輯,這里主要講ConfigServer如何通過無鎖的方式提供快照荔棉。

ConfigServer會(huì)定時(shí)從MySQL中獲取最新的配置闹炉,首先先獲取最新的Version,如果Version等與當(dāng)前Version則不更新润樱。
否則拉去所有Version大于ConfigServer的Version的數(shù)據(jù)渣触。

在ConfigServer的配置存儲(chǔ)在Config類中

class Config{
   Map<String,ConfigEntity> entities;
   Config prev;
}

class ConfigEntity{
   String value;
   int id;
   int version;
}

當(dāng)ConfigServer啟動(dòng)時(shí)會(huì)創(chuàng)建第一個(gè)Config,將所有配置存儲(chǔ)在entities中壹若。
之后配置更新時(shí)嗅钻,新創(chuàng)建一個(gè)Config,將更新的配置存儲(chǔ)在新的entity中店展,并將prev指向之前的Config养篓。

然后使用Copy On Write的方式替換全局Config的引用。

當(dāng)進(jìn)行配置查詢時(shí)看赂蕴,ConfigServer會(huì)先查詢當(dāng)前Config柳弄,如果Key不存在再查詢prevConfig。

當(dāng)然如果單是這樣概说,Config鏈表會(huì)越來越長碧注,那么配置讀取的性能也會(huì)變差,因此每隔一定時(shí)間席怪,就會(huì)將鏈表進(jìn)行Merge应闯,然后再通過Copy On Write的方式替換掉原來的Config。

這樣就完成了ConfigServer的快照讀挂捻,由于完全不加鎖碉纺,所以性能很好!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市骨田,隨后出現(xiàn)的幾起案子耿导,更是在濱河造成了極大的恐慌,老刑警劉巖态贤,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件舱呻,死亡現(xiàn)場離奇詭異,居然都是意外死亡悠汽,警方通過查閱死者的電腦和手機(jī)箱吕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來柿冲,“玉大人茬高,你說我怎么就攤上這事〖俪” “怎么了怎栽?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長宿饱。 經(jīng)常有香客問我熏瞄,道長,這世上最難降的妖魔是什么谬以? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任强饮,我火速辦了婚禮,結(jié)果婚禮上蛉签,老公的妹妹穿的比我還像新娘胡陪。我一直安慰自己,他們只是感情好碍舍,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布柠座。 她就那樣靜靜地躺著,像睡著了一般片橡。 火紅的嫁衣襯著肌膚如雪妈经。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天捧书,我揣著相機(jī)與錄音吹泡,去河邊找鬼。 笑死经瓷,一個(gè)胖子當(dāng)著我的面吹牛爆哑,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播舆吮,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼揭朝,長吁一口氣:“原來是場噩夢啊……” “哼队贱!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起潭袱,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤柱嫌,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后屯换,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體编丘,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年彤悔,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了嘉抓。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡晕窑,死狀恐怖掌眠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情幕屹,我是刑警寧澤,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布级遭,位于F島的核電站望拖,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏挫鸽。R本人自食惡果不足惜说敏,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望丢郊。 院中可真熱鬧盔沫,春花似錦、人聲如沸枫匾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽干茉。三九已至谴忧,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間角虫,已是汗流浹背沾谓。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留戳鹅,地道東北人均驶。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像枫虏,于是被迫代替她去往敵國和親妇穴。 傳聞我的和親對(duì)象是個(gè)殘疾皇子爬虱,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)伟骨,斷路器饮潦,智...
    卡卡羅2017閱讀 134,657評(píng)論 18 139
  • tair是什么? Tair是由淘寶網(wǎng)自主開發(fā)的Key/Value結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)系統(tǒng),在淘寶網(wǎng)有著大規(guī)模的應(yīng)用携狭。在登錄...
    1angxi閱讀 26,053評(píng)論 1 12
  • 一继蜡、簡述 tair 是淘寶高性能、可靠逛腿、可擴(kuò)展的開源的分布式 Key/Value 存儲(chǔ)系統(tǒng)稀并。分為持久化和非持久化兩...
    Djbfifjd閱讀 2,210評(píng)論 0 3
  • 目錄 1 概念 2 Springboot 3 Spring Cloud Eureka 4 Spring C...
    小小千千閱讀 663評(píng)論 0 0
  • 前言 Spring Cloud是一個(gè)基于Spring Boot實(shí)現(xiàn)的云應(yīng)用開發(fā)工具,它為基于JVM的云應(yīng)用開發(fā)中的...
    程序媛馬小兮閱讀 1,757評(píng)論 0 5