通用中間件模型

日常工作中, 后端常用的中間件有這么幾種: 數(shù)據(jù)庫/緩存/消息隊列/搜索引擎, 這幾種中間件在典型架構(gòu)中的組合使用方式如下:


Arch

這幾種中間件的常用實現(xiàn)有: MySQL/Redis/RocketMQ or Kafka/ElasticSearch, 那么通過每一種中間件的學(xué)習(xí),我們經(jīng)常有這種感覺: 這些東西有很多相似的地方,原理很相似,通過抽象總結(jié), 我梳理了以下的通用中間件模型:


跳出來,在極大的尺度上考慮,中間件層可以抽象為一個全局的分布式存儲系統(tǒng), 在理想的系統(tǒng)里,
大量用戶帶來的流量帶來數(shù)據(jù),通過全局的存儲系統(tǒng)增刪查改; 然而現(xiàn)實是----不存在這種系統(tǒng),因為不同的場景對數(shù)據(jù)的要求不一樣: 有的讀頻繁,有的是寫頻繁等等等等, 不同的場景誕生出不同的中間件,但從全局的抽象層面,他們的共性如圖所示:

  1. 客戶端連接 ;
  2. 流量的讀寫場景,讀寫比例是怎樣的? 是否需要事務(wù)支持? 對性能吞吐要求如何?
  3. 客戶端連接服務(wù)端需要網(wǎng)絡(luò)模型支持,如RPC框架, 以及序列化/反序列化;-->一般是IO多路復(fù)用;
  4. 網(wǎng)絡(luò)模型建立連接后,任務(wù)如何分發(fā),如何分發(fā)到不同的worker或數(shù)據(jù)node?
  5. 數(shù)據(jù)的分片? 副本? 如何擴展,擴展后如何重新分配數(shù)據(jù)?
  6. 技術(shù)的數(shù)據(jù)模型? 數(shù)據(jù)結(jié)構(gòu)是B+樹還是LSM樹? 是否用到了緩存/索引? 是否持久化, --> 底層本質(zhì): 復(fù)制狀態(tài)機,WAL;
  7. 如果模型是主從模型的話,節(jié)點如何選舉出master? 寫數(shù)據(jù)時如何同步到所有節(jié)點(數(shù)據(jù)廣播)?master節(jié)點,普通節(jié)點掛了如何恢復(fù)? --> 這塊一般涉及到分布式共識算法,如Paxos,Raft,Zab等;
  8. cluster集群架構(gòu)是Master-Slav模式還是Peer 2Peer 模式? 是否有NamingServer協(xié)調(diào)? -->一般自己實現(xiàn)NamingServer或者使用分布式協(xié)調(diào)基礎(chǔ)中間件Zookeeper;

縱向: 中間件是否有管理端?如何監(jiān)控和運維?安全和權(quán)限管理?

在這之上, 考慮在高性能/高可用/高擴展不同維度的要求下,模型如何應(yīng)對.

以上是中間件模型的通用抽象,可以從全局指導(dǎo)學(xué)習(xí)和實踐.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末孙乖,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子揣云,更是在濱河造成了極大的恐慌像樊,老刑警劉巖蔫慧,帶你破解...
    沈念sama閱讀 222,946評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件画侣,死亡現(xiàn)場離奇詭異啤握,居然都是意外死亡非洲,警方通過查閱死者的電腦和手機未状,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評論 3 399
  • 文/潘曉璐 我一進店門俯画,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人司草,你說我怎么就攤上這事艰垂。” “怎么了埋虹?”我有些...
    開封第一講書人閱讀 169,716評論 0 364
  • 文/不壞的土叔 我叫張陵材泄,是天一觀的道長。 經(jīng)常有香客問我吨岭,道長拉宗,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,222評論 1 300
  • 正文 為了忘掉前任辣辫,我火速辦了婚禮旦事,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘急灭。我一直安慰自己姐浮,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,223評論 6 398
  • 文/花漫 我一把揭開白布葬馋。 她就那樣靜靜地躺著卖鲤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪畴嘶。 梳的紋絲不亂的頭發(fā)上蛋逾,一...
    開封第一講書人閱讀 52,807評論 1 314
  • 那天,我揣著相機與錄音窗悯,去河邊找鬼区匣。 笑死,一個胖子當(dāng)著我的面吹牛蒋院,可吹牛的內(nèi)容都是我干的亏钩。 我是一名探鬼主播莲绰,決...
    沈念sama閱讀 41,235評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼姑丑!你這毒婦竟也來了蛤签?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,189評論 0 277
  • 序言:老撾萬榮一對情侶失蹤栅哀,失蹤者是張志新(化名)和其女友劉穎震肮,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體昌屉,經(jīng)...
    沈念sama閱讀 46,712評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡钙蒙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,775評論 3 343
  • 正文 我和宋清朗相戀三年茵瀑,在試婚紗的時候發(fā)現(xiàn)自己被綠了间驮。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,926評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡马昨,死狀恐怖竞帽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情鸿捧,我是刑警寧澤屹篓,帶...
    沈念sama閱讀 36,580評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站匙奴,受9級特大地震影響堆巧,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜泼菌,卻給世界環(huán)境...
    茶點故事閱讀 42,259評論 3 336
  • 文/蒙蒙 一谍肤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧哗伯,春花似錦荒揣、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至虐块,卻和暖如春俩滥,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背贺奠。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評論 1 274
  • 我被黑心中介騙來泰國打工举农, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人敞嗡。 一個月前我還...
    沈念sama閱讀 49,368評論 3 379
  • 正文 我出身青樓颁糟,卻偏偏與公主長得像航背,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子棱貌,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,930評論 2 361

推薦閱讀更多精彩內(nèi)容