輕量消息中間件NATS與NSQ的介紹和比較

NATS

1. 語言

  • server:GO
  • 官方支持client庫:GO、C等

2. 設計特點

  • 高效
  • 穩(wěn)定可用
  • 輕量
  • 支持多種消息策略(at-most-once糠悼,at-least-once)
  • 支持多種模式
  • streaming下提供可配置的消息持久化

3. 多種消息發(fā)布模式

  • 生產-消費(發(fā)布-訂閱)模式
    • 一對多
    • 兩種策略:
      at-most-once(只保證w/tcp的可靠性):消息無接受者時,則該消息丟失耘纱。即消息發(fā)送后不關心是否有接收因块。該策略以降低可靠性換取了性能(吞吐量)±常可靠性由使用者自行設計保證。
      at-least-once:在消息可靠性要求更高的場合猩系,使用nats streaming媚送。監(jiān)控消息是否到達每一個訂閱者。降低性能(吞吐量)換取可靠性寇甸。
  • 請求-響應模式
    • 點對點/一對多塘偎。
    • 發(fā)布者發(fā)布消息需要收到響應。接受者可提前將響應放入“信箱”中拿霉。發(fā)布者只接收第一個響應吟秩。(如何配置一對多模型接收多個響應?)
  • 隊列訂閱與協(xié)同工作
    • 訂閱的不是主題绽淘,而是隊列涵防。是一種負載均衡和容災策略。
    • 隊列中每個消息沪铭,隨機發(fā)給一個訂閱者壮池。訂閱者數量可隨時增減。 (具體如何分配合適的訂閱者杀怠?)

4. 包含組件

  • nats-server at-most-once策略下的server
  • nats-streaming-server at-least-once策略下的server
  • nats-req
  • nats-rply

5. 部署


nats-server -p 4222 -cluster nats://localhost:6222 -routes nats://localhost:6222,nats://localhost:6333
client監(jiān)聽端口 4222椰憋,集群監(jiān)聽端口6222,所有集群通信端口6222(本server忽略)赔退、6333

6. 小結

nats輕量易用橙依,可完成消息傳輸的基本功能,具有消息確認機制和持久化接口硕旗。不足之處在于消息確認管理和持久化具體方法需要用戶自行實現窗骑。總的來說卵渴,nats提供的是最基本的功能慧域。消息由訂閱者創(chuàng)建,默認大小限制1MB

NSQ

1. 語言

  • 開發(fā)語言 go
  • client支持語言go,c++(部分支持)等

2. 設計特點

  • 支持拓撲浪读,實現高可用性并消除SPOF
  • 解決了對更強大的消息傳遞可靠性的需求
  • 限制單個進程的內存占用(通過將某些消息保存到磁盤)
  • 大大簡化了生產者和消費者的配置要求
  • 提供簡單的升級途徑
  • 提高效率

3. 組件及概念

  • nsqd 每個host上有一個nsqd昔榴。包含一個或多個消息流即topic,每個topic可以有多個channel碘橘,各channel是該topic相互獨立的隊列互订。生產者通過nsqd廣播生產的消息。
  • nsqlookupd 服務發(fā)現輔助進程痘拆。消費者通過nsqlookupd找到關心topics所在的host仰禽,channel等信息,與nsqd直接通信纺蛆。nsqlookupd通過tcp與各nsqd連接吐葵。
  • nsqadmin 基于web的可視化集群監(jiān)控和管理服務。

4. 可靠性機制

  • 消息傳輸采用 at-least-once
  • 協(xié)議保證: nsqd 發(fā)送消息桥氏,并暫存温峭;client響應消息;如果nsqd未收到響應字支,則消息自動重排列(凤藏?)
  • 缺陷:nsqd出錯,則會丟失該nsqd暫存的消息堕伪。(可一定程度配置隊列的持久化揖庄,即限制內存中消息的數量)

5. 部署/使用

啟動nsqlookupd
nsqlookupd
啟動nsqd
nsqd --lookupd-tcp-address=127.0.0.1:4160
producer發(fā)布消息
curl -d 'hello world 1' 'http://127.0.0.1:4151/pub?topic=test'
consumer接收消息
nsq_to_file --topic=test --output-dir=/tmp --lookupd-http-address=127.0.0.1:4161
后臺管理
nsqadmin --lookupd-http-address=127.0.0.1:4161

6. 小結

nsq也具有輕量易用的特點,通過服務發(fā)現構建訂閱關系欠雌,具有完善的消息確認機制蹄梢,以及直接可用的一定程度持久化措施。不足之處在于各節(jié)點定位對稱富俄,負載不平衡時需要其他策略進行處理检号。而且直接由生產者和消費者進行通信,在通信量大時網絡資源消耗量大(重復建立可靠連接)蛙酪。

NATS與NSQ的比較

在通信規(guī)模不大的場景下齐苛,使用NSQ可以發(fā)揮使用簡潔(nsqd不用可見其他nsqd)和可靠的確認機制,但需要注意nsqd駐留內存的部分消息桂塞,可能在進程失效時丟失凹蜂。需要考慮負載均衡或大規(guī)模通信量的情況下,采用NATS更為適合阁危,但其消息傳輸的持久化和可靠性需要自行增加策略和實現玛痊。

參考資料

NAST官方文檔
NSQ官方文檔

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市狂打,隨后出現的幾起案子擂煞,更是在濱河造成了極大的恐慌,老刑警劉巖趴乡,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件对省,死亡現場離奇詭異蝗拿,居然都是意外死亡,警方通過查閱死者的電腦和手機蒿涎,發(fā)現死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進店門哀托,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人劳秋,你說我怎么就攤上這事仓手。” “怎么了玻淑?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵嗽冒,是天一觀的道長。 經常有香客問我补履,道長添坊,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任干像,我火速辦了婚禮帅腌,結果婚禮上,老公的妹妹穿的比我還像新娘麻汰。我一直安慰自己速客,他們只是感情好,可當我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布五鲫。 她就那樣靜靜地躺著溺职,像睡著了一般。 火紅的嫁衣襯著肌膚如雪位喂。 梳的紋絲不亂的頭發(fā)上浪耘,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天,我揣著相機與錄音塑崖,去河邊找鬼七冲。 笑死,一個胖子當著我的面吹牛规婆,可吹牛的內容都是我干的澜躺。 我是一名探鬼主播,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼抒蚜,長吁一口氣:“原來是場噩夢啊……” “哼掘鄙!你這毒婦竟也來了?” 一聲冷哼從身側響起嗡髓,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤操漠,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后饿这,有當地人在樹林里發(fā)現了一具尸體浊伙,經...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡撞秋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了吧黄。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片部服。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡唆姐,死狀恐怖拗慨,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情奉芦,我是刑警寧澤赵抢,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站声功,受9級特大地震影響烦却,放射性物質發(fā)生泄漏。R本人自食惡果不足惜先巴,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一其爵、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧伸蚯,春花似錦摩渺、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至挥萌,卻和暖如春绰姻,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背引瀑。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工狂芋, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人憨栽。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓帜矾,卻偏偏與公主長得像,于是被迫代替她去往敵國和親徒像。 傳聞我的和親對象是個殘疾皇子黍特,可洞房花燭夜當晚...
    茶點故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內容

  • 1. 介紹 最近在研究一些消息中間件,常用的MQ如RabbitMQ,ActiveMQ,Kafka等锯蛀。NSQ是一個基...
    aoho閱讀 8,934評論 1 16
  • 在介紹NATS之前先了解下什么是分布式系統(tǒng)和消息中間件 對于分布式系統(tǒng)的定義灭衷,一直以來我都沒有找到或者想到特別簡練...
    Java大生閱讀 2,413評論 0 0
  • 一、為什么需要消息系統(tǒng) 1.解耦:允許你獨立的擴展或修改兩邊的處理過程旁涤,只要確保它們遵守同樣的接口約束翔曲。 2.冗余...
    為你變乖_09e6閱讀 867評論 0 8
  • 一迫像、入門1、簡介Kafka is a distributed,partitioned,replicated com...
    HxLiang閱讀 3,348評論 0 9
  • 此番行程:2016.9.30-10.6上海-蘇州-盛澤-杭州-臨安-太倉-上海-鄭州 上海不眠夜瞳遍, 蘇州匆匆...
    牧心3320閱讀 264評論 0 2