消息隊(duì)列技術(shù)是分布式應(yīng)用間交換信息的一種技術(shù)谜酒。消息隊(duì)列可駐留在內(nèi)存或磁盤上,隊(duì)列存儲(chǔ)消息直到它們被應(yīng)用程序讀走座泳。通過消息隊(duì)列,應(yīng)用程序可獨(dú)立地執(zhí)行--它們不需要知道彼此的位置、或在繼續(xù)執(zhí)行前不需要等待接收程序接收此消息较沪。
?
消息中間件概述
消息隊(duì)列技術(shù)是分布式應(yīng)用間交換信息的一種技術(shù)预吆。消息隊(duì)列可駐留在內(nèi)存或磁盤上,隊(duì)列存儲(chǔ)消息直到它們被應(yīng)用程序讀走龙填。通過消息隊(duì)列,應(yīng)用程序可獨(dú)立地執(zhí)行--它們不需要知道彼此的位置拐叉、或在繼續(xù)執(zhí)行前不需要等待接收程序接收此消息岩遗。
在分布式計(jì)算環(huán)境中,為了集成分布式應(yīng)用凤瘦,開發(fā)者需要對(duì)異構(gòu)網(wǎng)絡(luò)環(huán)境下的分布式應(yīng)用提供有效的通信手段宿礁。為了管理需要共享的信息,對(duì)應(yīng)用提供公共的信息交換機(jī)制是重要的蔬芥。
設(shè)計(jì)分布式應(yīng)用的方法主要有:遠(yuǎn)程過程調(diào)用(PRC)--分布式計(jì)算環(huán)境(DCE)的基礎(chǔ)標(biāo)準(zhǔn)成分之一梆靖;對(duì)象事務(wù)監(jiān)控(OTM)--基于CORBA的面向?qū)ο蠊I(yè)標(biāo)準(zhǔn)與事務(wù)處理(TP)監(jiān)控技術(shù)的組合;消息隊(duì)列(MessageQueue)--構(gòu)造分布式應(yīng)用的松耦合方法坝茎。
(a) 分布計(jì)算環(huán)境/遠(yuǎn)程過程調(diào)用(DCE/RPC)
RPC是DCE的成分涤姊,是一個(gè)由開放軟件基金會(huì)(OSF)發(fā)布的應(yīng)用集成的軟件標(biāo)準(zhǔn)。RPC模仿一個(gè)程序用函數(shù)引用來引用另一程序的傳統(tǒng)程序設(shè)計(jì)方法嗤放,此引用是過程調(diào)用的形式思喊,一旦被調(diào)用,程序的控制則轉(zhuǎn)向被調(diào)用程序次酌。
在RPC實(shí)現(xiàn)時(shí)恨课,被調(diào)用過程可在本地或遠(yuǎn)地的另一系統(tǒng)中駐留并在執(zhí)行。當(dāng)被調(diào)用程序完成處理輸入數(shù)據(jù)岳服,結(jié)果放在過程調(diào)用的返回變量中返回到調(diào)用程序剂公。RPC完成后程序控制則立即返回到調(diào)用程序。因此RPC模仿子程序的調(diào)用/返回結(jié)構(gòu)吊宋,它僅提供了Client(調(diào)用程序)和Server(被調(diào)用過程)間的同步數(shù)據(jù)交換纲辽。
(b) 對(duì)象事務(wù)監(jiān)控 (OTM)
基于CORBA的面向?qū)ο蠊I(yè)標(biāo)準(zhǔn)與事務(wù)處理(TP)監(jiān)控技術(shù)的組合,在CORBA規(guī)范中定義了:使用面向?qū)ο蠹夹g(shù)和方法的體系結(jié)構(gòu)璃搜;公共的Client/Server程序設(shè)計(jì)接口拖吼;多平臺(tái)間傳輸和翻譯數(shù)據(jù)的指導(dǎo)方針;開發(fā)分布式應(yīng)用接口的語言(IDL)等这吻,并為構(gòu)造分布的Client/Server應(yīng)用提供了廣泛及一致的模式吊档。
(c) 消息隊(duì)列 (Message Queue)
消息隊(duì)列為構(gòu)造以同步或異步方式實(shí)現(xiàn)的分布式應(yīng)用提供了松耦合方法。消息隊(duì)列的API調(diào)用被嵌入到新的或現(xiàn)存的應(yīng)用中唾糯,通過消息發(fā)送到內(nèi)存或基于磁盤的隊(duì)列或從它讀出而提供信息交換怠硼。消息隊(duì)列可用在應(yīng)用中以執(zhí)行多種功能鬼贱,比如要求服務(wù)、交換信息或異步處理等香璃。
中間件是一種獨(dú)立的系統(tǒng)軟件或服務(wù)程序这难,分布式應(yīng)用系統(tǒng)借助這種軟件在不同的技術(shù)之間共享資源,管理計(jì)算資源和網(wǎng)絡(luò)通訊增显。它在計(jì)算機(jī)系統(tǒng)中是一個(gè)關(guān)鍵軟件雁佳,它能實(shí)現(xiàn)應(yīng)用的互連和互操作性,能保證系統(tǒng)的安全同云、可靠糖权、高效的運(yùn)行。中間件位于用戶應(yīng)用和操作系統(tǒng)及網(wǎng)絡(luò)軟件之間炸站,它為應(yīng)用提供了公用的通信手段星澳,并且獨(dú)立于網(wǎng)絡(luò)和操作系統(tǒng)。中間件為開發(fā)者提供了公用于所有環(huán)境的應(yīng)用程序接口旱易,當(dāng)應(yīng)用程序中嵌入其函數(shù)調(diào)用禁偎,它便可利用其運(yùn)行的特定操作系統(tǒng)和網(wǎng)絡(luò)環(huán)境的功能,為應(yīng)用執(zhí)行通信功能阀坏。
如果沒有消息中間件完成信息交換如暖,應(yīng)用開發(fā)者為了傳輸數(shù)據(jù),必須要學(xué)會(huì)如何用網(wǎng)絡(luò)和操作系統(tǒng)軟件的功能忌堂,編寫相應(yīng)的應(yīng)用程序來發(fā)送和接收信息盒至,且交換信息沒有標(biāo)準(zhǔn)方法,每個(gè)應(yīng)用必須進(jìn)行特定的編程從而和多平臺(tái)士修、不同環(huán)境下的一個(gè)或多個(gè)應(yīng)用通信枷遂。例如,為了實(shí)現(xiàn)網(wǎng)絡(luò)上不同主機(jī)系統(tǒng)間的通信棋嘲,將要求具備在網(wǎng)絡(luò)上如何交換信息的知識(shí)(比如用TCP/IP的socket程序設(shè)計(jì))酒唉;為了實(shí)現(xiàn)同一主機(jī)內(nèi)不同進(jìn)程之間的通訊,將要求具備操作系統(tǒng)的消息隊(duì)列或命名管道(Pipes)等知識(shí)沸移。
目前中間件的種類很多痪伦,如交易管理中間件(如IBM的CICS)、面向Java應(yīng)用的Web應(yīng)用服務(wù)器中間件(如IBM的WebSphereApplicationServer)等雹锣,而消息傳輸中間件(MOM)是其中的一種流妻。它簡(jiǎn)化了應(yīng)用之間數(shù)據(jù)的傳輸,屏蔽底層異構(gòu)操作系統(tǒng)和網(wǎng)絡(luò)平臺(tái)笆制,提供一致的通訊標(biāo)準(zhǔn)和應(yīng)用開發(fā),確保分布式計(jì)算網(wǎng)絡(luò)環(huán)境下可靠的涣达、跨平臺(tái)的信息傳輸和數(shù)據(jù)交換在辆。它基于消息隊(duì)列的存儲(chǔ)-轉(zhuǎn)發(fā)機(jī)制证薇,并提供特有的異步傳輸機(jī)制,能夠基于消息傳輸和異步事務(wù)處理實(shí)現(xiàn)應(yīng)用整合與數(shù)據(jù)交換匆篓。
IBM消息中間件MQ以其獨(dú)特的安全機(jī)制浑度、簡(jiǎn)便快速的編程風(fēng)格、卓越不凡的穩(wěn)定性鸦概、可擴(kuò)展性和跨平臺(tái)性箩张,以及強(qiáng)大的事務(wù)處理能力和消息通訊能力,成為業(yè)界市場(chǎng)占有率最高的消息中間件產(chǎn)品窗市。
MQ具有強(qiáng)大的跨平臺(tái)性先慷,它支持的平臺(tái)數(shù)多達(dá)35種。它支持各種主流Unix操作系統(tǒng)平臺(tái),如:HP-UX咨察、AIX论熙、SUNSolaris、Digital UNIX摄狱、Open VMX脓诡、SUNOS、NCRUNIX媒役;支持各種主機(jī)平臺(tái)祝谚,如:OS/390、MVS/ESA酣衷、VSE/ESA交惯;同樣支持WindowsNT服務(wù)器。在PC平臺(tái)上支持Windows9X/Windows NT/Windows 2000和UNIX(UnixWare鸥诽、Solaris)以及主要的Linux版本(Redhat商玫、TurboLinux等)。此外牡借,MQ還支持其他各種操作系統(tǒng)平臺(tái)拳昌,如:OS/2、AS/400钠龙、SequentDYNIX炬藤、SCO OpenServer、SCO UnixWare碴里、Tandem等沈矿。
MQ的基本概念:
1) 隊(duì)列管理器
隊(duì)列管理器是MQ系統(tǒng)中最上層的一個(gè)概念,由它為我們提供基于隊(duì)列的消息服務(wù)咬腋。
2) 消息
在MQ中羹膳,我們把應(yīng)用程序交由MQ傳輸?shù)臄?shù)據(jù)定義為消息,我們可以定義消息的內(nèi)容并對(duì)消息進(jìn)行廣義的理解根竿,比如:用戶的各種類型的數(shù)據(jù)文件陵像,某個(gè)應(yīng)用向其它應(yīng)用發(fā)出的處理請(qǐng)求等都可以作為消息就珠。消息有兩部分組成:
消息描述符(Message Discription或MessageHeader),描述消息的特征醒颖,如:消息的優(yōu)先級(jí)妻怎、生命周期、消息Id等泞歉;
消息體(MessageBody)逼侦,即用戶數(shù)據(jù)部分。在MQ中腰耙,消息分為兩種類型榛丢,非永久性(non-persistent)消息和永久性(persistent)消息,非永久性消息是存儲(chǔ)在內(nèi)存中的沟优,它是為了提高性能而設(shè)計(jì)的涕滋,當(dāng)系統(tǒng)掉電或MQ隊(duì)列管理器重新啟動(dòng)時(shí),將不可恢復(fù)挠阁。當(dāng)用戶對(duì)消息的可靠性要求不高宾肺,而側(cè)重系統(tǒng)的性能表現(xiàn)時(shí),可以采用該種類型的消息侵俗,如:當(dāng)發(fā)布股票信息時(shí)锨用,由于股票信息是不斷更新的,我們可能每若干秒就會(huì)發(fā)布一次隘谣,新的消息會(huì)不斷覆蓋舊的消息增拥。永久性消息是存儲(chǔ)在硬盤上,并且紀(jì)錄數(shù)據(jù)日志的寻歧,它具有高可靠性掌栅,在網(wǎng)絡(luò)和系統(tǒng)發(fā)生故障等情況下都能確保消息不丟、不重码泛。
此外猾封,在MQ中,還有邏輯消息和物理消息的概念噪珊。利用邏輯消息和物理消息晌缘,我們可以將大消息進(jìn)行分段處理,也可以將若干個(gè)本身完整的消息在應(yīng)用邏輯上歸為一組進(jìn)行處理痢站。
3) 隊(duì)列
隊(duì)列是消息的安全存放地磷箕,隊(duì)列存儲(chǔ)消息直到它被應(yīng)用程序處理。
消息隊(duì)列以下述方式工作:
a)??????程序A形成對(duì)消息隊(duì)列系統(tǒng)的調(diào)用阵难,此調(diào)用告知消息隊(duì)列系統(tǒng)岳枷,消息準(zhǔn)備好了投向程序B;
b) 消息隊(duì)列系統(tǒng)發(fā)送此消息到程序B駐留處的系統(tǒng),并將它放到程序B的隊(duì)列中嫩舟;
c) 適當(dāng)時(shí)間后氢烘,程序B從它的隊(duì)列中讀此消息,并處理此信息家厌。
由于采用了先進(jìn)的程序設(shè)計(jì)思想以及內(nèi)部工作機(jī)制,MQ能夠在各種網(wǎng)絡(luò)條件下保證消息的可靠傳遞椎工,可以克服網(wǎng)絡(luò)線路質(zhì)量差或不穩(wěn)定的現(xiàn)狀饭于,在傳輸過程中,如果通信線路出現(xiàn)故障或遠(yuǎn)端的主機(jī)發(fā)生故障维蒙,本地的應(yīng)用程序都不會(huì)受到影響掰吕,可以繼續(xù)發(fā)送數(shù)據(jù),而無需等待網(wǎng)絡(luò)故障恢復(fù)或遠(yuǎn)端主機(jī)正常后再重新運(yùn)行颅痊。
在MQ中殖熟,隊(duì)列分為很多種類型,其中包括:本地隊(duì)列斑响、遠(yuǎn)程隊(duì)列菱属、模板隊(duì)列、動(dòng)態(tài)隊(duì)列舰罚、別名隊(duì)列等纽门。
本地隊(duì)列又分為普通本地隊(duì)列和傳輸隊(duì)列,普通本地隊(duì)列是應(yīng)用程序通過API對(duì)其進(jìn)行讀寫操作的隊(duì)列营罢;傳輸隊(duì)列可以理解為存儲(chǔ)-轉(zhuǎn)發(fā)隊(duì)列赏陵,比如:我們將某個(gè)消息交給MQ系統(tǒng)發(fā)送到遠(yuǎn)程主機(jī),而此時(shí)網(wǎng)絡(luò)發(fā)生故障饲漾,MQ將把消息放在傳輸隊(duì)列中暫存蝙搔,當(dāng)網(wǎng)絡(luò)恢復(fù)時(shí),再發(fā)往遠(yuǎn)端目的地考传。
遠(yuǎn)程隊(duì)列是目的隊(duì)列在本地的定義吃型,它類似一個(gè)地址指針,指向遠(yuǎn)程主機(jī)上的某個(gè)目的隊(duì)列伙菊,它僅僅是個(gè)定義败玉,不真正占用磁盤存儲(chǔ)空間。
模板隊(duì)列和動(dòng)態(tài)隊(duì)列是MQ的一個(gè)特色镜硕,它的一個(gè)典型用途是用作系統(tǒng)的可擴(kuò)展性考慮运翼。我們可以創(chuàng)建一個(gè)模板隊(duì)列,當(dāng)今后需要新增隊(duì)列時(shí)兴枯,每打開一個(gè)模板隊(duì)列血淌,MQ便會(huì)自動(dòng)生成一個(gè)動(dòng)態(tài)隊(duì)列,我們還可以指定該動(dòng)態(tài)隊(duì)列為臨時(shí)隊(duì)列或者是永久隊(duì)列,若為臨時(shí)隊(duì)列我們可以在關(guān)閉它的同時(shí)將它刪除悠夯,相反癌淮,若為永久隊(duì)列,我們可以將它永久保留沦补,為我所用乳蓄。
4) 通道
通道是MQ系統(tǒng)中隊(duì)列管理器之間傳遞消息的管道,它是建立在物理的網(wǎng)絡(luò)連接之上的一個(gè)邏輯概念夕膀,也是MQ產(chǎn)品的精華虚倒。
在MQ中,主要有三大類通道類型产舞,即消息通道魂奥,MQI通道和Cluster通道。消息通道是用于在MQ的服務(wù)器和服務(wù)器之間傳輸消息的易猫,需要強(qiáng)調(diào)指出的是耻煤,該通道是單向的,它又有發(fā)送(sender),接收(receive), 請(qǐng)求者(requestor), 服務(wù)者(server)等不同類型准颓,供用戶在不同情況下使用哈蝇。MQI通道是MQClient和
MQI通道是MQ Client和MQServer之間通訊和傳輸消息用的,與消息通道不同瞬场,它的傳輸是雙向的买鸽。群集(Cluster)通道是位于同一個(gè)MQ群集內(nèi)部的隊(duì)列管理器之間通訊使用的。
MQ的工作原理(圖見附件)
首先來看本地通訊的情況贯被,應(yīng)用程序A和應(yīng)用程序B運(yùn)行于同一系統(tǒng)A眼五,它們之間可以借助消息隊(duì)列技術(shù)進(jìn)行彼此的通訊:應(yīng)用程序A向隊(duì)列1發(fā)送一條信息,而當(dāng)應(yīng)用程序B需要時(shí)就可以得到該信息彤灶。
其次是遠(yuǎn)程通訊的情況看幼,如果信息傳輸?shù)哪繕?biāo)改為在系統(tǒng)B上的應(yīng)用程序C,這種變化不會(huì)對(duì)應(yīng)用程序A產(chǎn)生影響幌陕,應(yīng)用程序A向隊(duì)列2發(fā)送一條信息诵姜,系統(tǒng)A的MQ發(fā)現(xiàn)Q2所指向的目的隊(duì)列實(shí)際上位于系統(tǒng)B,它將信息放到本地的一個(gè)特殊隊(duì)列-傳輸隊(duì)列(TransmissionQueue)搏熄。我們建立一條從系統(tǒng)A到系統(tǒng)B的消息通道棚唆,消息通道代理將從傳輸隊(duì)列中讀取消息,并傳遞這條信息到系統(tǒng)B心例,然后等待確認(rèn)宵凌。只有MQ接到系統(tǒng)B成功收到信息的確認(rèn)之后,它才從傳輸隊(duì)列中真正將該信息刪除止后。如果通訊線路不通瞎惫,或系統(tǒng)B不在運(yùn)行溜腐,信息會(huì)留在傳輸隊(duì)列中,直到被成功地傳送到目的地瓜喇。這是MQ最基本而最重要的技術(shù)--確保信息傳輸挺益,并且是一次且僅一次(once-and-only-once)的傳遞。
MQ提供了用于應(yīng)用集成的松耦合的連接方法乘寒,因?yàn)楣蚕硇畔⒌膽?yīng)用不需要知道彼此物理位置(網(wǎng)絡(luò)地址)望众;不需要知道彼此間怎樣建立通信;不需要同時(shí)處于運(yùn)行狀態(tài)肃续;不需要在同樣的操作系統(tǒng)或網(wǎng)絡(luò)環(huán)境下運(yùn)行黍檩。
MQ的基本配置舉例
在上圖中,要實(shí)現(xiàn)網(wǎng)絡(luò)上兩臺(tái)主機(jī)上的通訊始锚,若采用點(diǎn)對(duì)點(diǎn)的通訊方式,我們至少要建立如下MQ的對(duì)象:
在發(fā)送方A:
1) 建立隊(duì)列管理器QMA: crtmqm -q QMA
2) 定義本地傳輸隊(duì)列: define qlocal (QMB) usage (xmitq) defpsist(yes)
3) 創(chuàng)建遠(yuǎn)程隊(duì)列: define qremote (QR.TOB) rname (LQB) rqmname (QMB) xmitq(QMB)
4) 定義發(fā)送通道: define channel (A.TO.B) chltype (sdr) conname ('IP ofB') xmitq (QMB) + trptype (tcp)
在接收方B:
1) 建立隊(duì)列管理器QMB: crtmqm -q QMB
2) 定義本地隊(duì)列QLB: define qlocal (LQB)
3) 創(chuàng)建接收通道: define channel (A.TO.B) chltype (rcvr) trptype(tcp)
經(jīng)過上述配置喳逛,我們就可以實(shí)現(xiàn)從主機(jī)A到B的單向通訊瞧捌,若要實(shí)現(xiàn)二者之間的雙向通訊,可參考此例創(chuàng)建所需要的MQ對(duì)象润文。
MQ的通訊模式
1)點(diǎn)對(duì)點(diǎn)通訊:點(diǎn)對(duì)點(diǎn)方式是最為傳統(tǒng)和常見的通訊方式姐呐,它支持一對(duì)一、一對(duì)多典蝌、多對(duì)多曙砂、多對(duì)一等多種配置方式,支持樹狀骏掀、網(wǎng)狀等多種拓?fù)浣Y(jié)構(gòu)鸠澈。
2)多點(diǎn)廣播:MQ適用于不同類型的應(yīng)用。其中重要的截驮,也是正在發(fā)展中的是"多點(diǎn)廣播"應(yīng)用笑陈,即能夠?qū)⑾l(fā)送到多個(gè)目標(biāo)站點(diǎn)(DestinationList)】可以使用一條MQ指令將單一消息發(fā)送到多個(gè)目標(biāo)站點(diǎn)涵妥,并確保為每一站點(diǎn)可靠地提供信息。MQ不僅提供了多點(diǎn)廣播的功能坡锡,而且還擁有智能消息分發(fā)功能蓬网,在將一條消息發(fā)送到同一系統(tǒng)上的多個(gè)用戶時(shí),MQ將消息的一個(gè)復(fù)制版本和該系統(tǒng)上接收者的名單發(fā)送到目標(biāo)MQ系統(tǒng)鹉勒。目標(biāo)MQ系統(tǒng)在本地復(fù)制這些消息帆锋,并將它們發(fā)送到名單上的隊(duì)列,從而盡可能減少網(wǎng)絡(luò)的傳輸量贸弥。
3)發(fā)布/訂閱(Publish/Subscribe)模式:發(fā)布/訂閱功能使消息的分發(fā)可以突破目的隊(duì)列地理指向的限制窟坐,使消息按照特定的主題甚至內(nèi)容進(jìn)行分發(fā),用戶或應(yīng)用程序可以根據(jù)主題或內(nèi)容接收到所需要的消息。發(fā)布/訂閱功能使得發(fā)送者和接收者之間的耦合關(guān)系變得更為松散哲鸳,發(fā)送者不必關(guān)心接收者的目的地址臣疑,而接收者也不必關(guān)心消息的發(fā)送地址,而只是根據(jù)消息的主題進(jìn)行消息的收發(fā)徙菠。在MQ家族產(chǎn)品中讯沈,MQEventBroker是專門用于使用發(fā)布/訂閱技術(shù)進(jìn)行數(shù)據(jù)通訊的產(chǎn)品,它支持基于隊(duì)列和直接基于TCP/IP兩種方式的發(fā)布和訂閱婿奔。
4)群集(Cluster):為了簡(jiǎn)化點(diǎn)對(duì)點(diǎn)通訊模式中的系統(tǒng)配置缺狠,MQ提供Cluster(群集)的解決方案。群集類似于一個(gè)域(Domain)萍摊,群集內(nèi)部的隊(duì)列管理器之間通訊時(shí)挤茄,不需要兩兩之間建立消息通道,而是采用群集(Cluster)通道與其它成員通訊冰木,從而大大簡(jiǎn)化了系統(tǒng)配置穷劈。此外,群集中的隊(duì)列管理器之間能夠自動(dòng)進(jìn)行負(fù)載均衡踊沸,當(dāng)某一隊(duì)列管理器出現(xiàn)故障時(shí)歇终,其它隊(duì)列管理器可以接管它的工作,從而大大提高系統(tǒng)的高可靠性逼龟。
歡迎訪問我們的技術(shù)交流群:650385180