rabbitMQ+thrift傳送消息

Apache thrift是一個(gè)開源的RPC框架拖叙,看到跟protocol buffer一樣也適用多種語言,就想著用rabbitMQ來處理thrift的消息赂乐,因?yàn)閠hrift字節(jié)比pb更少薯鳍,可以適用于大量傳送數(shù)據(jù)的場(chǎng)景,例如挨措,每個(gè)消息10K挖滤,傳送100條這樣的消息,就是10*100=1M浅役,但用thrift可以壓縮40%斩松,這里數(shù)據(jù)就少得很可觀了。
這里就記錄一下担租,我的使用過程:
首先定義一個(gè)Message.thrift

struct Message {
    1: i32 messageid,
    2: string message
}

然后用thrift生成相應(yīng)的js文件

thrift --gen js:node Message.thrift

這里生成了一個(gè)Message_types.js文件
這就是我們用來序列化數(shù)據(jù)的文件
好了砸民,我們?cè)儆胣ode寫一個(gè)rabbitMQ的發(fā)送文件
這里我們就叫send.js

var thrift = require('thrift');
var Message = require('./gen-nodejs/Message_types').Message;
var amqp = require('amqplib/callback_api');

var transport = new thrift.TBufferedTransport();
var protocol = new thrift.TBinaryProtocol(transport);

var AMPQ_URI = 'amqp://localhost:5672';

amqp.connect(AMPQ_URI, function(err, conn){
    conn.createChannel(function(err, ch){
        var q = 'hello';

        var buf = obj2buf({messageid:1,message:'{message:"1234"}'});

        ch.assertQueue(q, {durable: false});
        ch.sendToQueue(q, buf);
        console.log(" [x] Send Data Finish");
    });
    setTimeout(function(){
        conn.close();
        process.exit(0);
    }, 500);
})

/**
 * 將對(duì)象轉(zhuǎn)換成buffer
 * @param  {[type]} obj [description]
 * @return {[type]}     [description]
 */
var obj2buf = function(obj){
    var message = new Message(obj);
    message.write(protocol);
    var outBuffers = transport.outBuffers;
    var outCount = transport.outCount;
    var result = new Buffer(outCount);
    var pos = 0;
    outBuffers.forEach(function(buf) {
      buf.copy(result, pos, 0);
      pos += buf.length;
    });
    return result;
}

其中obj2buf就是thrift將數(shù)據(jù)轉(zhuǎn)換成buffer的方法抵怎,別問我怎么得來的奋救,我也是從網(wǎng)上找的,但這個(gè)方法能用反惕,自己親測(cè)
我們?cè)賹懸粋€(gè)receiver.js尝艘,這個(gè)方法是用來處理rabbitMQ消息的

var thrift = require('thrift');
var Message = require('./gen-nodejs/Message_types').Message;
var amqp = require('amqplib/callback_api');

var transport = new thrift.TBufferedTransport();
var protocol = new thrift.TBinaryProtocol(transport);

var AMQP_URI = 'amqp://localhost:5672';

amqp.connect(AMQP_URI, function(err, conn){
    conn.createChannel(function(err, ch){
        var q = 'hello';

        ch.assertQueue(q, {durable: false});
        console.log('[*] Waiting for message in %s. To exit press CTRL+C', q);
        ch.consume(q, function(msg){
            // console.log(msg);

            var message = buf2obj(msg.content);
            
            console.log(message);
            console.log('[x] Received Data Finish');
        }, {noAck: true});
    })
})

/**
 * 將buffer轉(zhuǎn)換成對(duì)象
 * @param  {[type]} buffer [description]
 * @return {[type]}     [description]
 */
var buf2obj = function(buffer){
    var data = buffer;
    data.copy(transport.inBuf, transport.writeCursor, 0);
    transport.writeCursor += data.length;
    var message = new Message();
    message.read(protocol);
    return message;
}

這里的buf2obj就是將buffer轉(zhuǎn)換成對(duì)象,
rabbitMQ里面?zhèn)魉拖⒍际且詁uffer類型姿染。
好了背亥,我們可以先跑

node receiver.js
屏幕快照 2017-05-18 下午3.10.07.png

再開一個(gè)窗口運(yùn)行

node send.js
屏幕快照 2017-05-18 下午3.10.18.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末秒际,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子狡汉,更是在濱河造成了極大的恐慌娄徊,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,104評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件盾戴,死亡現(xiàn)場(chǎng)離奇詭異寄锐,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)尖啡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門橄仆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人衅斩,你說我怎么就攤上這事盆顾。” “怎么了畏梆?”我有些...
    開封第一講書人閱讀 168,697評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵您宪,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我具温,道長(zhǎng)蚕涤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,836評(píng)論 1 298
  • 正文 為了忘掉前任铣猩,我火速辦了婚禮揖铜,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘达皿。我一直安慰自己天吓,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,851評(píng)論 6 397
  • 文/花漫 我一把揭開白布峦椰。 她就那樣靜靜地躺著龄寞,像睡著了一般。 火紅的嫁衣襯著肌膚如雪汤功。 梳的紋絲不亂的頭發(fā)上物邑,一...
    開封第一講書人閱讀 52,441評(píng)論 1 310
  • 那天,我揣著相機(jī)與錄音滔金,去河邊找鬼色解。 笑死,一個(gè)胖子當(dāng)著我的面吹牛餐茵,可吹牛的內(nèi)容都是我干的科阎。 我是一名探鬼主播,決...
    沈念sama閱讀 40,992評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼忿族,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼锣笨!你這毒婦竟也來了蝌矛?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,899評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤错英,失蹤者是張志新(化名)和其女友劉穎入撒,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體椭岩,經(jīng)...
    沈念sama閱讀 46,457評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡衅金,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,529評(píng)論 3 341
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了簿煌。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片氮唯。...
    茶點(diǎn)故事閱讀 40,664評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖姨伟,靈堂內(nèi)的尸體忽然破棺而出惩琉,到底是詐尸還是另有隱情,我是刑警寧澤夺荒,帶...
    沈念sama閱讀 36,346評(píng)論 5 350
  • 正文 年R本政府宣布瞒渠,位于F島的核電站,受9級(jí)特大地震影響技扼,放射性物質(zhì)發(fā)生泄漏伍玖。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,025評(píng)論 3 334
  • 文/蒙蒙 一剿吻、第九天 我趴在偏房一處隱蔽的房頂上張望窍箍。 院中可真熱鬧,春花似錦丽旅、人聲如沸椰棘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽邪狞。三九已至,卻和暖如春茅撞,著一層夾襖步出監(jiān)牢的瞬間帆卓,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工米丘, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留剑令,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,081評(píng)論 3 377
  • 正文 我出身青樓蠕蚜,卻偏偏與公主長(zhǎng)得像尚洽,于是被迫代替她去往敵國(guó)和親悔橄。 傳聞我的和親對(duì)象是個(gè)殘疾皇子靶累,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,675評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理腺毫,服務(wù)發(fā)現(xiàn),斷路器挣柬,智...
    卡卡羅2017閱讀 134,704評(píng)論 18 139
  • 來源 RabbitMQ是用Erlang實(shí)現(xiàn)的一個(gè)高并發(fā)高可靠AMQP消息隊(duì)列服務(wù)器潮酒。支持消息的持久化、事務(wù)邪蛔、擁塞控...
    jiangmo閱讀 10,367評(píng)論 2 34
  • 轉(zhuǎn)自:http://blog.csdn.net/kesonyk/article/details/50924489 ...
    晴天哥_王志閱讀 24,825評(píng)論 2 38
  • 問題導(dǎo)讀: 1.如何構(gòu)建高并發(fā)電商平臺(tái)架構(gòu) 2.哈希急黎、B樹、倒排侧到、bitmap的作用是什么勃教? 3.作為軟件工程師,...
    MaLiang閱讀 5,127評(píng)論 1 70
  • 曾幻想幾許時(shí)跟未來家公家婆見面的場(chǎng)景和以后相處的樣子匠抗,現(xiàn)在還沒看到未來家婆故源,她已經(jīng)很熱情跟我聊天,各種關(guān)心汞贸,前幾天...
    星月菩提子閱讀 394評(píng)論 0 0