RabbitMQ-1使用

一. RabbitMQ使用

什么叫消息隊(duì)列

消息（Message）是指在應(yīng)用間傳送的數(shù)據(jù)茧泪。消息可以非常簡單，比如只包含文本字符串募壕，也可以更復(fù)雜调炬，可能包含嵌入對象。
消息隊(duì)列（Message Queue）是一種應(yīng)用間的通信方式舱馅，消息發(fā)送后可以立即返回缰泡，由消息系統(tǒng)來確保消息的可靠傳遞。消息發(fā)布者只管把消息發(fā)布到 MQ 中而不用管誰來取，消息使用者只管從 MQ 中取消息而不管是誰發(fā)布的棘钞。這樣發(fā)布者和使用者都不用知道對方的存在缠借。

為何使用消息隊(duì)列

從上面的描述中可以看出消息隊(duì)列是一種應(yīng)用間的異步協(xié)作機(jī)制，那什么時(shí)候需要使用 MQ 呢?
以常見的訂單系統(tǒng)為例宜猜，用戶點(diǎn)擊【下單】按鈕之后的業(yè)務(wù)邏輯可能包括：扣減庫存泼返、生成相應(yīng)單據(jù)、發(fā)紅包姨拥、發(fā)短信通知绅喉。在業(yè)務(wù)發(fā)展初期這些邏輯可能放在一起同步執(zhí)行，隨著業(yè)務(wù)的發(fā)展訂單量增長叫乌，需要提升系統(tǒng)服務(wù)的性能柴罐，這時(shí)可以將一些不需要立即生效的操作拆分出來異步執(zhí)行，比如發(fā)放紅包憨奸、發(fā)短信通知等革屠。這種場景下就可以用 MQ ，在下單的主流程（比如扣減庫存排宰、生成相應(yīng)單據(jù)）完成之后發(fā)送一條消息到 MQ 讓主流程快速完結(jié)似芝，而由另外的單獨(dú)線程拉取MQ的消息（或者由 MQ 推送消息），當(dāng)發(fā)現(xiàn) MQ 中有發(fā)紅包或發(fā)短信之類的消息時(shí)板甘，執(zhí)行相應(yīng)的業(yè)務(wù)邏輯党瓮。
詳細(xì)

RabbitMQ介紹

RabbitMQ 是一個(gè)由 Erlang 語言開發(fā)的 AMQP 的開源實(shí)現(xiàn)。
rabbitMQ是一款基于AMQP協(xié)議的消息中間件虾啦，它能夠在應(yīng)用之間提供可靠的消息傳輸麻诀。在易用性，擴(kuò)展性傲醉，高可用性上表現(xiàn)優(yōu)秀蝇闭。使用消息中間件利于應(yīng)用之間的解耦，生產(chǎn)者（客戶端）無需知道消費(fèi)者（服務(wù)端）的存在硬毕。而且兩端可以使用不同的語言編寫呻引，大大提供了靈活性。
中文文檔

二. rabbitMQ安裝

2.1 Linux

安裝配置epel源
   $ rpm -ivh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
 
安裝erlang
   $ yum -y install erlang
 
安裝RabbitMQ
   $ yum -y install rabbitmq-server
注意：service rabbitmq-server start/stop

2.2 Mac

# brew install rabbitmq
# export PATH=$PATH:/usr/local/sbin
# rabbitmq-server

2.2 rabbitMQ工作模型

2.2.1 簡單模式

示例

# ######################### 生產(chǎn)者 #########################
#!/usr/bin/env python
import pika
connection = pika.BlockingConnection(pika.ConnectionParameters( host='localhost'))

channel = connection.channel()

channel.queue_declare(queue='hello')

channel.basic_publish(exchange='',
                      routing_key='hello',
                      body='Hello World!')

print(" [x] Sent 'Hello World!'")
connection.close()

# ########################## 消費(fèi)者 ##########################
 
connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
 
channel.queue_declare(queue='hello')
 
def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)
 
# 需要producer確認(rèn)之后在刪除消息內(nèi)容的時(shí)候需要將no_ack置為False 
channel.basic_consume( callback,
                       queue='hello',
                       no_ack=True)
 
print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()

相關(guān)參數(shù)說明

no-ack ＝ False吐咳，如果消費(fèi)者遇到情況(its channel is closed, connection is closed, or TCP connection is lost)掛掉了逻悠，那么，RabbitMQ會重新將該任務(wù)添加到隊(duì)列中韭脊。

  • 回調(diào)函數(shù)中的ch.basic_ack(delivery_tag=method.delivery_tag)
  • basic_comsume中的no_ack=False
  1. 消息接收端應(yīng)該這么寫
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='10.211.55.4'))
channel = connection.channel()

channel.queue_declare(queue='hello')

def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)
    import time
    time.sleep(10)
    print 'ok'
    ch.basic_ack(delivery_tag = method.delivery_tag)

channel.basic_consume(callback,
                      queue='hello',
                      no_ack=False)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
  1. durable:消息不丟失
# 生產(chǎn)者
#!/usr/bin/env python
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
channel = connection.channel()

# make message persistent
channel.queue_declare(queue='hello', durable=True)

channel.basic_publish(exchange='',
                      routing_key='hello',
                      body='Hello World!',
                      properties=pika.BasicProperties(
                          delivery_mode=2, # make message persistent
                      ))
print(" [x] Sent 'Hello World!'")
connection.close()


# 消費(fèi)者
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
channel = connection.channel()

# make message persistent
channel.queue_declare(queue='hello', durable=True)


def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)
    import time
    time.sleep(10)
    print 'ok'
    ch.basic_ack(delivery_tag = method.delivery_tag)

channel.basic_consume(callback,
                      queue='hello',
                      no_ack=False)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
  1. 消息獲取順序
    默認(rèn)消息隊(duì)列里的數(shù)據(jù)是按照順序被消費(fèi)者拿走童谒，例如：消費(fèi)者1 去隊(duì)列中獲取 奇數(shù) 序列的任務(wù)，消費(fèi)者1去隊(duì)列中獲取 偶數(shù) 序列的任務(wù)沪羔。
    channel.basic_qos(prefetch_count=1) 表示誰來誰獲取消費(fèi)就分發(fā)給消費(fèi)者饥伊，不再按照奇偶數(shù)排列
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
channel = connection.channel()

# make message persistent
channel.queue_declare(queue='hello')


def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)
    import time
    time.sleep(10)
    print 'ok'
    ch.basic_ack(delivery_tag = method.delivery_tag)

channel.basic_qos(prefetch_count=1)

channel.basic_consume(callback,
                      queue='hello',
                      no_ack=False)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()

三. exchange交換機(jī)模型

3.1 發(fā)布訂閱

模型圖

發(fā)布訂閱和簡單的消息隊(duì)列區(qū)別在于，發(fā)布訂閱會將消息發(fā)送給所有的訂閱者，而消息隊(duì)列中的數(shù)據(jù)被消費(fèi)一次便消失琅豆。所以愉豺，RabbitMQ實(shí)現(xiàn)發(fā)布和訂閱時(shí)，會為每一個(gè)訂閱者創(chuàng)建一個(gè)隊(duì)列茫因，而發(fā)布者發(fā)布消息時(shí)蚪拦，會將消息放置在所有相關(guān)隊(duì)列中。
exchange_type = fanout

# 生產(chǎn)者
#!/usr/bin/env python
import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs',
                         exchange_type='fanout')

message = ' '.join(sys.argv[1:]) or "info: Hello World!"
channel.basic_publish(exchange='logs',
                      routing_key='',
                      body=message)
print(" [x] Sent %r" % message)
connection.close()


# 消費(fèi)者
#!/usr/bin/env python
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs',
                         exchange_type='fanout')

result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue

channel.queue_bind(exchange='logs',
                   queue=queue_name)

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r" % body)

channel.basic_consume(callback,
                      queue=queue_name,
                      no_ack=True)

channel.start_consuming()

3.2 關(guān)鍵字發(fā)送

模型圖

exchange_type = direct
之前示例冻押，發(fā)送消息時(shí)明確指定某個(gè)隊(duì)列并向其中發(fā)送消息驰贷，RabbitMQ還支持根據(jù)關(guān)鍵字發(fā)送，即：隊(duì)列綁定關(guān)鍵字翼雀，發(fā)送者將數(shù)據(jù)根據(jù)關(guān)鍵字發(fā)送到消息exchange饱苟，exchange根據(jù) 關(guān)鍵字 判定應(yīng)該將數(shù)據(jù)發(fā)送至指定隊(duì)列。

#!/usr/bin/env python
import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='direct_logs',
                         exchange_type='direct')

result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue

severities = sys.argv[1:]
if not severities:
    sys.stderr.write("Usage: %s [info] [warning] [error]\n" % sys.argv[0])
    sys.exit(1)

for severity in severities:
    channel.queue_bind(exchange='direct_logs',
                       queue=queue_name,
                       routing_key=severity)

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r:%r" % (method.routing_key, body))

channel.basic_consume(callback,
                      queue=queue_name,
                      no_ack=True)

channel.start_consuming()

3.3 模糊匹配

模型圖

exchange_type = topic

發(fā)送者路由值 隊(duì)列中
www.weshuke.python old.* -- 不匹配
age.weshuke.python old.# -- 匹配
在topic類型下狼渊，可以讓隊(duì)列綁定幾個(gè)模糊的關(guān)鍵字，之后發(fā)送者將數(shù)據(jù)發(fā)送到exchange类垦，exchange將傳入”路由值“和 ”關(guān)鍵字“進(jìn)行匹配狈邑，匹配成功，則將數(shù)據(jù)發(fā)送到指定隊(duì)列蚤认。

  • # 表示可以匹配 0 個(gè) 或 多個(gè) 單詞
  • * 表示只能匹配 一個(gè) 單詞
#!/usr/bin/env python
import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='topic_logs',
                         exchange_type='topic')

result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue

binding_keys = sys.argv[1:]
if not binding_keys:
    sys.stderr.write("Usage: %s [binding_key]...\n" % sys.argv[0])
    sys.exit(1)

for binding_key in binding_keys:
    channel.queue_bind(exchange='topic_logs',
                       queue=queue_name,
                       routing_key=binding_key)

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r:%r" % (method.routing_key, body))

channel.basic_consume(callback,
                      queue=queue_name,
                      no_ack=True)

channel.start_consuming()

基于RabbitMQ的RPC

Callback queue 回調(diào)隊(duì)列

一個(gè)客戶端向服務(wù)器發(fā)送請求米苹，服務(wù)器端處理請求后，將其處理結(jié)果保存在一個(gè)存儲體中砰琢。而客戶端為了獲得處理結(jié)果蘸嘶，那么客戶在向服務(wù)器發(fā)送請求時(shí)，同時(shí)發(fā)送一個(gè)回調(diào)隊(duì)列地址reply_to陪汽。

Correlation id 關(guān)聯(lián)標(biāo)識

一個(gè)客戶端可能會發(fā)送多個(gè)請求給服務(wù)器训唱，當(dāng)服務(wù)器處理完后，客戶端無法辨別在回調(diào)隊(duì)列中的響應(yīng)具體和那個(gè)請求時(shí)對應(yīng)的挚冤。為了處理這種情況况增，客戶端在發(fā)送每個(gè)請求時(shí)，同時(shí)會附帶一個(gè)獨(dú)有correlation_id屬性训挡，這樣客戶端在回調(diào)隊(duì)列中根據(jù)correlation_id字段的值就可以分辨此響應(yīng)屬于哪個(gè)請求澳骤。

  1. 客戶端發(fā)送請求：某個(gè)應(yīng)用將請求信息交給客戶端，然后客戶端發(fā)送RPC請求澜薄，在發(fā)送RPC請求到RPC請求隊(duì)列時(shí)为肮，客戶端至少發(fā)送帶有reply_to以及correlation_id兩個(gè)屬性的信息
  2. 服務(wù)器端工作流： 等待接受客戶端發(fā)來RPC請求，當(dāng)請求出現(xiàn)的時(shí)候肤京，服務(wù)器從RPC請求隊(duì)列中取出請求颊艳，然后處理后，將響應(yīng)發(fā)送到reply_to指定的回調(diào)隊(duì)列中.
  3. 客戶端接受處理結(jié)果： 客戶端等待回調(diào)隊(duì)列中出現(xiàn)響應(yīng)，當(dāng)響應(yīng)出現(xiàn)時(shí)籽暇，它會根據(jù)響應(yīng)中correlation_id字段的值温治，將其返回給對應(yīng)的應(yīng)用.

服務(wù)器端

#!/usr/bin/env python
import pika

# 建立連接，服務(wù)器地址為localhost戒悠，可指定ip地址
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='localhost'))

# 建立會話
channel = connection.channel()

# 聲明RPC請求隊(duì)列
channel.queue_declare(queue='rpc_queue')

# 數(shù)據(jù)處理方法
def fib(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fib(n-1) + fib(n-2)

# 對RPC請求隊(duì)列中的請求進(jìn)行處理
def on_request(ch, method, props, body):
    n = int(body)

    print(" [.] fib(%s)" % n)

    # 調(diào)用數(shù)據(jù)處理方法
    response = fib(n)

    # 將處理結(jié)果(響應(yīng))發(fā)送到回調(diào)隊(duì)列
    ch.basic_publish(exchange='',
                     routing_key=props.reply_to,
                     properties=pika.BasicProperties(correlation_id = \
                                                         props.correlation_id),
                     body=str(response))
    ch.basic_ack(delivery_tag = method.delivery_tag)

# 負(fù)載均衡熬荆，同一時(shí)刻發(fā)送給該服務(wù)器的請求不超過一個(gè)
channel.basic_qos(prefetch_count=1)

channel.basic_consume(on_request, queue='rpc_queue')

print(" [x] Awaiting RPC requests")
channel.start_consuming()

客戶端

#!/usr/bin/env python
import pika
import uuid

class FibonacciRpcClient(object):
    def __init__(self):
        ”“”
        客戶端啟動(dòng)時(shí)，創(chuàng)建回調(diào)隊(duì)列绸狐，會開啟會話用于發(fā)送RPC請求以及接受響應(yīng)
        
        “”“
        
        # 建立連接卤恳，指定服務(wù)器的ip地址
        self.connection = pika.BlockingConnection(pika.ConnectionParameters(
                host='localhost'))
                
        # 建立一個(gè)會話，每個(gè)channel代表一個(gè)會話任務(wù)
        self.channel = self.connection.channel()
        
        # 聲明回調(diào)隊(duì)列寒矿，再次聲明的原因是突琳，服務(wù)器和客戶端可能先后開啟，該聲明是冪等的符相，多次聲明拆融，但只生效一次
        result = self.channel.queue_declare(exclusive=True)
        # 將次隊(duì)列指定為當(dāng)前客戶端的回調(diào)隊(duì)列
        self.callback_queue = result.method.queue
        
        # 客戶端訂閱回調(diào)隊(duì)列，當(dāng)回調(diào)隊(duì)列中有響應(yīng)時(shí)啊终，調(diào)用`on_response`方法對響應(yīng)進(jìn)行處理; 
        self.channel.basic_consume(self.on_response, no_ack=True,
                                   queue=self.callback_queue)


    # 對回調(diào)隊(duì)列中的響應(yīng)進(jìn)行處理的函數(shù)
    def on_response(self, ch, method, props, body):
        if self.corr_id == props.correlation_id:
            self.response = body


    # 發(fā)出RPC請求
    def call(self, n):
    
        # 初始化 response
        self.response = None
        
        #生成correlation_id 
        self.corr_id = str(uuid.uuid4())
        
        # 發(fā)送RPC請求內(nèi)容到RPC請求隊(duì)列`rpc_queue`镜豹，同時(shí)發(fā)送的還有`reply_to`和`correlation_id`
        self.channel.basic_publish(exchange='',
                                   routing_key='rpc_queue',
                                   properties=pika.BasicProperties(
                                         reply_to = self.callback_queue,
                                         correlation_id = self.corr_id,
                                         ),
                                   body=str(n))
                                   
        
        while self.response is None:
            self.connection.process_data_events()
        return int(self.response)

# 建立客戶端
fibonacci_rpc = FibonacciRpcClient()

# 發(fā)送RPC請求
print(" [x] Requesting fib(30)")
response = fibonacci_rpc.call(30)
print(" [.] Got %r" % response)

原文鏈接

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市蓝牲，隨后出現(xiàn)的幾起案子趟脂，更是在濱河造成了極大的恐慌，老刑警劉巖例衍，帶你破解...
    沈念sama閱讀 217,657評論 6贊 505
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件昔期，死亡現(xiàn)場離奇詭異，居然都是意外死亡佛玄，警方通過查閱死者的電腦和手機(jī)硼一，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,889評論 3贊 394
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來翎嫡，“玉大人欠动，你說我怎么就攤上這事』笊辏” “怎么了具伍？”我有些...
    開封第一講書人閱讀 164,057評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長圈驼。 經(jīng)常有香客問我人芽，道長，這世上最難降的妖魔是什么绩脆？ 我笑而不...
    開封第一講書人閱讀 58,509評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任萤厅，我火速辦了婚禮橄抹，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘惕味。我一直安慰自己楼誓，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,562評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布名挥。 她就那樣靜靜地躺著疟羹，像睡著了一般。 火紅的嫁衣襯著肌膚如雪禀倔。 梳的紋絲不亂的頭發(fā)上榄融，一...
    開封第一講書人閱讀 51,443評論 1贊 302
  • 城市分裂傳說
    那天，我揣著相機(jī)與錄音救湖，去河邊找鬼愧杯。 笑死，一個(gè)胖子當(dāng)著我的面吹牛鞋既，可吹牛的內(nèi)容都是我干的力九。 我是一名探鬼主播，決...
    沈念sama閱讀 40,251評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼涛救，長吁一口氣：“原來是場噩夢啊……” “哼畏邢！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起检吆，我...
    開封第一講書人閱讀 39,129評論 0贊 276
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎程储，沒想到半個(gè)月后蹭沛，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,561評論 1贊 314
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡章鲤，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,779評論 3贊 335
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年摊灭，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片败徊。...
    茶點(diǎn)故事閱讀 39,902評論 1贊 348
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡帚呼，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出皱蹦，到底是詐尸還是另有隱情煤杀，我是刑警寧澤，帶...
    沈念sama閱讀 35,621評論 5贊 345
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布沪哺，位于F島的核電站沈自，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏辜妓。R本人自食惡果不足惜枯途，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,220評論 3贊 328
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一忌怎、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧酪夷，春花似錦榴啸、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,838評論 0贊 22
  • 一樁弒父案鸥印，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至腥例，卻和暖如春辅甥，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背燎竖。 一陣腳步聲響...
    開封第一講書人閱讀 32,971評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工璃弄， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人构回。 一個(gè)月前我還...
    沈念sama閱讀 48,025評論 2贊 370
  • 代替公主和親
    正文 我出身青樓夏块，卻偏偏與公主長得像，于是被迫代替她去往敵國和親纤掸。 傳聞我的和親對象是個(gè)殘疾皇子脐供，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,843評論 2贊 354

推薦閱讀更多精彩內(nèi)容