首页手记 MQ消息队列学习：新手入门教程

MQ消息队列学习：新手入门教程

标签：

Java 中间件

概述

本文详尽介绍了MQ消息队列的基本原理、应用场景、开发环境搭建及常见问题解决方案，帮助读者全面了解和掌握MQ消息队列的使用方法。文章不仅阐述了MQ的工作原理、性能与可靠性，还探讨了异步通信、系统解耦和流量削峰等应用场景。此外，还提供了选择合适MQ系统和搭建开发环境的指导，确保读者能够顺利入门MQ消息队列。

MQ消息队列简介

什么是MQ消息队列

消息队列（Message Queue，简称MQ）是一种跨进程通信或同一进程内不同组件间通信的中间件。它通过在发送方与接收方之间引入一个中间层来实现异步通信，使得发送方发送消息后无需等待接收方的响应而继续执行其他任务。消息队列系统一般由消息生产者、消息队列、消息消费者三部分组成。消息生产者将消息发送到消息队列，消息消费者则从消息队列中获取并处理消息。

MQ消息队列的作用

消息队列的主要作用在于异步解耦、流量削峰和批量处理。

异步解耦：消息队列可以将不同系统模块解耦，例如，Web服务和数据库操作可以采用MQ进行解耦，Web服务将数据插入到MQ中，数据库模块从MQ中获取数据并保存。这样，Web服务无需关心数据库的存储细节，而数据库模块也可以独立维护数据存储逻辑。
流量削峰：在系统处理能力有限的情况下，消息队列可以作为缓冲区，存储突发的大量请求，从而平滑系统流量，提高系统的稳定性和响应速度。
批量处理：消息队列可以提升效率，比如在发送邮件或短信通知时，可以将多个通知消息一起发送，减少网络通信次数。

常见MQ消息队列系统介绍

常见的MQ消息队列系统有RabbitMQ、Kafka、RocketMQ和ActiveMQ等。

RabbitMQ：开源的AMQP（高级消息队列协议）标准的消息队列服务，具有高可用、高可靠的特点。
Kafka：由LinkedIn开发的高吞吐量分布式的发布订阅消息系统，主要用于实时数据流处理。
RocketMQ：由阿里巴巴开源的分布式消息中间件，支持亿级并发，具有高吞吐量、低延迟的特点。
ActiveMQ.
：Apache开发的开源消息代理，支持多种消息协议，具有高度的灵活性和可扩展性。

MQ消息队列工作原理

消息生产者与消费者

消息生产者（Producer）负责创建消息并发送到消息队列，消息消费者（Consumer）则从消息队列中获取消息并进行处理。发送方和接收方通过消息队列实现了异步通信，发送方发送消息后立即返回，无需等待接收方的响应。接收方可以在合适的时间从队列中获取并处理消息。

示例代码

消息生产者：

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

channel.queue_declare(queue='hello')

channel.basic_publish(exchange='',
                     routing_key='hello',
                     body='Hello World!')

print(" [x] Sent 'Hello World!'")
connection.close()

消息消费者：

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

def callback(ch, method, properties, body):
   print(" [x] Received %r" % body)

channel.basic_consume(queue='hello',
                     auto_ack=True,
                     on_message_callback=callback)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
connection.close()

消息持久化与传递模式

消息持久化是指将消息写入持久化存储，确保即使服务重启或发生故障也能保证消息不会丢失。持久化的消息通常存储在磁盘上，而非内存。消息传递模式包括点对点模式（Point-to-Point，PTP）和发布/订阅模式（Publish/Subscribe）。

点对点模式：每个消息只能被一个消费者接收。当消息被接收后，消息队列中该消息即被删除。
发布/订阅模式：多个消费者可以订阅同一个主题（Topic），消息发送到主题后会被所有订阅该主题的消费者接收。

消息持久化示例代码

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

channel.queue_declare(queue='hello', durable=True)

channel.basic_publish(exchange='',
                      routing_key='hello',
                      body='Hello World!',
                      properties=pika.BasicProperties(
                          delivery_mode=pika.spec.PERSISTENT_DELIVERY_MODE
                      ))

print(" [x] Sent 'Hello World!'")
connection.close()

消息队列的性能与可靠性

消息队列的性能主要体现在吞吐量（处理消息的速度）和延迟（消息从发送到接收的时间）。提高性能可以通过优化消息的编码和压缩、减少网络传输延迟等手段实现。而消息队列的可靠性则依赖于消息持久化、备份存储和重试机制来确保消息的可靠传递。

MQ消息队列应用场景

异步通信

在Web应用中，一个典型场景是用户注册时，需要调用多个后台服务，如验证手机号、发送短信验证码、插入数据库等。若采用同步方式调用这些服务，用户体验会很差，因为每个服务的耗时无法预知。采用消息队列可以将这些操作异步化，提高用户体验。一旦用户提交注册信息，立即反馈给用户，然后将任务通过消息队列传递给后台服务，后台服务异步处理这些任务。

示例代码

用户注册异步处理

import pika

# 用户注册生产者
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

channel.queue_declare(queue='registration')

channel.basic_publish(exchange='',
                     routing_key='registration',
                     body='Register user')

print(" [x] Sent 'Register user'")
connection.close()

# 用户注册消费者
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

def callback(ch, method, properties, body):
   print(" [x] Received %r" % body)

channel.basic_consume(queue='registration',
                     auto_ack=True,
                     on_message_callback=callback)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
connection.close()

解耦系统

在企业级应用中，经常遇到多个系统模块需要协同工作的情况，如订单系统、支付系统、库存系统等。若采用直接调用的方式，一旦某个模块出现故障，会导致整个系统瘫痪。采用消息队列可以将这些模块解耦，一个模块出现问题不会影响其他模块的正常运行。

示例代码

订单系统与支付系统解耦

# 订单系统生产者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

channel.queue_declare(queue='order_payment')

channel.basic_publish(exchange='',
                     routing_key='order_payment',
                     body='Order creation')

print(" [x] Sent 'Order creation'")
connection.close()

# 支付系统消费者
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

def callback(ch, method, properties, body):
   print(" [x] Received %r" % body)

channel.basic_consume(queue='order_payment',
                     auto_ack=True,
                     on_message_callback=callback)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
connection.close()

流量削峰

在业务高峰时段，如双十一购物节，系统可能会面临大量并发请求。采用消息队列可以将请求存储在队列中，实现流量削峰。当流量超过系统处理能力时，使用消息队列将超出的请求暂时存储起来，待系统恢复正常后再处理这些请求。

示例代码

流量削峰处理

import pika

# 流量削峰生产者
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

channel.queue_declare(queue='traffic_peaking')

channel.basic_publish(exchange='',
                     routing_key='traffic_peaking',
                     body='High traffic')

print(" [x] Sent 'High traffic'")
connection.close()

# 流量削峰消费者
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

def callback(ch, method, properties, body):
   print(" [x] Received %r" % body)

channel.basic_consume(queue='traffic_peaking',
                     auto_ack=True,
                     on_message_callback=callback)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
connection.close()

MQ消息队列开发环境搭建

选择合适的MQ消息队列系统

选择合适的MQ消息队列系统需要考虑以下因素：

业务需求：不同的业务场景可能适合不同的消息队列系统，例如实时数据流处理更适合Kafka，而分布式消息中间件更适合RocketMQ。
社区活跃度：优先选择社区活跃度高、文档完善的MQ消息队列，便于获取技术支持和学习资源。
性能与可靠性：根据业务需求选择性能和可靠性匹配的MQ消息队列系统。例如，高吞吐量的系统选择Kafka，高可靠性的系统选择RocketMQ。
成本：考虑使用开源或商业MQ消息队列系统，根据团队的预算选择合适的MQ消息队列系统。

RabbitMQ安装示例

以下步骤以RabbitMQ为例，介绍如何安装MQ消息队列系统：

下载RabbitMQ：https://www.rabbitmq.com/download.html
安装RabbitMQ：下载完成后，使用命令行工具安装RabbitMQ。以Ubuntu为例，通过以下命令安装：
```
sudo apt-get update
sudo apt-get install rabbitmq-server
```

启动RabbitMQ：

sudo systemctl start rabbitmq-server
sudo systemctl enable rabbitmq-server

验证安装是否成功：
```
sudo rabbitmqctl status
```
如果输出信息显示RabbitMQ正在运行，说明安装成功。

基本的命令行操作

查看队列信息：
```
sudo rabbitmqctl list_queues
```
查看连接信息：
```
sudo rabbitmqctl list_connections
```
查看节点信息：
```
sudo rabbitmqctl status
```

MQ消息队列基本操作

创建和删除队列

创建队列：

import pika

# 创建连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 创建队列
channel.queue_declare(queue='hello')

删除队列：

channel.queue_delete(queue='hello')

发送和接收消息

发送消息：

import pika

# 创建连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 发送消息
channel.basic_publish(exchange='',
                      routing_key='hello',
                      body='Hello World!')
print(" [x] Sent 'Hello World!'")

接收消息：

import pika

# 创建连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 定义回调函数
def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)

# 接收消息
channel.basic_consume(queue='hello',
                      auto_ack=True,
                      on_message_callback=callback)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()

消息的过滤与路由

消息过滤与路由是MQ消息队列系统中非常重要的功能，通过路由键（Routing Key）可以将消息路由到指定的队列。以下是一个简单的示例：

定义路由键：

import pika

# 创建连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 创建交换机和绑定队列
channel.exchange_declare(exchange='logs',
                        exchange_type='direct')
channel.queue_declare(queue='info')
channel.queue_declare(queue='warning')
channel.queue_bind(exchange='logs',
                  queue='info',
                  routing_key='info')
channel.queue_bind(exchange='logs',
                  queue='warning',
                  routing_key='warning')

# 发送消息
channel.basic_publish(exchange='logs',
                     routing_key='info',
                     body='This is an info message.')
channel.basic_publish(exchange='logs',
                     routing_key='warning',
                     body='This is a warning message.')

接收路由消息：

import pika

# 创建连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 接收消息
def callback(ch, method, properties, body):
   print(" [x] Received %r" % body)

# 接收info队列消息
channel.basic_consume(queue='info',
                     auto_ack=True,
                     on_message_callback=callback)
channel.basic_consume(queue='warning',
                     auto_ack=True,
                     on_message_callback=callback)

# 开始消费
channel.start_consuming()

MQ消息队列常见问题与解决方案

常见错误及排查

连接失败：检查MQ消息队列服务是否已启动，并确认连接参数（如IP地址和端口）正确。
消息丢失：检查消息队列是否配置了持久化特性，确保消息被正确持久化到磁盘。
性能瓶颈：通过监控消息队列的吞吐量和延迟，分析性能瓶颈并调整配置参数优化性能。

性能优化方法

消息压缩：通过压缩消息可以减少网络传输的带宽，提高系统吞吐量。
批量处理：对消息进行批量处理可以减少网络通信次数，提高效率。
优化代码：优化消息处理的代码逻辑，减少不必要的计算和内存使用。

安全性配置建议

使用SSL/TLS加密：确保消息在传输过程中经过加密，防止数据被窃听。
访问控制：实现严格的访问控制策略，限制仅允许特定用户或IP地址访问消息队列。
认证与授权：使用认证和授权机制，确保用户身份验证和权限控制。

通过以上介绍，希望读者能够全面了解和掌握MQ消息队列的基本原理、应用场景、开发环境搭建以及常见问题解决方案。根据具体需求选择合适的MQ消息队列系统，并进行适当的配置和优化，可以有效提升系统的性能和可靠性。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

隔江千里

手记
篇

粉丝

39

获赞与收藏

182

关注作者，订阅最新文章

阅读免费教程

Java并发工具

23个小节 19187 313

Java 并发原理入门教程

26个小节 38860 566

Java 入门教程

50个小节 340924 3155

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

MQ消息队列学习：新手入门教程

什么是MQ消息队列

MQ消息队列的作用

常见MQ消息队列系统介绍

消息生产者与消费者

示例代码

消息持久化与传递模式

消息持久化示例代码

消息队列的性能与可靠性

异步通信

示例代码

解耦系统

示例代码

流量削峰

示例代码

选择合适的MQ消息队列系统

RabbitMQ安装示例

基本的命令行操作

创建和删除队列

发送和接收消息

消息的过滤与路由

常见错误及排查

性能优化方法

安全性配置建议

阅读免费教程