首页手记 RocketMQ初识教程：新手快速入门指南

RocketMQ初识教程：新手快速入门指南

标签：

中间件

概述

RocketMQ是一款功能强大的分布式消息中间件，具备高吞吐量、高可靠性和高性能的特点；本文将详细介绍RocketMQ的架构设计、安装配置以及核心概念，通过实战操作展示如何发送和接收消息，并提供丰富的学习资源帮助读者深入理解RocketMQ。

RocketMQ简介

RocketMQ 是阿里巴巴开源的一款分布式消息中间件，它采用了高可用的设计理念，支持万亿级数据的吞吐量，并且具有高可靠、高可用、高性能的特点。RocketMQ 支持多语言客户端，包括 Java、C、C++、Python、Go 等，具备出色的横向拓展能力和丰富的应用场景。RocketMQ 主要应用于解耦合、异步处理、削峰填谷等场景，广泛应用于互联网、物联网、金融、电商等多个领域。

RocketMQ 的优势和应用场景

优势

高吞吐量：RocketMQ 每秒可支持百万级的消息发送与接收。
高可靠性：RocketMQ 采用多副本和消息追加写入磁盘等机制，确保消息的可靠存储。
高性能：RocketMQ 利用异步 IO 和零拷贝技术，极大提升了消息的处理效率。
高可用性：RocketMQ 的集群设计支持主备容灾，确保系统的高度可用。
灵活的扩展性：RocketMQ 支持灵活的水平扩展，可根据业务需求轻松扩展系统规模。
丰富的消息类型：RocketMQ 支持顺序消息、事务消息、定时消息、消息轨迹查询等多种消息类型，满足多种业务场景。
消息过滤：RocketMQ 支持消息过滤，可以根据 Topic 和 Tag 进行高效的消息过滤。
社区活跃：拥有庞大且活跃的社区，提供丰富的插件和扩展支持。

应用场景

消息解耦：在分布式系统中，消息中间件可以将消息的发送者和接收者解耦，避免系统间的紧密耦合。
异步处理：通过消息中间件，可以将耗时的操作（如发送邮件、日志记录）异步处理，提高系统响应速度。
削峰填谷：在业务高峰期，消息队列可以作为缓冲区，平滑处理流量波动。
可靠消息投递：RocketMQ 提供了严格的消息可靠性保障机制，确保消息不丢失。
离线数据处理：RocketMQ 可用于实时数据流处理，保证消息的传输和处理不丢失。
日志收集与审计：RocketMQ 可以收集不同系统产生的日志信息，并进行集中管理和审计。
多语言支持：RocketMQ 支持多种编程语言，支持跨语言的消息传递。
监控与报警：RocketMQ 提供丰富的监控和报警机制，方便运维人员监控系统状态并及时处理问题。

RocketMQ 的架构设计

RocketMQ 的架构设计主要分为以下几个部分：

NameServer：NameServer 负责维护集群的元数据信息，包括 Broker 的地址信息等。它是一个无状态的服务，可以水平扩展，通常部署多台机器以提供高可用性。
Broker：Broker 是 RocketMQ 的消息代理服务器，负责接收和发送消息。RocketMQ 支持主备模式，主 Broker 负责消息的写入和读取，备 Broker 负责实时同步主 Broker 的数据，确保高可用。一个 Broker 可以包含多个 Topic，每个 Topic 可以有多个分区。
Producer：Producer 是消息的发送者，负责将消息发送到指定的 Topic。
Consumer：Consumer 是消息的接收者，负责从指定的 Topic 接收消息并进行处理。
客户端：RocketMQ 提供了多种语言的客户端，如 Java、C++、Python、Go 等，方便开发者使用。

RocketMQ 的架构设计体现了高可用、高性能、易扩展等特性，其消息的处理流程如下：

发布消息：Producer 将消息发送到 NameServer 或者直接发送到 Broker。
消息路由：NameServer 会根据 Topic 和 Tag 信息将消息路由到对应的 Broker。
消息存储：Broker 接收到消息后会存储在本地磁盘上，并保持多个副本，确保高可靠。
消息消费：Consumer 会从 Broker 消费消息，根据消息的 Topic 和 Tag 信息进行分发。
消息确认：Consumer 消费消息后会向 Broker 发送确认信号，Broker 根据确认信息更新消息状态。

RocketMQ 的安装与配置

环境准备与安装步骤

下载 RocketMQ：访问 RocketMQ 的 GitHub 仓库 (https://github.com/apache/rocketmq)，下载最新的稳定版本。

解压安装包：使用命令解压安装包。

tar -zxvf rocketmq-all-版本号.tar.gz
cd rocketmq-all-版本号

配置环境变量：
- 编辑 ~/.bashrc 文件，添加 RocketMQ 的环境变量。
```
export ALI_HOME=/usr/local/rocketmq-all-版本号
export PATH=$PATH:$ALI_HOME/bin
```
- 使环境变量生效。
```
source ~/.bashrc
```
启动 NameServer：NameServer 是 RocketMQ 的服务发现组件，需要先启动。
- 在 RocketMQ 的 bin 目录下，执行如下命令启动 NameServer。
```
nohup sh bin/mqnamesrv &
```
- 检查 NameServer 是否启动成功，可以通过查看日志文件输出。
```
tail -f ~/logs/rocketmqlogs/namesrv.log
```

配置 RocketMQ 环境变量

编辑配置文件：打开 conf/standalone.conf 文件，修改一些必要的配置项。
- 设置 Broker 的名称和 IP 地址。
```
brokerName=broker-a
brokerId=0
brokerRole=ASYNC_MASTER
```
- 设置 NameServer 的地址。
```
namesrvAddr=127.0.0.1:9876
```
启动 Broker：在 RocketMQ 的 bin 目录下，执行如下命令启动 Broker。
```
nohup sh bin/mqbroker -n 127.0.0.1:9876 -c conf/standalone.conf &
```
- 检查 Broker 是否启动成功，可以通过查看日志文件输出。
```
tail -f ~/logs/rocketmqlogs/broker-a-0.log
```

启动 RocketMQ 服务器

RocketMQ 服务器启动完成后，可以通过访问 NameServer 提供的 Web 界面查看当前集群的状态。默认情况下，NameServer 会提供一个简单的 Web 界面，可以通过浏览器访问 http://127.0.0.1:9876 来查看 RocketMQ 的集群信息。

RocketMQ 的核心概念

Topic 与 Tag 的定义

Topic：RocketMQ 中的消息主题，表示一类消息的集合。Producer 会将消息发送到指定的 Topic，Consumer 会根据 Topic 订阅消息。
Tag：RocketMQ 中的消息标签，用于对消息进行分类和过滤。Tag 是 Topic 的子集，可以进一步细分消息类型。
- 示例：假设有一个 Topic 为 order 的消息队列，可以为不同的订单类型设置不同的 Tag，如 payment_success、payment_fail 等。

Producer 与 Consumer 的角色

Producer：消息发送者，负责将消息发送到指定的 Topic。每个 Producer 实例在发送消息之前需要设置 Broker 地址和 Topic 信息。
- 示例代码：
```
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;
```
public class MessageProducer {
public static void main(String[] args) throws Exception {
// 创建生产者实例
DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
// 设置 NameServer 地址
producer.setNamesrvAddr("127.0.0.1:9876");
// 启动生产者
producer.start();
// 创建消息
Message msg = new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET));
// 发送消息
producer.send(msg);
// 关闭生产者
producer.shutdown();
}
}
Consumer：消息接收者，负责从指定的 Topic 接收消息并进行处理。每个 Consumer 实例在接收消息之前需要设置 Broker 地址和 Topic 信息。
- 示例代码：
```
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;
```
public class MessageConsumer {
public static void main(String[] args) throws Exception {
// 创建消费者实例
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
// 设置 NameServer 地址
consumer.setNamesrvAddr("127.0.0.1:9876");
// 订阅 Topic 和 Tag
consumer.subscribe("TestTopic", "TagA");
// 设置从何处开始消费
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
// 注册消息处理回调
consumer.registerMessageListener((List<MessageExt> msgs) -> {
for (MessageExt msg : msgs) {
System.out.println("Receive message: " + new String(msg.getBody()));
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
// 启动消费者
consumer.start();
}
}

消息发送与接收的基本流程

创建 Topic 和 Tag：在 RocketMQ 中，创建 Topic 和 Tag 操作是通过控制台或者 API 完成的。一个 Topic 可以包含多个 Tag。

示例代码：

import org.apache.rocketmq.admin.DefaultMQAdminClient;
import org.apache.rocketmq.common.admin.ConsumeStats;
import org.apache.rocketmq.common.admin.OffsetMeta;
import org.apache.rocketmq.common.admin.TopicStatsTable;
import org.apache.rocketmq.common.protocol.body.BrokerStatsData;
import org.apache.rocketmq.common.protocol.body.ConsumerRuntimeStatData;
import org.apache.rocketmq.common.protocol.body.ConsumerStatsData;
import org.apache.rocketmq.common.protocol.body.ProducerRuntimeStatData;
import org.apache.rocketmq.common.protocol.body.ProducerStatsData;
import org.apache.rocketmq.common.protocol.body.SubscriptionGroupStatsTable;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class AdminExample {
 public static void main(String[] args) throws Exception {
     // 连接 NameServer
     DefaultMQAdminClient admin = new DefaultMQAdminClient(RemotingHelper.NAME_SERVER_ADDR, "admin");
     // 创建 Topic
     admin.createAndUpdateTopicConfig("TestTopic");
     // 设置 Tag
     admin.setTopicConfig("TestTopic", "TagA");
     // 关闭客户端
     admin.shutdown();
 }
}

消息发送：Producer 创建消息对象后发送到指定的 Topic。

示例代码：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class MessageProducer {
 public static void main(String[] args) throws Exception {
     // 创建生产者实例
     DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
     // 设置 NameServer 地址
     producer.setNamesrvAddr(RemotingHelper.NAME_SERVER_ADDR);
     // 启动生产者
     producer.start();
     // 创建消息
     Message msg = new Message("TestTopic", "TagA", ("Hello RocketMQ").getBytes(RemotingHelper.DEFAULT_CHARSET));
     // 发送消息
     SendResult result = producer.send(msg);
     System.out.println("Message sent: " + result);
     // 关闭生产者
     producer.shutdown();
 }
}

消息接收：Consumer 从指定 Topic 和 Tag 中接收消息并进行处理。

示例代码：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;

public class MessageConsumer {
 public static void main(String[] args) throws Exception {
     // 创建消费者实例
     DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
     // 设置 NameServer 地址
     consumer.setNamesrvAddr(RemotingHelper.NAME_SERVER_ADDR);
     // 订阅 Topic 和 Tag
     consumer.subscribe("TestTopic", "TagA");
     // 设置从何处开始消费
     consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
     // 注册消息处理回调
     consumer.registerMessageListener((List<MessageExt> msgs) -> {
         for (MessageExt msg : msgs) {
             System.out.println("Receive message: " + new String(msg.getBody()));
         }
         return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
     });
     // 启动消费者
     consumer.start();
 }
}

实战操作：发送与接收消息

创建 Topic 与消息标签

创建 Topic：通过 RocketMQ 的控制台或者 API 创建新的 Topic。

设置标签：为 Topic 设置不同的标签，用于消息分类和过滤。

示例代码：

import org.apache.rocketmq.admin.DefaultMQAdminClient;
import org.apache.rocketmq.common.admin.ConsumeStats;
import org.apache.rocketmq.common.admin.OffsetMeta;
import org.apache.rocketmq.common.admin.TopicStatsTable;
import org.apache.rocketmq.common.protocol.body.BrokerStatsData;
import org.apache.rocketmq.common.protocol.body.ConsumerRuntimeStatData;
import org.apache.rocketmq.common.protocol.body.ConsumerStatsData;
import org.apache.rocketmq.common.protocol.body.ProducerRuntimeStatData;
import org.apache.rocketmq.common.protocol.body.ProducerStatsData;
import org.apache.rocketmq.common.protocol.body.SubscriptionGroupStatsTable;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class AdminExample {
 public static void main(String[] args) throws Exception {
     // 连接 NameServer
     DefaultMQAdminClient admin = new DefaultMQAdminClient(RemotingHelper.NAME_SERVER_ADDR, "admin");
     // 创建 Topic
     admin.createAndUpdateTopicConfig("TestTopic");
     // 设置 Tag
     admin.setTopicConfig("TestTopic", "TagA");
     // 关闭客户端
     admin.shutdown();
 }
}

编写发送消息的 Producer 程序

创建 Producer 实例：创建一个 RocketMQ 的 Producer 实例，并指定 Producer 组名。
设置 NameServer 地址：指定 NameServer 的地址。
启动 Producer：启动 Producer，使其可以发送消息。
创建消息：创建一个消息对象，并指定 Topic 和 Tag。

发送消息：调用 Producer 的 send 方法发送消息。

示例代码：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class MessageProducer {
 public static void main(String[] args) throws Exception {
     // 创建生产者实例
     DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
     // 设置 NameServer 地址
     producer.setNamesrvAddr(RemotingHelper.NAME_SERVER_ADDR);
     // 启动生产者
     producer.start();
     // 创建消息
     Message msg = new Message("TestTopic", "TagA", ("Hello RocketMQ").getBytes(RemotingHelper.DEFAULT_CHARSET));
     // 发送消息
     SendResult result = producer.send(msg);
     System.out.println("Message sent: " + result);
     // 关闭生产者
     producer.shutdown();
 }
}

编写接收消息的 Consumer 程序

创建 Consumer 实例：创建一个 RocketMQ 的 Consumer 实例，并指定 Consumer 组名。
设置 NameServer 地址：指定 NameServer 的地址。
订阅 Topic 和 Tag：订阅指定的 Topic 和 Tag。
设置从何处开始消费：设置 Consumer 从何处开始消费消息。
注册消息处理回调：注册消息处理的回调函数，处理接收到的消息。

启动 Consumer：启动 Consumer，使其可以接收并处理消息。

示例代码：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;

public class MessageConsumer {
 public static void main(String[] args) throws Exception {
     // 创建消费者实例
     DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
     // 设置 NameServer 地址
     consumer.setNamesrvAddr(RemotingHelper.NAME_SERVER_ADDR);
     // 订阅 Topic 和 Tag
     consumer.subscribe("TestTopic", "TagA");
     // 设置从何处开始消费
     consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
     // 注册消息处理回调
     consumer.registerMessageListener((List<MessageExt> msgs) -> {
         for (MessageExt msg : msgs) {
             System.out.println("Receive message: " + new String(msg.getBody()));
         }
         return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
     });
     // 启动消费者
     consumer.start();
 }
}

运行与调试程序

确保环境已启动：确保 RocketMQ 的 NameServer 和 Broker 已启动，可以通过检查日志文件确保服务运行正常。
编译和运行程序：使用 Maven 或者 Gradle 编译 Java 项目，运行发送和接收消息的程序。
调试日志：运行程序时可以通过查看日志文件来调试和排查问题，RocketMQ 的日志文件通常位于 logs/rocketmqlogs 目录下。

常见问题与解决方法

常见的错误代码与解决办法

ERROR CODE 41：表示消息发送失败，可能是因为 Broker 不可达或者 Topic 不存在。
- 解决办法：检查 Broker 是否启动正常，确认 Topic 是否已经创建。
ERROR CODE 31：表示消息消费失败，可能是因为消息已经被消费或者 Consumer 组不存在。
- 解决办法：检查 Consumer 组是否已经注册，确认消息是否已经被消费。
ERROR CODE 51：表示 Broker 配置错误，可能是因为 Broker 配置文件中的参数设置有误。
- 解决办法：检查 Broker 的配置文件，确保配置正确。
ERROR CODE 42：表示消息发送被拒绝，可能是因为发送速率过快或者 Topic 配置错误。
- 解决办法：调整发送速率，检查 Topic 的配置。

网络问题排查与解决

网络不通：检查网络连接是否正常，确保 NameServer 和 Broker 的地址配置正确。
- 解决办法：使用 ping 或 telnet 命令检查网络连通性，确保 NameServer 和 Broker 的地址配置正确。
网络延迟高：网络延迟过高可能导致消息发送和接收延迟增加。
- 解决办法：检查网络设置，优化网络环境，尽量减小网络延迟。
网络抖动：网络抖动可能导致消息发送和接收中断。
- 解决办法：使用网络优化工具，提高网络稳定性，确保消息的可靠传输。

参数配置的常见问题与解决

Broker 配置：Broker 的配置文件中配置了 Broker 的名称、角色、日志路径等信息。
- 解决办法：确保 Broker 的配置文件中的参数设置正确，特别是 brokerName 和 brokerId。
NameServer 配置：NameServer 的配置文件中配置了 NameServer 的端口号等信息。
- 解决办法：确保 NameServer 的配置文件中的参数设置正确，特别是 namesrvAddr。
Producer 和 Consumer 配置：Producer 和 Consumer 的配置文件中配置了 NameServer 地址、Topic 和 Tag 等信息。
- 解决办法：确保 Producer 和 Consumer 的配置文件中的参数设置正确，特别是 namesrvAddr 和 topic。

总结与进阶学习资源

RocketMQ 的学习总结

RocketMQ 是一款功能强大的分布式消息中间件，支持多语言客户端，具有高性能和高可用性。借助 RocketMQ，可以轻松实现消息的发送和接收，支持多种消息类型和丰富的消息处理功能。RocketMQ 的架构设计充分考虑了系统的扩展性和可靠性，提供了丰富的监控和报警机制，方便运维人员进行系统管理和维护。

进阶学习的建议与资源推荐

官方文档：RocketMQ 的官方文档提供了详细的 API 参考和使用指南，是学习 RocketMQ 的首选资源。
- 参考资料：https://rocketmq.apache.org/docs/quick-start/
社区资源：RocketMQ 拥有活跃的社区，提供了丰富的插件和扩展支持，社区内也有很多优秀的技术文章和实战案例，可以参考学习。
- 参考资料：https://github.com/apache/rocketmq-externals
慕课网：慕课网提供了 RocketMQ 的在线课程，课程内容覆盖了从基础到进阶的多个方面，适合不同层次的学习者。
- 参考资料：https://www.imooc.com/course/list?search=rocketmq
源码阅读：通过阅读 RocketMQ 的源码，可以深入理解其内部实现原理，提高编程水平。
实践项目：通过实际项目中的应用，加深对 RocketMQ 的理解和掌握。
技术论坛：参与技术论坛，与其他开发者交流经验，解决实际问题。

通过上述学习资源和实践经验，可以更好地掌握 RocketMQ 的使用方法和技巧，提高开发效率。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

MMMHUHU

手记
篇

粉丝

26

获赞与收藏

98

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 31416 348

网络编程入门教程

20个小节 12873 242

Pandas 入门教程

25个小节 18755 351

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

RocketMQ初识教程：新手快速入门指南

优势

应用场景

环境准备与安装步骤

配置 RocketMQ 环境变量

启动 RocketMQ 服务器

Topic 与 Tag 的定义

Producer 与 Consumer 的角色

消息发送与接收的基本流程

创建 Topic 与消息标签

编写发送消息的 Producer 程序

编写接收消息的 Consumer 程序

运行与调试程序

常见的错误代码与解决办法

网络问题排查与解决

参数配置的常见问题与解决

RocketMQ 的学习总结

进阶学习的建议与资源推荐

阅读免费教程