首页手记 RocketMQ入门指南：从零开始学习RocketMQ

RocketMQ入门指南：从零开始学习RocketMQ

标签：

中间件

概述

RocketMQ是一款由阿里巴巴开发的高性能分布式消息中间件，提供了高可用、高可靠的消息队列服务。它支持多种消息类型和灵活的消息路由策略，适用于大规模分布式应用的消息传递需求。RocketMQ支持多语言开发，具备高吞吐量和水平扩展能力。

RocketMQ简介

RocketMQ是什么

RocketMQ是由阿里巴巴集团开发的一款分布式消息中间件，它基于Java开发，提供了高并发、高可用、大容量、低延迟的消息队列服务。RocketMQ的设计目标是提供一个高性能、稳定可靠的消息传递系统，以满足大规模分布式应用的需求。

RocketMQ的特点和优势

RocketMQ具备以下特点和优势：

高可用性：RocketMQ采用主从复制机制，实现数据的冗余存储和故障转移，确保系统的高可用性。
高可靠性：RocketMQ支持消息的持久化存储，确保消息不丢失。并且在消息传输过程中提供多种重试机制，保证消息的可靠传递。
高性能：RocketMQ提供了高吞吐量的消息处理能力，每秒可以处理数百万条消息。
可扩展性：RocketMQ支持水平扩展，可以通过增加Broker节点来提升系统的处理能力。
消息堆积处理：RocketMQ支持消息堆积，当消费速度低于生产速度时，系统可以自动存储消息，待负载降低后继续消费。
灵活的消息路由：RocketMQ支持多种消息路由策略，如广播模式、集群模式等，可以根据业务需求灵活选择。
丰富的消息类型：RocketMQ支持多种消息类型，如顺序消息、定时消息、事务消息等。
多语言支持：RocketMQ不仅仅支持Java，还支持C++、Python、Go等多种编程语言。

RocketMQ的应用场景

RocketMQ适用于各种分布式系统中的消息传递场景，常见的应用场景包括：

异步解耦：通过消息队列将不同服务之间的调用解耦，提高系统的可扩展性和稳定性。
流量削峰填谷：利用消息队列进行流量的削峰填谷，避免突发流量对系统造成冲击。
数据分发：将数据从一个系统分发到多个系统，实现数据的多副本存储。
日志收集：通过消息队列收集系统日志，进行集中处理和分析。
任务调度：使用消息队列实现任务的异步调度，提高系统的效率。

RocketMQ环境搭建

快速入门示例

在开始RocketMQ的环境搭建之前，我们先来看一个简单的快速入门示例，以便更加直观地了解RocketMQ的基本使用方法。

public class QuickStartProducer {
    public static void main(String[] args) {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");
        try {
            // 启动生产者
            producer.start();
            // 发送消息
            for (int i = 0; i < 100; i++) {
                String message = "Hello RocketMQ" + i;
                SendResult sendResult = producer.send(new Message("TestTopic", message.getBytes()));
                System.out.println("SendResult: " + sendResult);
            }
            // 关闭生产者
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

public class QuickStartConsumer {
    public static void main(String[] args) {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        // 设置NameServer地址
        consumer.setNamesrvAddr("localhost:9876");
        // 订阅主题和Tag
        consumer.subscribe("TestTopic", "*");
        // 注册消息回调
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        // 启动消费者
        consumer.start();
    }
}

JDK安装配置

在运行RocketMQ之前，需要确保已经正确安装并配置了JDK。

安装JDK：
- 下载JDK安装包，例如从Oracle官网下载Java SE Development Kit。
- 解压下载的安装包到指定目录。
配置环境变量：
- 设置JAVA_HOME环境变量指向JDK安装目录。
- 设置PATH环境变量包含JAVA_HOME目录下的bin文件夹路径。
验证安装：
- 打开命令行窗口，输入java -version，确保能够正确显示Java版本信息。

RocketMQ下载与安装

下载RocketMQ：
- 访问RocketMQ的官方GitHub仓库，下载最新版本的压缩包。
解压并配置RocketMQ：
- 解压下载的压缩包到指定目录。
- 配置conf目录下的broker.properties和server.properties文件，根据需要修改NameServer地址和其他配置项。
启动RocketMQ：
- 在解压目录的bin文件夹下执行mqnamesrv.cmd启动NameServer。
- 执行mqbroker.cmd -n localhost:9876 -c broker.properties启动Broker。

RocketMQ核心概念

消息模型

RocketMQ的消息模型主要包括发布-订阅模型和广播模型。

发布-订阅模型：也称为订阅模式，一个Topic可以被多个消费者订阅，每个消费者都会接收到该Topic下的所有消息。
广播模型：一个Topic下的消息只被一个消费者接收到，所有消费者都会接收到该Topic下的所有消息。

示例代码：

// 发布-订阅模型
public class TopicSub {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "*");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

// 广播模型
public class TopicBroadcast {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.setBroadcasting(true);
        consumer.subscribe("TestTopic", "*");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

消费者与生产者

RocketMQ中的消息生产和消费分别由Producer和Consumer实现。

Producer：
- 创建DefaultMQProducer实例。
- 设置NameServer地址。
- 设置生产者组名。
- 启动生产者。
- 发送消息：使用producer.send()发送消息到特定Topic。
- 关闭生产者：在发送完所有消息后，调用producer.shutdown()关闭生产者。
Consumer：
- 创建DefaultMQPushConsumer或DefaultMQPullConsumer实例。
- 设置NameServer地址。
- 设置消费者组名。
- 订阅Topic和Tag。
- 注册消息回调函数。
- 启动消费者：调用consumer.start()启动消费者。

示例代码：

// 生产者示例
public class SimpleProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            SendResult sendResult = producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes()));
            System.out.println("SendResult: " + sendResult);
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

// 消费者示例
public class SimpleConsumer {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

Tag与Topic

Topic：一个Topic可以理解为一个主题或主题类别，所有发送到同一Topic的消息都会被该Topic下的所有订阅者接收到。
Tag：Tag是对消息进行进一步分类的标识，同一个Topic下的不同Tag的消息可以由不同的消费者进行处理。

示例代码

// 发送带有Tag的消息
public class TagProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            Message message = new Message("TestTopic", "TagA", "Hello TagA".getBytes());
            SendResult sendResult = producer.send(message);
            System.out.println("SendResult: " + sendResult);
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

// 消费带有Tag的消息
public class TagConsumer {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive message with Tag: " + msg.getTopic() + ", Tag: " + msg.getTags() + ", Body: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

Tag的具体应用场景

假设有一个电商平台，需要处理订单相关的消息，包括订单创建、支付、发货等。通过使用Tag可以对不同类型的消息进行分类处理。例如，可以将订单创建的消息标记为TagOrderCreate，支付的消息标记为TagOrderPay，发货的消息标记为TagOrderShip。

示例代码

// 生产订单创建消息
public class OrderCreateProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("OrderProducer");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            Message message = new Message("OrderTopic", "TagOrderCreate", "Order 123456 has been created".getBytes());
            SendResult sendResult = producer.send(message);
            System.out.println("SendResult: " + sendResult);
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

// 消费订单创建消息
public class OrderCreateConsumer {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("OrderConsumer");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("OrderTopic", "TagOrderCreate");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Received order creation message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

RocketMQ消息发送与接收

创建生产者和消费者

在RocketMQ中，创建生产者和消费者是最基本的步骤。

生产者创建示例

// 创建生产者
public class CreateProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            SendResult sendResult = producer.send(new Message("TestTopic", "TagA", "Hello Producer".getBytes()));
            System.out.println("SendResult: " + sendResult);
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

消费者创建示例

// 创建消费者
public class CreateConsumer {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

发送同步与异步消息

RocketMQ支持同步和异步两种消息发送方式。

同步发送示例

// 同步发送消息
public class SyncProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            SendResult sendResult = producer.send(new Message("TestTopic", "TagA", "Hello Sync".getBytes()));
            System.out.println("SendResult: " + sendResult);
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

异步发送示例

// 异步发送消息
public class AsyncProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            producer.send(new Message("TestTopic", "TagA", "Hello Async".getBytes()), (SendCallback) (sendResult, context) -> {
                if (sendResult.getSendStatus() != SendStatus.SEND_OK) {
                    System.out.println("Message send failed: " + sendResult.getSendStatus());
                } else {
                    System.out.println("Message sent successfully");
                }
            });
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

消息接收与处理

在RocketMQ中，消息接收和处理主要通过消费者实现。

消息接收与处理示例

// 消息接收与处理
public class MessageHandler {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Received message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

消息处理业务场景示例

// 消息处理业务场景示例
public class BusinessMessageHandler {
    public static void main(String[] args) {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("BusinessConsumer");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("BusinessTopic", "TagA");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                String payload = new String(msg.getBody());
                if ("OrderCreated".equals(payload)) {
                    // 执行订单创建逻辑
                    System.out.println("Order created: " + payload);
                } else if ("OrderShipped".equals(payload)) {
                    // 执行订单发货逻辑
                    System.out.println("Order shipped: " + payload);
                }
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

RocketMQ集群搭建

集群模式介绍

RocketMQ的集群模式主要包括NameServer集群和Broker集群。

NameServer集群

NameServer是RocketMQ的路由中心，用于维护Broker的地址信息。可以通过配置多个NameServer节点实现高可用。

Broker集群

Broker负责消息的存储和转发。通过配置多个Broker节点实现消息的冗余存储和负载均衡。

名字服务器与Broker配置

配置多个NameServer节点和多个Broker节点，实现RocketMQ的集群模式。

NameServer配置

# namesrv.properties
namesrv.addr=localhost:9876,localhost:9877

Broker配置

# broker.properties
brokerId=0
brokerName=broker0
brokerRole=ASYNC_MASTER
namesrvAddr=localhost:9876,localhost:9877

集群高可用配置

为了实现RocketMQ的高可用性，需要进行以下配置：

增加NameServer节点

配置更多的NameServer节点，确保有一个主节点和多个从节点。

增加Broker节点

配置更多的Broker节点，确保有一个主节点和多个从节点。

配置主从复制

在broker.properties中设置brokerId和brokerRole，实现主从复制。

配置持久化存储

设置storePathRootDir和storePathCommitLog配置项，确保消息的持久化存储。

配置消息重试

设置retryMessageTimeOut配置项，实现消息的自动重试。

示例代码：

# broker.properties
brokerId=0
brokerName=broker0
brokerRole=ASYNC_MASTER
namesrvAddr=localhost:9876,localhost:9877
storePathRootDir=/path/to/store/root
storePathCommitLog=/path/to/store/commitlog
retryMessageTimeOut=300000

部署步骤示例

启动NameServer
- 在解压目录的bin文件夹下执行mqnamesrv.cmd启动NameServer。
- 启动两个NameServer节点：mqnamesrv.cmd和mqnamesrv.cmd -n localhost:9877
启动Broker
- 在解压目录的bin文件夹下执行mqbroker.cmd -n localhost:9876 -c broker.properties启动Broker。
- 启动两个Broker节点：mqbroker.cmd -n localhost:9876 -c broker.properties和mqbroker.cmd -n localhost:9877 -c broker.properties

RocketMQ常见问题与最佳实践

常见错误排查

NameServer启动失败
- 检查NameServer的配置文件，确保namesrv.addr配置正确。
- 检查NameServer的日志文件，查看是否有启动失败的错误信息。
Broker启动失败
- 检查Broker的配置文件，确保brokerId和namesrvAddr配置正确。
- 检查Broker的日志文件，查看是否有启动失败的错误信息。
消息发送失败
- 检查生产者的配置文件，确保ProducerGroupName和namesrvAddr配置正确。
- 检查生产者的日志文件，查看是否有发送失败的错误信息。
消息接收失败
- 检查消费者的配置文件，确保ConsumerGroupName和namesrvAddr配置正确。
- 检查消费者的日志文件，查看是否有接收失败的错误信息。

示例代码：

// 检查生产者发送失败
public class CheckProducer {
    public static void main(String[] args) {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        try {
            producer.start();
            SendResult sendResult = producer.send(new Message("TestTopic", "TagA", "Hello Check".getBytes()));
            if (sendResult.getSendStatus() != SendStatus.SEND_OK) {
                System.out.println("Message send failed: " + sendResult.getSendStatus());
            } else {
                System.out.println("Message sent successfully");
            }
            producer.shutdown();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }
}

性能优化策略

为了提升RocketMQ的性能，可以采取以下策略：

增加Broker节点
- 通过增加Broker节点实现负载均衡。
配置消息堆积
- 设置maxMessageSize配置项，限制单条消息的最大大小。
优化消息持久化
- 设置storeMaxMessageSize配置项，优化消息的持久化存储。
优化消息重试
- 设置retryMessageTimeOut配置项，减少不必要的消息重试。
优化消费者配置
- 设置pullBatchSize配置项，优化消息的批量拉取。

示例代码：

# broker.properties
maxMessageSize=1048576
storeMaxMessageSize=1048576
retryMessageTimeOut=300000
pullBatchSize=32

日志分析与监控

为了更好地监控和分析RocketMQ的运行状态，可以采取以下措施：

查看日志文件
- 查看NameServer和Broker的日志文件，了解系统运行状态。
配置日志级别
- 设置logLevel配置项，调整日志的输出级别。
使用监控工具
- 使用RocketMQ自带的监控工具，或者第三方监控工具，监控系统的运行状态。
配置告警通知
- 设置告警通知，当系统出现异常时及时通知管理员。

示例代码：

# broker.properties
logLevel=INFO

通过以上内容，我们详细介绍了RocketMQ的基本概念、环境搭建、核心概念、消息发送与接收、集群搭建以及常见问题与最佳实践。希望这些信息能够帮助你更好地理解和使用RocketMQ。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

缥缈止盈

手记
篇

粉丝

34

获赞与收藏

152

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 30948 346

网络编程入门教程

20个小节 12735 240

Pandas 入门教程

25个小节 18632 342

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

RocketMQ入门指南：从零开始学习RocketMQ

RocketMQ是什么

RocketMQ的特点和优势

RocketMQ的应用场景

快速入门示例

JDK安装配置

RocketMQ下载与安装

消息模型

消费者与生产者

Tag与Topic

示例代码

Tag的具体应用场景

示例代码

创建生产者和消费者

生产者创建示例

消费者创建示例

发送同步与异步消息

同步发送示例

异步发送示例

消息接收与处理

消息接收与处理示例

消息处理业务场景示例

集群模式介绍

NameServer集群

Broker集群

名字服务器与Broker配置

NameServer配置

Broker配置

集群高可用配置

增加NameServer节点

增加Broker节点

配置主从复制

配置持久化存储

配置消息重试

部署步骤示例

常见错误排查

性能优化策略

日志分析与监控

阅读免费教程