首页手记 RocketMQ初识学习：新手入门指南

RocketMQ初识学习：新手入门指南

标签：

云计算大数据中间件

概述

RocketMQ是一款高性能、高可靠性的分布式消息中间件，广泛应用于异步通信和消息推送。本文将介绍RocketMQ的基本概念和应用场景，并指导如何进行环境搭建和基本操作。通过本文，读者可以全面了解RocketMQ初识学习的相关内容。

RocketMQ简介

RocketMQ是什么

RocketMQ是由阿里巴巴集团开源的一款分布式消息中间件，设计用于大规模分布式系统中的异步通信和消息推送，其设计目标为高性能、高可靠、高可用。RocketMQ最初是为阿里巴巴集团内部的分布式服务框架提供底层消息通信支持，后来逐渐发展成为一个广泛应用于互联网和企业级应用的消息队列解决方案。

RocketMQ的主要特性

RocketMQ提供了高性能、高可靠性的消息传输能力，主要特性包括：

高可用性：RocketMQ使用主从模式的Broker集群实现高可用性，确保消息的可靠传输。
高性能：支持每秒数百万消息的高并发处理能力，具备出色的吞吐量。
可靠传输：通过消息确认机制确保消息的可靠传输，保证消息不丢失。
消息路由：支持灵活的消息路由配置，支持多级消息路由机制。
集群模式：支持多节点的集群部署，增强了系统的可扩展性和容错性。
多协议支持：支持多种协议，包括HTTP/JSON、JMS等。
多种消息类型：支持顺序消息、定时消息、延时消息、广播消息等多种消息类型。
消息过滤：支持基于Tag和SQL的过滤机制，实现灵活的消息过滤。
监控管理：具备完善的监控体系，便于管理和维护。

RocketMQ的应用场景

RocketMQ广泛应用于互联网和企业级应用场景中，其主要应用场景包括：

异步通信：在分布式系统中，通过RocketMQ实现服务之间的异步解耦通信。例如，用户下单后，通过RocketMQ发送消息到库存服务进行库存扣减，实现下单与库存扣减的异步处理。
流量削峰填谷：在高峰期时，通过RocketMQ缓存大量请求，然后在低谷期逐步处理，避免系统过载。例如，通过RocketMQ缓存用户的批量订单请求，然后在非高峰时段处理这些订单。
消息队列：提供消息队列服务，降低服务间的耦合性。例如，通过RocketMQ将用户注册请求发送给多个后端服务，实现服务间的解耦。
日志收集：通过RocketMQ收集系统日志，便于集中管理。例如，使用RocketMQ收集来自多个服务器的日志数据，便于统一存储和分析。
数据同步：实现数据的异步同步，例如，通过RocketMQ将订单信息同步至多个数据库节点，确保数据的一致性和可靠性。

RocketMQ环境搭建

安装Java开发环境

为了能够正常运行RocketMQ，首先需要安装Java环境。Java环境安装步骤如下：

访问OpenJDK官网或JDK官网，下载对应版本的Java开发包。
解压下载的压缩包，将JDK安装到指定目录，例如/usr/local/java/jdk1.8.0_231。
设置环境变量。在~/.bashrc或~/.zshrc文件中添加以下配置：

export JAVA_HOME=/usr/local/java/jdk1�
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使环境变量生效，运行以下命令：

source ~/.bashrc

验证Java安装是否成功，运行以下命令：

java -version

应输出Java版本信息，例如：

java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b12, mixed mode)

下载RocketMQ

下载RocketMQ的步骤如下：

访问RocketMQ的GitHub仓库页面：https://github.com/apache/rocketmq
点击“Code”按钮，选择“Download ZIP”下载RocketMQ压缩包。
解压下载的压缩包到指定目录，例如/usr/local/rocketmq。
进入RocketMQ的bin目录，运行mqbroker脚本以启动RocketMQ Broker。

cd /usr/local/rocketmq/bin
sh mqbroker -c ~/rocketmq/conf/2m-n1-c1-broker.properties

配置RocketMQ环境

RocketMQ的配置文件主要位于conf目录下，包括broker、namesrv等多个配置文件。其中，broker配置文件主要用于配置Broker的节点信息，namesrv配置文件则用于配置NameServer节点信息。配置示例如下：

broker配置：编辑broker配置文件，设置brokerClusterName、brokerName、brokerId等参数。

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0

namesrv配置：编辑namesrv配置文件，设置address等参数。

namesrv.addr = localhost:9876

运行RocketMQ：启动RocketMQ的Broker和NameServer。

# 启动NameServer
bin/mqnamesrv

# 启动Broker
bin/mqbroker -n localhost:9876 -c ~/rocketmq/conf/2m-n1-c1-broker.properties

RocketMQ核心概念

Topic

在RocketMQ中，Topic是消息的逻辑分组，用于标识一类消息。每个消息都需要指定一个Topic，用于区分不同的消息类型。例如，可以定义一个UserOrder Topic来表示用户订单相关的消息。

Producer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.start();

Message msg = new Message("UserOrder", // Topic
                          "TagA",       // Tag
                          "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET));
producer.send(msg);

Tag

Tag用于标识Topic下的子分类，进一步细分消息。Tag可以用于过滤特定类型的消息。例如，可以为用户订单消息定义一个TagA，并在消费时根据Tag进行过滤。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("UserOrder", "TagA"); // 订阅UserOrder Topic下的TagA消息
consumer.registerMessageListener((MessageExt message) -> {
    System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
        Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
        message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
        message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
    return ConsumeRetCode.CONSUME_SUCCESS;
});
consumer.start();

Consumer Group

Consumer Group是一组消费者实例的集合，用于实现负载均衡。消费者可以订阅一个或多个Topic的消息，并根据消费者组的配置实现消息的均衡处理。例如，可以定义一个ConsumerGroupA，包含多个消费者实例。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupA");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("UserOrder", "TagA");
consumer.registerMessageListener((MessageExt message) -> {
    System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
        Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
        message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
        message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
    return ConsumeRetCode.CONSUME_SUCCESS;
});
consumer.start();

Producer

Producer负责生产消息，可以将其视为消息发送者。Producer负责将消息发送到指定的Topic和Tag，随后RocketMQ会将消息路由到订阅该Topic和Tag的消费者。

// 创建Producer实例
Producer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.start();

// 创建消息
Message msg = new Message("UserOrder", // Topic
                          "TagA",       // Tag
                          "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET));
msg.setDelayTimeLevel(1); // 设置消息的延时等级

// 发送消息
SendResult sendResult = producer.send(msg);
System.out.printf("%s Send %s to %s, %s%n", Thread.currentThread().getName(), msg, sendResult, sendResult.getSendStatus());

Consumer

Consumer负责消费消息，可以将其视为消息接收者。Consumer会订阅特定的Topic和Tag，当有消息到达时，RocketMQ会将消息路由到该Consumer。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("UserOrder", "TagA");
consumer.registerMessageListener((MessageExt message) -> {
    System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
        Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
        message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
        message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
    return ConsumeRetCode.CONSUME_SUCCESS;
});
consumer.start();

RocketMQ的基本操作

发送消息

RocketMQ提供了发送消息的接口，用于将消息发送到指定的Topic和Tag。发送消息的步骤如下：

创建Producer实例，并设置NameServer地址。
启动Producer实例。
创建Message对象，设置消息的Topic、Tag等信息。
调用Producer的send方法发送消息。
处理发送结果，包括发送状态等信息。

// 创建Producer实例
Producer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.start();

// 创建消息
Message msg = new Message("UserOrder", // Topic
                          "TagA",       // Tag
                          "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET));
msg.setDelayTimeLevel(1); // 设置消息的延时等级

// 发送消息
SendResult sendResult = producer.send(msg);
System.out.printf("%s Send %s to %s, %s%n", Thread.currentThread().getName(), msg, sendResult, sendResult.getSendStatus());

// 关闭Producer实例
producer.shutdown();

接收消息

RocketMQ提供了接收消息的接口，用于从指定的Topic和Tag中消费消息。接收消息的步骤如下：

创建Consumer实例，并设置NameServer地址。
启动Consumer实例。
订阅指定的Topic和Tag。
注册消息监听器，处理接收到的消息。
启动Consumer实例，等待消息到达。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("UserOrder", "TagA");
consumer.registerMessageListener((MessageExt message) -> {
    System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
        Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
        message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
        message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
    return ConsumeRetCode.CONSUME_SUCCESS;
});
consumer.start();

消息确认机制

RocketMQ通过消息确认机制确保消息的可靠传输，保证消息的不丢失。消息确认机制通常分为两种模式：

自动确认：默认情况下，RocketMQ会自动确认消息已成功接收并处理。如果消费者在接收到消息后无法正常处理，则需要手动设置消息的处理状态。
手动确认：消费者需要手动设置消息的处理状态，确保消息被正确处理。如果消息未被正确处理，消费者需要重新消费该消息。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("UserOrder", "TagA");
consumer.registerMessageListener((MessageExt message) -> {
    try {
        System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
            Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
            message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
            message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
        // 手动确认消息
        return ConsumeRetCode.CONSUME_SUCCESS;
    } catch (Exception e) {
        // 消息处理失败，重新消费
        return ConsumeRetCode.RECONSUME_LATER;
    }
});
consumer.start();

RocketMQ的常用配置

配置生产者

RocketMQ提供了丰富的配置项来满足不同的生产需求。以下是一些常用的生产者配置项：

Producer Name Group：生产者组名称，用于标识一组生产者实例。
Namesrv Address：NameServer地址，用于连接NameServer。
Namesrv Retry Times：NameServer重试次数，用于设置连接NameServer时的重试次数。
Instance Name：生产者实例名称，用于标识具体的生产者实例。
Vip Channel Enabled：是否启用VIP通道，用于提升网络传输效率。
Send Message Batch：是否批量发送消息，用于提高发送效率。
Message Trace：是否开启消息追踪，用于跟踪消息的传输路径。

Producer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.setNamesrvRetryTimes(3); // 设置NameServer重试次数
producer.setInstanceName("ProducerInstanceName");
producer.setVipChannelEnabled(true); // 启用VIP通道
producer.setSendMsgBatch(true); // 批量发送消息
producer.setMessageTrace(true); // 开启消息追踪
producer.start();

配置消费者

RocketMQ提供了丰富的配置项来满足不同的消费需求。以下是一些常用的消费者配置项：

Consumer Name Group：消费者组名称，用于标识一组消费者实例。
Namesrv Address：NameServer地址，用于连接NameServer。
Namesrv Retry Times：NameServer重试次数，用于设置连接NameServer时的重试次数。
Instance Name：消费者实例名称，用于标识具体的消费者实例。
Pull Batch Size：批量拉取消息的大小，用于设置拉取消息的数量。
Pull Interval：拉取消息间隔时间，用于设置拉取消息的时间间隔。
Pull From Queue Offset：拉取消息的起始位置，用于设置拉取消息的起始位置。
Message Trace：是否开启消息追踪，用于跟踪消息的传输路径。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.setNamesrvRetryTimes(3); // 设置NameServer重试次数
consumer.setInstanceName("ConsumerInstanceName");
consumer.setPullBatchSize(10); // 设置批量拉取的大小
consumer.setPullInterval(1000); // 设置拉取的间隔时间
consumer.setPullFromQueueOffset(MessageQueueOffset.itemOffset(0, 0, 0)); // 设置拉取的起始位置
consumer.setMessageTrace(true); // 开启消息追踪
consumer.subscribe("UserOrder", "TagA");
consumer.registerMessageListener((MessageExt message) -> {
    System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
        Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
        message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
        message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
    return ConsumeRetCode.CONSUME_SUCCESS;
});
consumer.start();

消息过滤与路由

RocketMQ提供了消息过滤和路由的机制，可以根据不同的业务需求进行消息的过滤和路由。

消息过滤：可以基于Tag进行消息过滤，仅接收指定Tag的消息。

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("UserOrder", "TagA"); // 订阅指定的Tag
consumer.registerMessageListener((MessageExt message) -> {
    System.out.printf("%s Receive New Message: %s, %s, %s, %s, %s, %s, %s, %s, %s",
        Thread.currentThread().getName(), message.getTopic(), message.getQueueId(),
        message.getMsgId(), message.getKeys(), message.getQueueOffset(), message.getSysProperties(),
        message.getCommitLogOffset(), message.getBornTimestamp(), message.getStoreTimestamp());
    return ConsumeRetCode.CONSUME_SUCCESS;
});
consumer.start();

消息路由：可以通过配置Broker的路由信息，实现消息的灵活路由。

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
brokerRole = ASYNC_MASTER
listenPort = 10911
namesrvAddr = localhost:9876

常见问题与解决方案

常见错误及解决办法

RocketMQ使用过程中可能会遇到一些常见的错误，以下是一些常见错误及其解决办法：

NameServer连接失败：检查NameServer的服务是否正常运行，确保NameServer地址配置正确。
消息发送失败：检查消息发送的Topic和Tag是否正确，确保消息的格式符合要求。
消息接收失败：检查消费者的订阅配置是否正确，确保消费者的实例名称和组名称配置正确。
消息丢失：开启消息确认机制，确保消息被正确处理。
性能问题：增加Broker节点，提高系统的吞吐量，优化消息的传输路径。

性能优化技巧

为了提高RocketMQ的性能，可以采用以下几种优化技巧：

增加Broker节点：通过增加Broker节点，提高系统的吞吐量和处理能力。例如，可以在配置文件中调整brokerName和brokerId，增加新的Broker节点。

brokerClusterName = DefaultCluster
brokerName = broker-b
brokerId = 1
listenPort = 10912
namesrvAddr = localhost:9876

优化网络传输：启用VIP通道，提高网络传输效率。在生产者和消费者配置中设置VipChannelEnabled为true。

Producer producer = new DefaultMQProducer("ProducerGroupName");
producer.setVipChannelEnabled(true); // 启用VIP通道
producer.start();

Consumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setVipChannelEnabled(true); // 启用VIP通道
consumer.start();

批量发送消息：采用批量发送消息的方式，提高发送效率。在生产者配置中设置SendMsgBatch为true。

Producer producer = new DefaultMQProducer("ProducerGroupName");
producer.setSendMsgBatch(true); // 批量发送消息
producer.start();

异步发送消息：采用异步发送消息的方式，提高消息处理的效率。在发送消息时，可以使用SendResult对象来处理异步发送的结果。

SendResult sendResult = producer.send(msg, new SendCallback() {
    @Override
    public void onSuccess(SendResult sendResult) {
        System.out.printf("%s Send %s to %s, %s%n", Thread.currentThread().getName(), msg, sendResult, sendResult.getSendStatus());
    }

    @Override
    public void onException(Throwable e) {
        System.out.printf("%s Send %s failed, reason: %s%n", Thread.currentThread().getName(), msg, e.getMessage());
    }
});

消息路由优化：优化消息的路由配置，减少网络传输的距离，提高消息的传输速度。在Broker配置文件中可以调整路由信息，以实现更高效的路由。

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
brokerRole = ASYNC_MASTER
listenPort = 10911
namesrvAddr = localhost:9876

日志分析与监控

RocketMQ提供了完善的日志分析和监控机制，可以方便地进行日志分析和系统监控。

日志分析：RocketMQ生成的日志文件存储在logs目录下，可以通过分析日志文件来诊断系统的问题。例如，可以通过查看logs目录下的broker.log文件来诊断Broker的运行情况。

cat /usr/local/rocketmq/logs/broker.log | grep "ERROR"

监控系统：RocketMQ提供了监控插件，可以实时监控系统的运行状态，包括Broker和NameServer的运行情况。启动监控插件后，可以通过监控页面查看系统的各项指标。

// 启动监控插件
RocketmqMonitor monitor = new RocketmqMonitor();
monitor.start();

通过以上步骤，可以有效地提高RocketMQ的性能，确保系统的稳定运行。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

慕运维8079593

手记
篇

粉丝

18

获赞与收藏

62

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 30809 345

网络编程入门教程

20个小节 12721 239

Pandas 入门教程

25个小节 18600 342

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空