首页手记 RocketMQ初识学习入门：轻松掌握消息队列入门知识

RocketMQ初识学习入门：轻松掌握消息队列入门知识

标签：

中间件

概述

RocketMQ是一款高性能、高可用的分布式消息中间件，本文将带你了解其基本概念、安装配置及核心特性。RocketMQ支持多种消息模型和多语言客户端，适用于异步通信、削峰填谷等多种场景。本文将详细介绍RocketMQ初识学习入门的相关知识。

RocketMQ简介

RocketMQ的定义与功能

RocketMQ 是阿里巴巴开源的一款分布式消息中间件，主要功能包括：

高性能：支持每秒数百万的消息吞吐量。
高可用：支持消息的可靠传输和消费，保证消息不丢失。
可扩展：支持水平和垂直扩展，可以轻松应对大规模的应用场景。
多语言支持：支持Java、C++、Python等多语言客户端。
灵活的消息模型：支持多种消息模型，如发布/订阅、点对点等。

RocketMQ的适用场景

RocketMQ适用于以下场景：

异步通信：利用消息队列实现异步解耦，提高系统响应速度。
削峰填谷：在高并发场景下，通过消息队列平滑流量高峰。
数据一致性：通过消息的可靠传输保证分布式系统中的数据一致性。
任务调度：将任务分发到各个节点，实现任务的异步处理。
日志采集与监控：将日志数据通过消息队列传输到集中式的日志服务器。

RocketMQ与其他消息队列的对比

RocketMQ与其他消息队列，如Apache Kafka、RabbitMQ等相比，具有以下优势：

稳定性：RocketMQ基于分布式架构设计，稳定性更高。
消息模型：RocketMQ支持多种消息模型，灵活性更强。
消息传输：RocketMQ支持高可靠的消息传输，确保消息不丢失。
性能：RocketMQ在性能上表现优秀，适合高并发场景。

RocketMQ与Kafka的对比

消息模型：RocketMQ支持发布/订阅和点对点模型，而Kafka主要采用发布/订阅模型。
消息存储：RocketMQ支持内存与文件混合存储，Kafka则主要基于文件存储。
消息可靠性：RocketMQ在消息可靠性和传输方面表现更优，Kafka侧重于高性能。

RocketMQ与RabbitMQ的对比

性能：RocketMQ在高并发场景下性能更强。
消息模型：RocketMQ支持多种消息模型，RabbitMQ主要支持发布/订阅模型。
稳定性：RocketMQ基于分布式设计，稳定性更高。

安装与配置RocketMQ

准备工作与环境搭建

在安装RocketMQ之前，确保你的系统已经满足以下环境要求：

操作系统：Linux、Windows、macOS均可，推荐使用Linux。
Java版本：Java 8及以上版本。
内存要求：至少4GB内存。

安装Java环境

确保Java环境已经安装并配置好，可以通过以下命令检查Java版本：

java -version

安装与解压RocketMQ

下载RocketMQ：从RocketMQ的官方GitHub仓库下载最新版本。

wget https://github.com/apache/rocketmq/releases/download/v4.9.2/rocketmq-all-4.9.2-bin-release.zip

解压RocketMQ：

unzip rocketmq-all-4.9.2-bin-release.zip
cd rocketmq-all-4.9.2

配置环境变量：编辑~/.bashrc或~/.zshrc文件，添加以下内容：
```
export ROCKETMQ_HOME=$PWD
export PATH=$PATH:$ROCKETMQ_HOME/bin
```
使环境变量生效：
```
source ~/.bashrc
```

启动RocketMQ服务器

RocketMQ的启动分为三个步骤：启动NameServer、启动Broker、启动Admin Console。

启动NameServer

NameServer是RocketMQ的命名服务器，用于存储和管理Region信息，提供Broker的路由信息。

nohup sh bin/mqnamesrv &

启动Broker

Broker是RocketMQ的消息存储和转发节点，负责消息的生产和消费。

nohup sh bin/mqbroker -n localhost:9876 &

启动Admin Console

Admin Console用于管理和监控RocketMQ的运行状态。

nohup sh bin/mqadmin topics -n localhost:9876 &

RocketMQ核心概念

主题与队列

主题

在RocketMQ中，主题（Topic）是消息的分类标签，用于标识一类消息。生产者将消息发送到指定的Topic，消费者根据Topic订阅消息。

队列

队列（Queue）是消息存储和传输的基本单位。每个Topic可以包含多个队列，消息在队列中按照顺序存储和传输。

示例代码

创建主题与队列的示例代码如下：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;

public class RocketMQProducer {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.start();

        // 发送消息
        producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET)));
        producer.shutdown();
    }
}

生产者与消费者

生产者

生产者（Producer）负责将消息发送到指定的Topic。生产者可以配置消息的传递模式、事务属性等。

消费者

消费者（Consumer）负责从指定的Topic中获取消息并进行处理。消费者可以配置消费模式、消费组等。

示例代码

创建生产者和消费者的示例代码如下：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderedSuccess;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;

public class RocketMQConsumer {
    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "*");
        consumer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, consumeOrderlyContext) -> {
            for (Message msg : msgs) {
                System.out.println(new String(msg.getBody()));
            }
            return ConsumeOrderedSuccess.getInstance();
        });
        consumer.start();
    }
}

消息模型与消息类型

消息模型

集群模型：消息在多个Broker之间分发，确保消息不丢失。
广播模型：消息分发到所有Broker，每个Broker都会存储一份消息。

消息类型

普通消息：无需特殊处理的消息。
事务消息：支持事务操作的消息，确保消息的可靠传输。

示例代码

发送事务消息的示例代码如下：

import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQTransactionProducer {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        TransactionMQProducer producer = new TransactionMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.setTransactionCheckListener((LocalTransactionCheckListener) (offsetMsgItem, arg) -> {
            // 事务检查逻辑
            return LocalTransactionState.COMMIT_MESSAGE;
        });
        producer.start();

        // 发送事务消息
        Message msg = new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET));
        producer.sendMessageInTransaction(msg, null);

        producer.shutdown();
    }
}

发送与接收消息

创建生产者与消费者实例

在RocketMQ中，生产者和消费者实例的创建非常简单，只需按照以下步骤进行：

创建生产者实例：使用DefaultMQProducer类创建生产者实例。
创建消费者实例：使用DefaultMQPushConsumer类创建消费者实例。

示例代码

创建生产者和消费者的示例代码如下：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQProducerConsumer {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.start();

        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "*");
        consumer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, consumeOrderlyContext) -> {
            for (Message msg : msgs) {
                System.out.println(new String(msg.getBody()));
            }
            return ConsumeOrderedSuccess.getInstance();
        });
        consumer.start();

        // 发送消息
        producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET)));

        // 等待一段时间
        Thread.sleep(1000);
    }
}

发送与接收同步消息

同步消息的发送和接收是最基本的操作，可以确保消息的可靠传输。

发送同步消息

使用sendSync方法发送同步消息，可以在消息发送过程中等待消息发送成功。

接收同步消息

消费者在接受到消息后，会立即处理消息，确保消息的有序性。

示例代码

发送同步消息的示例代码如下：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQProducerSync {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.start();

        // 发送同步消息
        SendResult sendResult = producer.sendSync(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET)));
        System.out.println("发送消息结果: " + sendResult);

        producer.shutdown();
    }
}

发送与接收异步消息

异步消息的发送和接收可以在消息发送或接收过程中执行其他操作，提高系统的响应速度。

发送异步消息

使用sendAsync方法发送异步消息，可以在消息发送后立即返回，不等待消息发送结果。

接收异步消息

消费者在接受到消息后，可以异步处理消息，提高系统的响应速度。

示例代码

发送异步消息的示例代码如下：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendCallback;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQProducerAsync {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.start();

        // 发送异步消息
        producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET)), new SendCallback() {
            @Override
            public void onSuccess(SendResult sendResult) {
                System.out.println("发送成功: " + sendResult);
            }

            @Override
            public void onException(Throwable e) {
                System.out.println("发送失败: " + e.getMessage());
            }
        });

        producer.shutdown();
    }
}

消息的确认与重试机制

在RocketMQ中，消息的确认和重试机制非常关键，可以确保消息的可靠传输。

消息确认

生产者发送消息后，需要确认消息是否成功发送到Broker。如果发送失败，可以重新发送。

消息重试

如果消息发送失败，RocketMQ会自动进行消息重试。重试次数和间隔时间可以通过配置文件进行调整。

示例代码

示例代码中展示了如何处理消息确认与重试机制：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendCallback;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQProducerRetry {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.setRetryTimesWhenSendFailed(5); // 设置重试次数
        producer.start();

        // 发送消息并处理重试
        producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET)), new SendCallback() {
            @Override
            public void onSuccess(SendResult sendResult) {
                System.out.println("消息发送成功: " + sendResult);
            }

            @Override
            public void onException(Throwable e) {
                System.out.println("消息发送失败，开始重试: " + e.getMessage());
            }
        });

        producer.shutdown();
    }
}

高级特性和最佳实践

消息过滤与路由

消息过滤

在RocketMQ中，可以使用过滤器来过滤消息，只消费满足特定条件的消息。

消息路由

通过路由规则，可以将消息分发到不同的队列，实现消息的灵活路由。

示例代码

使用过滤器的示例代码如下：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQConsumerFilter {
    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "*"); // 订阅所有消息
        consumer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, consumeOrderlyContext) -> {
            for (Message msg : msgs) {
                if (new String(msg.getBody()).startsWith("Filter")) {
                    System.out.println("接受到过滤的消息: " + new String(msg.getBody()));
                }
            }
            return ConsumeOrderedSuccess.getInstance();
        });
        consumer.start();
    }
}

消息追踪与监控

消息追踪

通过消息ID，可以追踪消息的流转路径，方便定位问题。

消息监控

RocketMQ提供了丰富的监控指标，可以通过监控指标来分析系统的运行状态。

示例代码

配置监控的示例代码如下：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQConsumerMonitor {
    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "*"); // 订阅所有消息
        consumer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, consumeOrderlyContext) -> {
            for (Message msg : msgs) {
                System.out.println("接受到消息: " + new String(msg.getBody()));
            }
            return ConsumeOrderedSuccess.getInstance();
        });
        consumer.start();
    }
}

消息幂等性处理

在RocketMQ中，可以通过设置消息的唯一ID来处理消息的幂等性，避免重复消息的处理。

示例代码

处理幂等性的示例代码如下：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

import java.util.HashMap;
import java.util.Map;

public class RocketMQConsumerIdempotent {
    private static Map<String, Integer> messageIdMap = new HashMap<>();

    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "*"); // 订阅所有消息
        consumer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, consumeOrderlyContext) -> {
            for (Message msg : msgs) {
                String messageId = msg.getProperty("MessageId");
                if (messageIdMap.containsKey(messageId)) {
                    System.out.println("重复消息，忽略处理: " + new String(msg.getBody()));
                } else {
                    messageIdMap.put(messageId, 1);
                    System.out.println("接受到消息: " + new String(msg.getBody()));
                }
            }
            return ConsumeOrderedSuccess.getInstance();
        });
        consumer.start();
    }
}

常见问题与故障排查

常见错误与解决方法

生产者未连接NameServer

生产者未成功连接到NameServer时，可能会出现Client connect to server('localhost:9876') timeout(3000ms) exception错误。

解决方法：检查NameServer是否已经启动，NameServer的地址是否配置正确。

消息发送失败

生产者发送消息失败时，可能会出现Message send failed, Topic: TestTopic错误。

解决方法：检查Broker是否已经启动，生产者是否配置正确，消息是否超过了最大限制。

消息接收失败

消费者接收消息失败时，可能会出现Consume message in ConsumerId failed, Topic: TestTopic错误。

解决方法：检查消费者的配置是否正确，消费者的Group是否已经创建。

示例代码

排查生产者未连接NameServer的示例代码如下：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQProducerCheck {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
        producer.setNamesrvAddr("localhost:9876");
        producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
        producer.start();

        // 连接NameServer检查
        if (producer.isConnected()) {
            System.out.println("生产者已连接到NameServer");
        } else {
            System.out.println("生产者未连接到NameServer");
        }

        producer.shutdown();
    }
}

性能优化与资源管理

性能优化

减少消息大小：减少消息的内容，可以有效提高消息的传输速度。
减少消息队列数：减少不必要的消息队列，可以减少内存和磁盘的消耗。
增加Broker资源：增加Broker的内存和磁盘资源，可以提高消息的存储和转发能力。

资源管理

监控资源使用：通过监控Broker的内存和磁盘使用情况，及时调整资源配置。
动态扩容：通过动态扩容Broker，可以应对突发的高流量场景。

示例代码

动态扩容Broker的示例代码如下：

import org.apache.rocketmq.remoting.RPCHook;
import org.apache.rocketmq.remoting.common.RemotingHelper;
import org.apache.rocketmq.tools.admin.AdminCommand;
import org.apache.rocketmq.tools.admin.DefaultMQAdminExt;

public class RocketMQAdmin {
    public static void main(String[] args) throws Exception {
        // 创建Admin实例
        DefaultMQAdminExt admin = new DefaultMQAdminExt();
        admin.setNamesrvAddr("localhost:9876");
        admin.setRPCHook(new NoOpRPCHook());
        admin.start();

        // 动态扩容Broker
        admin.changeClusterTopicConfig("TopicName", "brokerName1:127.0.0.1:10911,brokerName2:127.0.0.1:10912");

        admin.shutdown();
    }
}

日志解析与异常处理

日志解析

RocketMQ的日志分为多个级别，包括INFO、WARN、ERROR等，通过解析日志可以快速定位问题。

异常处理

异常捕获：通过捕获异常，可以避免程序因异常而中断。
日志记录：通过记录异常信息，可以方便后续的排查和处理。

示例代码

处理异常的示例代码如下：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RocketMQProducerException {
    public static void main(String[] args) {
        try {
            // 创建生产者实例
            DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
            producer.setNamesrvAddr("localhost:9876");
            producer.setMessageModel(MessageModel.CLUSTERING); // 设置消息模型
            producer.start();

            // 发送消息
            producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULT_CHARSET)));

            producer.shutdown();
        } catch (Exception e) {
            System.out.println("发生异常: " + e.getMessage());
            e.printStackTrace();
        }
    }
}

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

胡子哥哥

手记
篇

粉丝

79

获赞与收藏

377

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 31204 346

网络编程入门教程

20个小节 12758 240

Pandas 入门教程

25个小节 18652 347

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

RocketMQ初识学习入门：轻松掌握消息队列入门知识

RocketMQ与Kafka的对比

RocketMQ与RabbitMQ的对比

安装Java环境

安装与解压RocketMQ

启动NameServer

启动Broker

启动Admin Console

主题

队列

示例代码

生产者

消费者

示例代码

消息模型

消息类型

示例代码

示例代码

发送同步消息

接收同步消息

示例代码

发送异步消息

接收异步消息

示例代码

消息确认

消息重试

示例代码

消息过滤

消息路由

示例代码

消息追踪

消息监控

示例代码

示例代码

生产者未连接NameServer

消息发送失败

消息接收失败

示例代码

性能优化

资源管理

示例代码

日志解析

异常处理

示例代码

阅读免费教程