RocketMQ消息中间件教程：新手入门指南

概述

本文将详细介绍RocketMQ的特性、应用场景以及如何快速入门，帮助读者掌握RocketMQ消息中间件的使用。

RocketMQ简介 RocketMQ是什么

RocketMQ是由阿里巴巴开源的一款分布式消息中间件，基于Java语言编写，旨在为大规模分布式系统提供高性能、高可靠的消息传输服务。RocketMQ具有强大的分布式消息传输能力，广泛应用于电子商务、金融、物流、物联网等场景中，帮助开发者构建高性能、高可用的消息队列系统。

RocketMQ的特点和优势

RocketMQ具有以下特点和优势：

• 高性能：RocketMQ采用了内存消息存储、零拷贝技术、批量发送等机制，保证了高吞吐量和低延迟。
• 高可靠性：RocketMQ通过主从复制机制、持久化存储、消息重试等一系列机制，确保消息传输的可靠性。
• 灵活的消息模型：RocketMQ支持多种消息模型，包括发布/订阅、广播等，可以灵活满足不同的业务需求。
• 集群部署能力：RocketMQ支持集群部署，能够提供水平扩展的能力，确保系统在高并发场景下的稳定运行。
• 消息过滤与路由：RocketMQ支持丰富的消息过滤和路由功能，可以实现复杂的业务逻辑。
• 监控与运维：RocketMQ提供了丰富的监控和运维工具，方便开发者进行系统监控和故障排查。

RocketMQ的应用场景

RocketMQ广泛应用于以下场景：

• 异步解耦：RocketMQ可以异步解耦业务系统，提高系统的灵活性和扩展性。
• 削峰填谷：通过RocketMQ可以实现削峰填谷，缓解系统高峰期的压力。
• 消息传输：RocketMQ可以实现消息在分布式系统中的可靠传输。
• 数据同步：RocketMQ可以实现系统之间的数据同步。
• 分布式事务：RocketMQ可以实现分布式事务管理。

RocketMQ消息模型介绍 消息类型

RocketMQ提供了多种消息类型，包括普通消息、事务消息、定时消息、顺序消息等。以下是一些常见的消息类型：

• 普通消息：普通消息是最基本的消息类型，适用于简单的消息传输场景。
• 事务消息：事务消息用于实现分布式事务的一致性，确保消息的可靠传输。
• 定时消息：定时消息可以在指定的时间点发送消息，适用于需要定时触发的场景。
• 顺序消息：顺序消息可以确保消息的顺序传递，适用于需要顺序处理的场景。

消息生产和消费

在RocketMQ中，消息生产和消费是通过Producer和Consumer实现的。Producer负责生产并发送消息，Consumer负责接收并处理消息。

• Producer：Producer负责生产并发送消息。Producer需要与RocketMQ服务器建立连接，并调用相关API将消息发送到指定的Topic。
• Consumer：Consumer负责接收并处理消息。Consumer需要与RocketMQ服务器建立连接，并监听指定的Topic，当有新消息到达时，Consumer会接收并处理消息。

消息的传递模式

RocketMQ提供了多种消息传递模式，包括同步传递、异步传递等。以下两种常见的传递模式：

• 同步传递：同步传递模式下，Producer在发送消息后会等待Broker的确认，只在消息被成功发送到Broker后才会返回。以下是一个简单的同步传递示例：

  // 同步传递示例
  SendResult syncResult = producer.send(message, new SendCallback() {
  @Override
  public void onSuccess(SendResult sendResult) {
      System.out.printf("Send %s succeed, msgId = %s%n", message, sendResult.getMsgId());
  }
  
  @Override
  public void onException(Throwable e) {
      System.out.printf("Send %s Exception: %s%n", message, e.getMessage());
  }
  });

• 异步传递：异步传递模式下，Producer在发送消息后不会等待Broker的确认，而是立即返回。这种方式可以提高发送消息的效率。以下是一个简单的异步传递示例：

  // 异步传递示例
  producer.send(message);

RocketMQ快速入门 安装RocketMQ

安装环境要求

• 操作系统：支持Linux、Windows、macOS等操作系统。
• Java环境：Java 8及以上版本。
• 磁盘空间：至少需要1GB的磁盘空间。

下载RocketMQ

你可以从RocketMQ的GitHub仓库下载RocketMQ的最新版本：

git clone https://github.com/apache/rocketmq.git
cd rocketmq

解压RocketMQ

下载完成后，解压RocketMQ：

tar -zxf rocketmq-all-4.7.1-bin-release.tar.gz
cd rocketmq-all-4.7.1/

配置RocketMQ

RocketMQ的配置文件位于conf目录下。你可以根据自己的需求修改配置文件，如修改端口、设置日志路径等。

cp config.properties.template config.properties
cp run.sh.template run.sh

编辑config.properties文件，根据实际情况修改Broker配置：

# 指定Broker的名称
brokerName=broker-a

# 指定RocketMQ的存储路径
storePathRootDir=/opt/rocketmq/data

编辑run.sh文件，设置JAVA_HOME环境变量：

JAVA_HOME=/usr/local/java/jdk1.8.0_211

配置RocketMQ

配置完成后，你可以启动RocketMQ的NameServer和Broker。

启动NameServer

NameServer是RocketMQ的注册中心，负责管理和维护Broker的信息。

nohup sh bin/mqnamesrv &

启动Broker

Broker是RocketMQ的消息服务器，负责消息的存储和转发。

nohup sh bin/mqbroker -n localhost:9876 &

发送第一条消息

发送消息需要创建一个Producer实例，并配置相关的参数。以下是一个简单的发送消息的示例：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;

public class Producer {
    public static void main(String[] args) throws Exception {
        // 创建Producer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");

        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");

        // 启动Producer实例
        producer.start();

        // 创建Message实例
        Message message = new Message("TopicTest", "TagA", "Hello World".getBytes());

        // 发送消息
        SendResult result = producer.send(message);

        // 输出发送结果
        System.out.printf("%s%n", result);

        // 关闭Producer实例
        producer.shutdown();
    }
}

RocketMQ常用API详解 发送消息

发送普通消息

发送普通消息是最基本的消息发送方式，适用于简单的消息传输场景。以下是一个发送普通消息的示例：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;

public class Producer {
    public static void main(String[] args) throws Exception {
        // 创建Producer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");

        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");

        // 启动Producer实例
        producer.start();

        // 创建Message实例
        Message message = new Message("TopicTest", "TagA", "Hello World".getBytes());

        // 发送消息
        SendResult result = producer.send(message);

        // 输出发送结果
        System.out.printf("%s%n", result);

        // 关闭Producer实例
        producer.shutdown();
    }
}

发送事务消息

事务消息用于实现分布式事务的一致性，确保消息的可靠传输。以下是一个发送事务消息的示例：

import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.protocol.body.EndTransactionRequest;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class TransactionProducer {
    public static void main(String[] args) throws Exception {
        // 创建TransactionMQProducer实例
        TransactionMQProducer producer = new TransactionMQProducer("ProducerGroupName");

        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");

        // 设置事务执行器
        producer.setExecutorService(new ExecutorService() {
            @Override
            public void execute(Runnable command) {
                command.run();
            }

            @Override
            public void shutdown() {
                // 实现shutdown方法
            }

            @Override
            public List<Runnable> shutdownNow() {
                return null;
            }
        });

        // 启动Producer实例
        producer.start();

        // 创建Message实例
        Message message = new Message("TopicTest", "TagA", "Hello World".getBytes());

        // 发送事务消息
        SendResult result = producer.sendMessageInTransaction(message, new LocalTransactionCheckListener() {
            @Override
            public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
                // 实现本地事务逻辑
                return LocalTransactionState.COMMIT_MESSAGE;
            }

            @Override
            public LocalTransactionState checkLocalTransaction(MessageExt msg) {
                // 实现事务检查逻辑
                return LocalTransactionState.COMMIT_MESSAGE;
            }
        });

        // 输出发送结果
        System.out.printf("%s%n", result);

        // 关闭Producer实例
        producer.shutdown();
    }
}

接收消息

接收消息需要创建一个Consumer实例，并配置相关的参数。以下是一个简单的接收消息的示例：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.message.MessageExt;

public class Consumer {
    public static void main(String[] args) throws Exception {
        // 创建DefaultMQPushConsumer实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");

        // 设置NameServer地址
        consumer.setNamesrvAddr("localhost:9876");

        // 订阅指定Topic下的消息
        consumer.subscribe("TopicTest", "*");

        // 设置消息消费模式
        consumer.setMessageModel(MessageModel.CLUSTERING);

        // 注册消息监听器
        consumer.registerMessageListener(new MessageListenerOrderly() {
            @Override
            public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
                // 处理接收到的消息
                for (MessageExt msg : msgs) {
                    System.out.printf("Receive New Messages: %s%n", new String(msg.getBody()));
                }
                return ConsumeOrderlyStatus.SUCCESS;
            }
        });

        // 启动Consumer实例
        consumer.start();
    }
}

消息过滤与路由

消息过滤

消息过滤允许你根据特定的规则过滤消息。以下是一个简单的消息过滤示例：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.message.MessageExt;

public class FilteredConsumer {
    public static void main(String[] args) throws Exception {
        // 创建DefaultMQPushConsumer实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");

        // 设置NameServer地址
        consumer.setNamesrvAddr("localhost:9876");

        // 订阅指定Topic下的消息
        consumer.subscribe("TopicTest", "*");

        // 设置消息消费模式
        consumer.setMessageModel(MessageModel.CLUSTERING);

        // 注册消息监听器
        consumer.registerMessageListener(new MessageListenerOrderly() {
            @Override
            public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
                // 处理接收到的消息
                for (MessageExt msg : msgs) {
                    if (new String(msg.getBody()).startsWith("Hello")) {
                        System.out.printf("Receive New Messages: %s%n", new String(msg.getBody()));
                    }
                }
                return ConsumeOrderlyStatus.SUCCESS;
            }
        });

        // 启动Consumer实例
        consumer.start();
    }
}

消息路由

消息路由允许你根据特定的规则路由消息到不同的队列。以下是一个简单的消息路由示例：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RoutingProducer {
    public static void main(String[] args) throws Exception {
        // 创建DefaultMQProducer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");

        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");

        // 启动Producer实例
        producer.start();

        // 创建Message实例
        Message message = new Message("TopicTest", "TagA", "Hello World".getBytes());

        // 发送消息到指定的队列
        SendResult result = producer.send(message, new MessageQueueSelector() {
            @Override
            public int select(List<MessageQueue> mqs, Message msg, Object arg) {
                int index = (int) (Double.parseDouble(arg.toString()) % mqs.size());
                return index;
            }
        }, "1.0");

        // 输出发送结果
        System.out.printf("%s%n", result);

        // 关闭Producer实例
        producer.shutdown();
    }
}

消息重试机制

RocketMQ提供了消息重试机制，当消息发送失败时，RocketMQ会自动重试发送消息。以下是一个简单的消息重试机制示例：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class RetryProducer {
    public static void main(String[] args) throws Exception {
        // 创建DefaultMQProducer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");

        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");

        // 设置重试次数
        producer.setRetryTimesWhenSendFailed(3);

        // 启动Producer实例
        producer.start();

        // 创建Message实例
        Message message = new Message("TopicTest", "TagA", "Hello World".getBytes());

        // 发送消息
        SendResult result = producer.send(message);

        // 输出发送结果
        System.out.printf("%s%n", result);

        // 关闭Producer实例
        producer.shutdown();
    }
}

RocketMQ集群部署与管理 单机部署

单机部署RocketMQ可以方便地进行开发和测试，也可以用于小规模生产环境。以下是一个简单的单机部署RocketMQ的示例：

# 下载并解压RocketMQ
tar -zxf rocketmq-all-4.7.1-bin-release.tar.gz
cd rocketmq-all-4.7.1/

# 启动NameServer
nohup sh bin/mqnamesrv &
# 启动Broker
nohup sh bin/mqbroker -n localhost:9876 &

集群部署

集群部署RocketMQ可以提供更好的性能和可靠性，适用于大规模生产环境。以下是一个简单的集群部署RocketMQ的示例：

# 下载并解压RocketMQ
tar -zxf rocketmq-all-4.7.1-bin-release.tar.gz
cd rocketmq-all-4.7.1/

# 启动NameServer
nohup sh bin/mqnamesrv &
# 启动Broker
nohup sh bin/mqbroker -n localhost:9876 -c conf/broker-a.properties &

# 集群部署配置文件示例
# broker-a.properties
brokerName=broker-a
brokerId=0
brokerRole=ASYNC_MASTER
storePathRootDir=/opt/rocketmq/data
storePathCommitLog=/opt/rocketmq/data/commitlog
storePathConsumeQueue=/opt/rocketmq/data/consumequeue
storePathIndex=/opt/rocketmq/data/index

监控与运维

监控

RocketMQ提供了丰富的监控工具，可以监控RocketMQ的运行状态。以下是一个简单的监控示例：

sh bin/mqadmin brokerList -n localhost:9876

运维

RocketMQ也提供了丰富的运维工具，可以进行日志查看、消息重试等操作。以下是一个简单的运维示例：

sh bin/mqadmin topicList -n localhost:9876