首页手记手写rocketMQ资料：新手入门教程

手写rocketMQ资料：新手入门教程

标签：

中间件

概述

本文详细介绍了RocketMQ的基本概念、安装配置、核心概念以及手写RocketMQ Producer和Consumer的示例代码，帮助读者快速上手使用RocketMQ。文章涵盖了RocketMQ的环境配置、启动服务器、消息生产和消费的具体实现等关键内容。通过本文的学习，读者可以全面了解RocketMQ并掌握其使用方法。

RocketMQ简介

RocketMQ是什么

RocketMQ是由阿里巴巴集团开源的一款分布式消息中间件，它基于Java开发，支持多种消息模式，如发布/订阅模型、队列模型以及广播模型等。RocketMQ支持高吞吐量的消息传递，具有强大的消息路由机制，能够保证消息的可靠传输和消费。它在阿里巴巴集团内部被广泛应用于各种应用场景，如订单推送、交易通知、大数据处理等。

RocketMQ的基本概念

RocketMQ中包含多个核心概念，以下是其中一些主要术语：

NameServer：RocketMQ的控制节点，负责维护Broker的注册信息，并为客户端提供Broker的地址查找服务。
Broker：RocketMQ的消息代理节点，负责消息的存储和转发。一个Broker集群可以包含多个Broker。
Topic：RocketMQ中的主题，是消息的分类，用于区分不同类型的消息。
Producer：消息生产者，负责将消息发送到指定的Topic。
Consumer：消息消费者，负责订阅并消费指定Topic的消息。
Message：消息对象，包含需要传递的内容和元数据信息。
MessageQueue：消息队列，一个Topic对应多个MessageQueue，用于存储和分发消息。
Tag：消息标签，用于进一步细分Topic下的消息。

RocketMQ的优势和应用场景

RocketMQ相比其他消息中间件，具有以下几个优势：

高吞吐量：RocketMQ可以支持每秒数百万的消息吞吐量。
高可用性：通过Broker集群、NameServer集群提供高可用保障。
消息路由：支持多级路由订阅和重试策略。
消息过滤：通过Tag和过滤规则进行消息过滤。
消息堆积：支持消息堆积，可以在消费端处理慢的时候暂存消息。
消息事务：支持消息事务的特性，保证消息的可靠传输。

RocketMQ适合以下应用场景：

订单推送：例如订单创建或支付成功后，通过RocketMQ发送通知消息。
交易通知：在交易完成后，通过RocketMQ发送交易完成通知。
大数据处理：可以将数据采集、处理等流程通过RocketMQ连接起来。
日志收集：将系统日志通过RocketMQ进行统一收集和管理。
流量削峰：在系统高并发时，通过RocketMQ进行流量削峰处理。

安装RocketMQ

RocketMQ的下载与解压

首先，访问RocketMQ的GitHub仓库，下载最新版本的RocketMQ，这里假设版本为4.9.0。位于https://github.com/apache/rocketmq。
解压下载的压缩包到本地目录，例如：

tar -xvf rocketmq-all-4.9.0-bin-release.tar.gz
cd rocketmq-all-4.9.0

RocketMQ的环境配置

RocketMQ的运行需要Java环境，确保已经安装了Java 8及以上版本。RocketMQ自带一些必要的配置文件，通常不需要特别修改，除非有特殊需求。
运行RocketMQ需要设置一些环境变量，例如JAVA_HOME和ROCKETMQ_HOME。在终端中设置这些变量：

export JAVA_HOME=/path/to/java
export ROCKETMQ_HOME=/path/to/rocketmq
export PATH=$PATH:$ROCKETMQ_HOME/bin

启动RocketMQ服务器

启动RocketMQ服务器需要按以下步骤进行：

启动NameServer：
```
nohup sh bin/mqnamesrv &
```
启动Broker：
```
nohup sh bin/mqbroker -n localhost:9876 &
```
启动后，可以通过访问http://localhost:9876来查看NameServer的Web界面。界面会显示当前Broker的运行状态。

RocketMQ核心概念详解

Topic和Tag

Topic

Topic是RocketMQ中的消息主题，用于将不同类型的消息进行分类。一个Topic可以包含多个MessageQueue。当消息生产者发送消息时，必须指定消息的Topic。

Tag

Tag是RocketMQ中用于进一步细分Topic下的消息的标签。Tag可以用来表示消息的类型或者优先级，例如，一个Topic下可以有多个Tag，每个Tag对应一类特定的消息。在消费端，可以根据Tag来过滤消息。

示例代码

创建一个Topic和Tag的示例代码：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;

public class TopicTagExample {
    public static void main(String[] args) throws Exception {
        // 创建producer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");
        // 启动producer
        producer.start();
        // 创建message
        Message msg = new Message("TestTopic", // topic
                "TagA", // tag
                "Hello RocketMQ".getBytes()); // body
        // 发送message
        producer.send(msg);
        // 关闭producer
        producer.shutdown();
    }
}

Producer和Consumer

Producer

Producer是消息的生产者，负责将消息发送到指定的Topic。RocketMQ支持同步发送和异步发送两种方式，同步发送会在发送消息后等待响应，异步发送则直接返回，不等待响应。

Consumer

Consumer是消息的消费者，负责订阅并消费指定Topic的消息。消费者可以订阅一个或多个Topic，并可以设置各种消费策略，例如消息过滤、消息重试等。

示例代码

创建一个Producer和Consumer的示例代码：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;

public class ProducerConsumerExample {
    public static void main(String[] args) throws Exception {
        // 创建producer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        producer.start();

        // 创建consumer实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.setMessageModel(MessageModel.BROADCASTING);
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println(new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();

        // 发送message
        Message msg = new Message("TestTopic",
                "TagA",
                "Hello RocketMQ".getBytes());
        producer.send(msg);
        // 关闭producer
        producer.shutdown();
    }
}

Message和MessageQueue

Message

Message是RocketMQ中的消息对象，包含了消息体、主题、标签等信息。消息体中可以包含任何需要传输的数据。

MessageQueue

MessageQueue是消息队列，一个Topic对应多个MessageQueue。通过MessageQueue，消息可以在多个Broker之间进行均衡分发。

示例代码

创建一个Message和MessageQueue的示例代码：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;

public class MessageQueueExample {
    public static void main(String[] args) throws Exception {
        // 创建producer实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        producer.start();

        // 创建message
        Message msg = new Message("TestTopic",
                "TagA",
                "Hello RocketMQ".getBytes());
        // 发送message
        producer.send(msg);
        // 关闭producer
        producer.shutdown();
    }
}

手写RocketMQ Producer

创建Producer实例

创建Producer实例需要指定一个唯一的Producer Group Name，RocketMQ通过Group Name来区分不同的生产者。同时需要设置NameServer的地址。

示例代码

import org.apache.rocketmq.client.producer.DefaultMQProducer;

public class CreateProducerInstanceExample {
    public static void main(String[] args) throws Exception {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
    }
}

发送消息

发送消息有同步发送和异步发送两种方式。同步发送会在发送消息后等待响应，异步发送则直接返回，不等待响应。

示例代码

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;

public class SendMessageExample {
    public static void main(String[] args) throws Exception {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        producer.start();

        SendResult result = producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes()));
        System.out.println(result.getSendStatus());
        producer.shutdown();
    }
}

异步发送消息

异步发送消息的方式是通过回调函数来处理发送结果。

示例代码

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendCallback;

public class SendAsyncMessageExample {
    public static void main(String[] args) throws Exception {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        producer.start();

        producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes()), (SendResult sendResult) -> {
            System.out.println(sendResult.getSendStatus());
        });
        producer.shutdown();
    }
}

发送延迟消息

发送延迟消息是指消息发送后，经过一定时间间隔后再进行消费。可以通过设置消息的延时级别来实现。

示例代码

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;

public class SendDelayMessageExample {
    public static void main(String[] args) throws Exception {
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");
        producer.start();

        Message msg = new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes());
        msg.setDelayTimeLevel(3); // 设置延时级别
        producer.send(msg);
        producer.shutdown();
    }
}

手写RocketMQ Consumer

创建Consumer实例

创建Consumer实例需要指定一个唯一的Consumer Group Name，RocketMQ通过Group Name来区分不同的消费者。同时需要设置NameServer的地址。

示例代码

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;

public class CreateConsumerInstanceExample {
    public static void main(String[] args) throws Exception {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
    }
}

订阅消息

消费者可以通过订阅指定的Topic和Tag来接收消息。

示例代码

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;

public class SubscribeMessageExample {
    public static void main(String[] args) throws Exception {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
        consumer.start();
    }
}

处理消息

消费者接收到消息后，需要通过回调函数来处理消息。

示例代码

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.common.consumer.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;

public class ProcessMessageExample {
    public static void main(String[] args) throws Exception {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.setMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println(new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

消费者容错机制

RocketMQ支持多种消费者容错机制，例如消息重试、消费位点回溯等，可以通过设置相应的参数来实现。

示例代码

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.common.consumer.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;

public class ConsumeRetryExample {
    public static void main(String[] args) throws Exception {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("TestTopic", "TagA");
        consumer.setMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println(new String(msg.getBody()));
                // 模拟处理失败
                throw new RuntimeException("Fail");
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}

常见问题与解决方案

常见错误及解决方法

1. NameServer启动失败

问题：NameServer日志中出现启动失败的错误信息。
解决方法：检查NameServer的配置文件是否正确，确保没有配置错误，如server.properties中的端口号是否冲突。
```
sh bin/mqnamesrv.sh
```

2. Broker启动失败

问题：Broker日志中出现启动失败的错误信息。
解决方法：检查Broker的配置文件是否正确，确保没有配置错误，如broker.conf中的namesrvAddr是否正确。
```
sh bin/mqbroker.sh -n localhost:9876
```

3. 消息发送失败

问题：发送消息时，出现发送失败的错误信息。
解决方法：检查Producer的配置是否正确，确保Topic和Tag设置正确，同时检查NameServer和Broker是否正常运行。
```
SendResult result = producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes()));
```

性能优化技巧

1. 集群模式部署

方法：将RocketMQ部署为集群模式，通过多个Broker节点来提高系统可用性和消息吞吐量。

效果：可以提高系统的稳定性和扩展性。

sh bin/mqbroker.sh -n localhost:9876 -c /path/to/broker.conf

2. 消息批量发送

方法：使用消息批量发送功能，将多条消息一起发送，减少网络交互次数。

效果：可以提高消息发送的效率。

producer.send(new MessageBatchMessage(messages));

3. 使用异步模式

方法：使用异步发送消息的方式，减少等待响应的时间。

效果：可以提高系统的执行效率。

producer.send(new Message("TestTopic", "TagA", "Hello RocketMQ".getBytes()), (SendResult sendResult) -> {
System.out.println(sendResult.getSendStatus());
});

日志查看与分析

1. 查看NameServer日志

方法：通过NameServer的日志文件来查看NameServer的运行情况。
效果：可以帮助定位NameServer的问题。
```
tail -f logs/NameSrv.log
```

2. 查看Broker日志

方法：通过Broker的日志文件来查看Broker的运行情况。
效果：可以帮助定位Broker的问题。
```
tail -f logs/broker.log
```

3. 分析日志

方法：通过日志中的错误信息来分析RocketMQ的运行状态。
效果：可以定位和解决生产环境中出现的问题。
```
grep "ERROR" logs/broker.log
```

总结

本文详细介绍了RocketMQ的基本概念、安装配置、核心概念、手写Producer和Consumer的示例代码，以及常见问题与解决方案。通过学习本文，读者可以对RocketMQ有一个全面的了解，并能够快速上手使用RocketMQ进行消息传递和处理。希望读者能够通过本文更好地理解和使用RocketMQ。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

海绵宝宝撒

JAVA开发工程师

手记
篇

粉丝

40

获赞与收藏

125

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 30787 345

网络编程入门教程

20个小节 12720 239

Pandas 入门教程

25个小节 18599 341

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

手写rocketMQ资料：新手入门教程

Topic

Tag

示例代码

Producer

Consumer

示例代码

Message

MessageQueue

示例代码

示例代码

示例代码

示例代码

示例代码

示例代码

示例代码

示例代码

示例代码

1. NameServer启动失败

2. Broker启动失败

3. 消息发送失败

1. 集群模式部署

2. 消息批量发送

3. 使用异步模式

1. 查看NameServer日志

2. 查看Broker日志

3. 分析日志

阅读免费教程