首页手记 RocketMQ初识资料：新手入门教程

RocketMQ初识资料：新手入门教程

标签：

中间件

概述

RocketMQ是一款由阿里巴巴开发的高性能分布式消息中间件，本文介绍了RocketMQ的基本概念、特点和应用场景。文章详细讲解了RocketMQ的安装步骤、发送和接收消息的方法，以及常见问题的解决方法。本文将帮助读者快速了解和掌握RocketMQ的使用，提供全面的RocketMQ初识资料。

RocketMQ简介

RocketMQ是什么

RocketMQ是由阿里巴巴集团开发的一款分布式消息中间件，它基于Java语言实现，并在阿里集团内部历经多年大规模生产环境的考验。RocketMQ具备高可用、高性能、高可靠的特点，能够满足大量并发场景下的消息传递需求。它支持多种消息模式，如发布/订阅模式、事务消息、顺序消息等，适用于大规模分布式系统中的异步解耦、流量削峰、日志收集等场景。

RocketMQ的特点

高性能：RocketMQ采用多线程模型，支持水平扩展，可以处理每秒数百万的消息吞吐量。
高可用：采用主从复制机制，支持消息的持久化存储，并提供事务消息确保消息可靠传输。
高可靠：支持消息的回溯和重复消费，确保消息不丢失。
灵活的消息模式：支持发布订阅、顺序消息、事务消息等多种消息模式。
丰富的产品特性：支持消息重试、消息过滤、消息轨迹追踪等特性。

RocketMQ的应用场景

RocketMQ广泛应用于多种场景，包括但不限于以下几点：

异步解耦：通过消息队列解耦不同的业务系统或模块，提高系统的可扩展性和灵活性。
流量削峰：在高并发场景下，通过消息队列平滑流量，减少系统压力。
日志收集：可以将日志数据发送到RocketMQ，再由其他系统处理和存储。
系统间通信：支持远程调用和事件通知，便于不同系统间的通信和协调。

安装RocketMQ

准备工作

在开始安装RocketMQ之前，需要确保已经安装了以下软件：

Java开发工具包（JDK）1.8及以上版本。
Maven 3.0及以上版本。
Git版本控制工具。
Docker容器（可选）。

安装步骤

安装RocketMQ可分为以下几个步骤：

下载RocketMQ源码：

git clone https://github.com/apache/rocketmq.git
cd rocketmq
mvn clean install -DskipTests

启动NameServer：

NameServer作为RocketMQ的路由信息中心，用于管理Broker的信息。
```
nohup sh bin/mqnamesrv &
```
启动Broker：

Broker是RocketMQ的消息存储和转发中心，每个Broker实例都会连接到NameServer。
```
nohup sh bin/mqbroker -n localhost:9876 &
```
启动RocketMQ管理工具（可选）：

RocketMQ自带了一个管理工具，可用于监控和管理RocketMQ。
```
nohup sh bin/mqadmin &
```

验证安装

为了验证RocketMQ是否安装成功，可以通过以下步骤进行检查：

检查NameServer和Broker日志：

日志文件位于logs目录下，查看日志文件中是否有启动成功的提示信息。
使用RocketMQ自带的管理工具：

使用mqadmin命令行工具检查RocketMQ集群状态。
```
sh bin/mqadmin clusterList -n localhost:9876
```
如果输出结果中显示了Broker的信息，说明RocketMQ已经成功启动并且运行正常。

RocketMQ的基本概念

概念解释

NameServer：RocketMQ的路由信息中心，管理Broker的地址信息。
Broker：消息存储和转发中心，负责消息的接收、存储和转发。
Producer：消息生产者，负责向Broker发送消息。
Consumer：消息消费者，负责从Broker拉取消息并进行处理。
Topic：消息主题，用于区分不同的消息类型。
Tag：消息标签，用于进一步区分同一主题下的不同消息。
Message：消息实体，包含消息体、主题、标签等信息。

主要组件介绍

NameServer：NameServer负责管理Broker的地址信息。当Producer或Consumer需要连接Broker时，首先向NameServer请求Broker的地址信息，从而实现消息的路由转发。
Broker：Broker主要负责消息的接收、存储和转发。每个Broker都会向NameServer注册自身的地址信息，以便NameServer能够维护最新的Broker列表。
Producer：Producer负责向Broker发送消息。它首先向NameServer请求Broker的地址信息，然后与Broker建立连接并发送消息。
Consumer：Consumer负责从Broker拉取消息并进行处理。它同样需要向NameServer请求Broker的地址信息，然后与Broker建立连接并拉取消息。

模型图解

RocketMQ的消息传输模型可以简要地用以下图解表示：

+---------+        +--------+        +---------+
|Producer |<------>|NameServer|<---->|Broker   |
+---------+        +--------+        +---------+
                   /           \
                  /             \
                 /               \
              +---------+       +---------+
              |Consumer |       |Consumer |
              +---------+       +---------+

Producer：消息生产者，负责发送消息。
NameServer：路由信息中心，管理Broker的地址信息。
Broker：消息存储和转发中心，负责接收、存储和转发消息。
Consumer：消息消费者，负责从Broker拉取消息并进行处理。

发送消息

同步发送

同步发送是指消息发送后会等待发送结果，是一种阻塞模式。以下是一个同步发送消息的示例代码：

import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.TransactionSendResult;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.message.Message;

public class SyncProducerExample {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");

        // 启动生产者
        producer.start();

        // 创建消息
        Message msg = new Message("TopicTest", // topic
                "TagA", // tag
                "OrderID188", // key
                ("Hello RocketMQ.").getBytes(RemotingHelper.DEFAULT_CHARSET)); // body

        // 同步发送消息
        SendResult sendResult = producer.send(msg);
        System.out.printf("%s%n", sendResult.getSendStatus());

        // 关闭生产者
        producer.shutdown();
    }
}

异步发送

异步发送是指消息发送后不会等待发送结果，可以立即返回，是一种非阻塞模式。以下是一个异步发送消息的示例代码：

import org.apache.rocketmq.client.producer.SendCallback;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.SendStatus;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.message.Message;

public class AsyncProducerExample {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");

        // 启动生产者
        producer.start();

        // 创建消息
        Message msg = new Message("TopicTest", // topic
                "TagA", // tag
                "OrderID188", // key
                ("Hello RocketMQ.").getBytes(RemotingHelper.DEFAULT_CHARSET)); // body

        // 异步发送消息
        producer.send(msg, new SendCallback() {
            @Override
            public void onSuccess(SendResult sendResult) {
                System.out.printf("Message send success, msgId: %s%n", sendResult.getMsgId());
            }

            @Override
            public void onException(Throwable e) {
                System.out.printf("Message send fail, error: %s%n", e.getMessage());
            }
        });

        // 关闭生产者
        producer.shutdown();
    }
}

单向发送

单向发送是指消息发送后不等待发送结果，这种模式通常用于日志收集、监控等场景。以下是一个单向发送消息的示例代码：

import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.message.Message;

public class OneWayProducerExample {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("localhost:9876");

        // 启动生产者
        producer.start();

        // 创建消息
        Message msg = new Message("TopicTest", // topic
                "TagA", // tag
                "OrderID188", // key
                ("Hello RocketMQ.").getBytes(RemotingHelper.DEFAULT_CHARSET)); // body

        // 单向发送消息
        producer.sendOneway(msg);

        // 关闭生产者
        producer.shutdown();
    }
}

接收消息

消费消息

RocketMQ提供了多种消费消息的方式，包括同步消费、异步消费等。以下是一个同步消费消息的示例代码：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;

public class SyncConsumerExample {
    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");

        // 订阅指定主题的消息
        consumer.subscribe("TopicTest", "*");

        // 设置从最近的地方开始消费
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

        // 消息监听器
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.printf("Receive new message: %s%n", new String(msg.getBody()));
            }
            return ConsumeOrderlyStatus.SUCCESS;
        });

        // 启动消费者
        consumer.start();
    }
}

消费者配置

RocketMQ消费者可以通过各种配置参数来控制消息的消费行为。以下是一些常见的消费者配置示例：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;

import java.util.concurrent.TimeUnit;

public class ConsumerConfigExample {
    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        consumer.setNamesrvAddr("localhost:9876");

        // 配置消费线程池大小
        consumer.setMessageModel(MessageModel.CLUSTERING);
        consumer.setConsumeThreadMax(10);

        // 订阅指定主题的消息
        consumer.subscribe("TopicTest", "*");

        // 设置从最近的地方开始消费
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

        // 消息监听器
        consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.printf("Receive new message: %s%n", new String(msg.getBody()));
            }
            return ConsumeOrderlyStatus.SUCCESS;
        });

        // 启动消费者
        consumer.start();

        // 等待一段时间以保持消费者运行
        TimeUnit.SECONDS.sleep(30);
    }
}

消费模式详解

RocketMQ提供了多种消息消费模式，包括顺序消费、集群消费等。以下是这些模式的解释和示例代码：

顺序消费：确保消息的顺序性。

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;

public class OrderlyConsumerExample {
  public static void main(String[] args) throws Exception {
      // 创建消费者实例
      DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
      consumer.setNamesrvAddr("localhost:9876");

      // 配置顺序消费
      consumer.setMessageModel(MessageModel.BROADCASTING);

      // 订阅指定主题的消息
      consumer.subscribe("TopicTest", "*");

      // 设置从最近的地方开始消费
      consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

      // 消息监听器
      consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {
          for (MessageExt msg : msgs) {
              System.out.printf("Receive new message: %s%n", new String(msg.getBody()));
          }
          return ConsumeOrderlyStatus.SUCCESS;
      });

      // 启动消费者
      consumer.start();
  }
}

集群消费：消息由多个消费者实例共同处理。

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;

public class ClusterConsumerExample {
  public static void main(String[] args) throws Exception {
      // 创建消费者实例
      DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
      consumer.setNamesrvAddr("localhost:9876");

      // 配置集群消费
      consumer.setMessageModel(MessageModel.CLUSTERING);

      // 订阅指定主题的消息
      consumer.subscribe("TopicTest", "*");

      // 设置从最近的地方开始消费
      consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

      // 消息监听器
      consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {
          for (MessageExt msg : msgs) {
              System.out.printf("Receive new message: %s%n", new String(msg.getBody()));
          }
          return ConsumeOrderlyStatus.SUCCESS;
      });

      // 启动消费者
      consumer.start();
  }
}

常见问题与解决方法

常见错误

Broker连接不上NameServer：检查NameServer是否正常启动，或者Broker是否正确配置了NameServer地址。
消息发送失败：检查网络连接是否正常，或者配置是否正确。
消息消费失败：检查消费者的配置是否正确，或者消息是否正确发送到Broker。

解决方案

Broker连接不上NameServer：

# 检查NameServer的日志
tail -f logs/rocketmq-logs/namesrv.log

消息发送失败：

# 检查Broker的日志
tail -f logs/rocketmq-logs/broker.log

消息消费失败：

// 检查消费者的配置是否正确
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

注意事项

消息积压处理：当消息积压时，可以适当增加消费者数量或者调整消费者的消费速率。
消息重复处理：RocketMQ支持消息重试机制，可以设置消息的最大重试次数，避免消息丢失。
消息过滤：可以通过设置过滤规则，只消费特定主题或标签的消息。
监控与报警：实时监控RocketMQ的运行状态，设置合适的报警规则，及时发现和处理问题。

通过以上介绍和示例代码，您应该对RocketMQ的基本用法有了初步的了解。后续可以进一步深入学习RocketMQ的各种高级特性和最佳实践。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

UYOU

手记
篇

粉丝

86

获赞与收藏

459

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 30809 345

网络编程入门教程

20个小节 12721 239

Pandas 入门教程

25个小节 18600 342

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空