为了账号安全，请及时绑定邮箱和手机立即绑定
首页 手记 RocketMQ入门指南：从零开始搭建与使用

RocketMQ入门指南：从零开始搭建与使用

标签：
中间件
概述

RocketMQ是由阿里巴巴开源的一款分布式消息中间件，提供了高可用性、高可靠性和高吞吐量的消息传递功能。RocketMQ广泛应用于各种大规模分布式系统中，帮助实现异步通信、流量削峰填谷和可靠消息传输。

RocketMQ简介
RocketMQ是什么

RocketMQ是由阿里巴巴开源的一款分布式消息中间件，它实现了高可用性、高可靠性和高性能的消息传递。RocketMQ提供了一套完整的消息发布和订阅机制，可以满足各种应用在大规模分布式系统中的消息通信需求。RocketMQ在阿里巴巴内部经历了多年的发展和考验，被广泛应用于数千个业务场景。

RocketMQ的特点

RocketMQ具有以下特点：

  • 高可用性：RocketMQ通过集群部署，提供强一致性的消息传输，可以轻松实现系统级、服务级的容错。
  • 高可靠性：RocketMQ保证消息不丢失，支持事务消息，确保消息的可靠传递。
  • 高吞吐量：RocketMQ支持每秒数百万的消息发送和接收，适用于高负载的业务场景。
  • 灵活的消息路由：RocketMQ支持多种路由策略，可以灵活地根据业务需求调整消息的路由。
  • 消息过滤：RocketMQ支持基于Topic和Tag的过滤机制，可以实现消息的精细化管理。
  • 集群部署：RocketMQ支持分布式部署，可以方便地扩展集群规模以应对大规模的消息处理需求。
RocketMQ的应用场景

RocketMQ可以应用在多种场景中，包括但不限于：

  • 异步解耦：RocketMQ可以帮助应用解耦，实现异步通信，例如订单系统与支付系统之间的异步通信。
  • 流量削峰填谷：RocketMQ可以实现流量削峰填谷，确保高并发场景下的系统稳定和资源均衡。
  • 可靠消息传输：RocketMQ支持事务消息，确保消息在分布式系统中的可靠传输。
  • 系统容错：RocketMQ可以实现应用级别的容错，确保在系统出现故障时消息不会丢失。
  • 数据同步：RocketMQ可以应用于数据同步场景，例如数据库同步、缓存同步等。
  • 日志收集与处理：RocketMQ可以用于实时日志收集与处理，确保数据的实时性和准确性。
RocketMQ环境搭建
准备工作

在安装RocketMQ之前，需要确保满足以下准备工作：

  • 安装Java环境：RocketMQ基于Java开发，需要确保安装了JDK 1.8及以上版本。
  • 安装操作系统：RocketMQ支持在多种操作系统上运行，包括Linux、Windows等。
  • 下载RocketMQ：可以从RocketMQ官方网站下载最新版本的RocketMQ。
安装Java环境

在安装Java环境时，需要确保Java环境已正确配置。以下是安装Java环境的步骤：

  1. 访问Oracle官网下载JDK 1.8及以上版本的安装包。
  2. 执行下载的安装包，按照安装向导完成安装。
  3. 配置环境变量：
    • 在终端（Windows系统为cmd）中输入 java -version 检查Java是否安装成功。
    • 编辑环境变量配置文件，添加Java的安装路径到环境变量中。
    • 例如，在Linux或macOS中，可以在.bashrc文件中添加以下内容： 
      export JAVA_HOME=/path/to/java
export PATH=$JAVA_HOME/bin:$PATH
    • 在Windows中，可以在系统环境变量中添加JAVA_HOME和Path：
      • 打开“系统属性” -> “高级系统设置” -> “环境变量”，在“系统变量”中添加JAVA_HOME，值为Java的安装路径。
      • 在“系统变量”中找到Path，编辑并添加%JAVA_HOME%\bin。
    • 重启终端后，再次使用java -version命令检查Java环境变量是否配置成功。
下载并安装RocketMQ
  1. 访问RocketMQ官网下载页面，下载稳定版本的RocketMQ。
  2. 解压下载的压缩包： 
    tar -zxvf rocketmq-all-x.y.z.tar.gz
cd rocketmq-all-x.y.z
  3. 在conf目录下修改配置文件，根据需要调整Broker的配置。例如，修改broker-a.properties文件： 
    # Broker名称
brokerName=broker-a
# Broker IP地址
brokerIP1=127.0.0.1
# Broker端口
brokerListenPort=10911
# NameServer地址
namesrvAddr=localhost:9876
  4. 启动NameServer和Broker：
    • 启动NameServer： 
      nohup sh bin/mqnamesrv &
    • 启动Broker： 
      nohup sh bin/mqbroker -n localhost:9876 &
  5. 使用RocketMQ提供的脚本检查服务是否启动成功： 
    sh bin/mqadmin clusterList default
Windows环境下安装RocketMQ
  1. 访问RocketMQ官网下载页面，下载稳定版本的RocketMQ。
  2. 解压下载的压缩包： 
    tar -zxvf rocketmq-all-x.y.z.tar.gz
cd rocketmq-all-x.y.z
  3. 在conf目录下修改配置文件，根据需要调整Broker的配置。例如，修改broker-a.properties文件： 
    # Broker名称
brokerName=broker-a
# Broker IP地址
brokerIP1=127.0.0.1
# Broker端口
brokerListenPort=10911
# NameServer地址
namesrvAddr=localhost:9876
  4. 启动NameServer和Broker：
    • 启动NameServer： 
      nohup sh bin/mqnamesrv.bat &
    • 启动Broker： 
      nohup sh bin/mqbroker.bat -n localhost:9876 &
  5. 使用RocketMQ提供的脚本检查服务是否启动成功： 
    sh bin/mqadmin clusterList default
RocketMQ快速上手
创建NameServer和Broker

在RocketMQ中，NameServer负责管理Broker的信息，而Broker则负责消息的发送与接收。以下是创建NameServer和Broker的步骤：

  1. 启动NameServer： 
    nohup sh bin/mqnamesrv &
  2. 启动Broker： 
    nohup sh bin/mqbroker -n localhost:9876 &
  3. 使用命令检查NameServer和Broker是否启动成功： 
    sh bin/mqadmin clusterList default
发送消息

发送消息是RocketMQ的核心功能之一，以下是发送消息的步骤：

  1. 创建Producer实例： 
    DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
  2. 启动Producer： 
    producer.start();
  3. 创建消息并发送： 
    Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
SendResult sendResult = producer.send(msg);
System.out.println(sendResult);
  4. 关闭Producer： 
    producer.shutdown();
接收消息

接收消息是实现消息消费的关键步骤，以下是接收消息的步骤：

  1. 创建Consumer实例： 
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
  2. 订阅指定的Topic和Tag： 
    consumer.subscribe("TopicTest", "TagA");
  3. 注册消息处理函数： 
    consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
   for (Message msg : msgs) {
       System.out.printf("Received message %s from topic %s, queueId=%s, queueOffset=%s, storeSize=%s, bornHost=%s, bornTimestamp=%s, storeHost=%s, storeTimestamp=%s, sysFlag=%s, msgId=%s, body=%s%n",
           msg.getMsgID(), msg.getTopic(), msg.getQueueId(), msg.getQueueOffset(), msg.getStoreSize(), msg.getBornHost(), msg.getBornTimestamp(), msg.getStoreHost(), msg.getStoreTimestamp(), msg.getSysFlag(), msg.getMsgID(), new String(msg.getBody()));
   }
   return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
  4. 启动Consumer： 
    consumer.start();
常见错误排查

在使用RocketMQ过程中，可能会遇到以下常见错误：

  • 服务未启动：请检查NameServer和Broker是否已正确启动，使用sh bin/mqadmin clusterList default命令查看集群状态。
  • 网络连接问题：请检查网络连接是否正常，确保NameServer和Broker的端口配置正确。
  • 配置文件错误：请检查配置文件是否正确，确保Broker和NameServer的配置一致。
  • 消息路由错误：请检查消息路由是否正确配置，确保Topic和Tag的匹配规则正确。
  • 消息发送失败：请检查发送方代码是否正确，确保消息的Topic和Tag与接收方一致。
  • 消息接收失败：请检查接收方代码是否正确，确保消息处理函数的实现符合预期。
RocketMQ核心概念详解
Topic与Tag

在RocketMQ中，Topic是消息分类的基本单元，类似于数据库中的表。每个消息必须属于一个Topic，通过Topic可以实现消息的分类和管理。Tag用于进一步细化消息的分类，类似于数据库中的列。Tag可以实现细粒度的消息过滤和处理。

示例代码：

// 发送消息到TopicTest，Tag为TagA
Message message = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
producer.send(message);

// 订阅TopicTest，Tag为TagA
consumer.subscribe("TopicTest", "TagA");
Producer与Consumer

Producer是消息发送方，负责将消息发送到指定的Topic和Tag；Consumer是消息接收方，负责从指定的Topic和Tag中接收消息。Producer和Consumer通常部署在不同的进程中，通过消息中间件实现异步通信。

示例代码：

// 创建Producer实例并启动
DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.start();

// 发送消息到TopicTest
Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
SendResult sendResult = producer.send(msg);

// 创建Consumer实例并订阅TopicTest，TagA
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("TopicTest", "TagA");

// 注册消息处理函数
consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
    for (Message msg : msgs) {
        System.out.printf("Received message %s from topic %s, queueId=%s, queueOffset=%s, storeSize=%s, bornHost=%s, bornTimestamp=%s, storeHost=%s, storeTimestamp=%s, sysFlag=%s, msgId=%s, body=%s%n",
            msg.getMsgID(), msg.getTopic(), msg.getQueueId(), msg.getQueueOffset(), msg.getStoreSize(), msg.getBornHost(), msg.getBornTimestamp(), msg.getStoreHost(), msg.getStoreTimestamp(), msg.getSysFlag(), msg.getMsgID(), new String(msg.getBody()));
    }
    return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});

// 启动Consumer
consumer.start();
消息模型与消息路由

RocketMQ中的消息模型主要分为三种：顺序消息、定时消息和事务消息。消息路由则负责将消息从发送方传递到接收方，RocketMQ支持多种路由策略，可以根据业务需求灵活配置。

示例代码：

// 发送顺序消息
Message msg = new Message("TopicTest", "TagA", "OrderID1ibliography188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
msg.setProperties(MessageQueuemq.WAITING_PROPERTY, "true");
SendResult sendResult = producer.send(msg);

// 发送定时消息
Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
msg.setDelayTimeLevel(3); // 设置延迟等级
SendResult sendResult = producer.send(msg);

// 发送事务消息
Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
msg.setProperties(MessageQueuemq.TRANSACTION_ID_PROPERTY, "TransactionID123");
SendResult sendResult = producer.send(msg);
RocketMQ实战案例
实战案例一：简单消息发布与订阅

在本案例中，我们将实现一个简单的消息发布与订阅功能。Producer将消息发送到指定的Topic，Consumer订阅相应的Topic并接收消息。

示例代码：

// 创建Producer实例并启动
DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.start();

// 发送消息到TopicTest
Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
producer.send(msg);

// 创建Consumer实例并订阅TopicTest
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("TopicTest", "TagA");

// 注册消息处理函数
consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
    for (Message msg : msgs) {
        System.out.printf("Received message %s from topic %s, queueId=%s, queueOffset=%s, storeSize=%s, bornHost=%s, bornTimestamp=%s, storeHost=%s, storeTimestamp=%s, sysFlag=%s, msgId=%s, body=%s%n",
            msg.getMsgID(), msg.getTopic(), msg.getQueueId(), msg.getQueueOffset(), msg.getStoreSize(), msg.getBornHost(), msg.getBornTimestamp(), msg.getStoreHost(), msg.getStoreTimestamp(), msg.getSysFlag(), msg.getMsgID(), new String(msg.getBody()));
    }
    return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});

// 启动Consumer
consumer.start();
实战案例二：使用RocketMQ实现异步通信

在本案例中，我们将使用RocketMQ实现一个简单的异步通信功能。两个服务通过消息队列实现异步通信，提高系统的解耦性和灵活性。

示例代码：

// 创建Producer实例并启动
DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
producer.setNamesrvAddr("localhost:9876");
producer.start();

// 发送消息到TopicAsync
Message msg = new Message("TopicAsync", "TagAsync", "MessageContent".getBytes(RemotingHelper.DEFAULT_CHARSET));
producer.send(msg);

// 创建Consumer实例并订阅TopicAsync
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("TopicAsync", "TagAsync");

// 注册消息处理函数
consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
    for (Message msg : msgs) {
        System.out.printf("Received message %s from topic %s, queueId=%s, queueOffset=%s, storeSize=%s, bornHost=%s, bornTimestamp=%s, storeHost=%s, storeTimestamp=%s, sysFlag=%s, msgId=%s, body=%s%n",
            msg.getMsgID(), msg.getTopic(), msg.getQueueId(), msg.getQueueOffset(), msg.getStoreSize(), msg.getBornHost(), msg.getBornTimestamp(), msg.getStoreHost(), msg.getStoreTimestamp(), msg.getSysFlag(), msg.getMsgID(), new String(msg.getBody()));
    }
    return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});

// 启动Consumer
consumer.start();
RocketMQ配置优化与监控
配置文件详解

RocketMQ的配置文件主要分为两部分：NameServer配置文件和Broker配置文件。

NameServer配置文件

NameServer配置文件位于conf/目录下，主要配置项包括：

  • namesrv.properties：NameServer的配置文件，主要包含NameServer的端口等配置。 
    # NameServer的端口
serverPort=9876

Broker配置文件

Broker配置文件位于conf/目录下，主要配置项包括：

  • broker-a.properties：Broker的配置文件，主要包含Broker的名称、IP地址、端口等配置。 
    # Broker名称
brokerName=broker-a
# Broker IP地址
brokerIP1=127.0.0.1
# Broker端口
brokerListenPort=10911
# NameServer地址
namesrvAddr=localhost:9876
RocketMQ监控与报警配置

RocketMQ提供了丰富的监控和报警功能，可以帮助用户实时监控RocketMQ集群的状态。以下是监控与报警的基本配置步骤：

  1. 启动RocketMQ的监控插件： 
    sh bin/mqadmin mQladmin console
  2. 配置报警规则：
    • 在conf目录下创建一个报警脚本，例如alert.sh。
    • 编写脚本，实现监控数据异常时发送报警邮件或短信的功能。
    • 在RocketMQ的配置文件中调用报警脚本，实现自动报警。 
      # alert.sh
#!/bin/bash
# 如果监控数据异常，发送报警邮件
if [ $1 -gt 100 ]; then
echo "Alarm: $1" | mail -s "RocketMQ Alarm" admin@example.com
fi
性能优化技巧

RocketMQ提供了多种性能优化技巧，以下是一些常见的优化方法：

  1. 合理配置Broker数量：根据业务需求合理配置Broker数量，避免过多Broker导致资源浪费。
  2. 调整消息缓存大小：根据消息发送频率和接收频率调整消息缓存大小，提高消息处理效率。
  3. 优化消息路由配置：根据业务场景优化消息路由配置，提高消息路由效率。
  4. 使用消息过滤功能：通过Topic和Tag过滤消息，减少不必要的消息处理。
  5. 监控和调优：定期监控RocketMQ集群的状态，根据监控数据进行调优。

示例代码：

// 调整消息缓存大小
Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello World".getBytes(RemotingHelper.DEFAULT_CHARSET));
msg.setProperties(MessageQueuemq.MAX_BODY_SIZE_PROPERTY, "1024");
producer.send(msg);

总结：
RocketMQ是一款功能强大的分布式消息中间件，通过合理的配置和使用，可以实现高效的消息传输和系统解耦。希望本文能帮助读者快速入门RocketMQ，并在实际开发中灵活应用RocketMQ的相关功能。

点击查看更多内容
发表于 2024.11.26 15:10， 共 83 人浏览

本文原创发布于慕课网 ，转载请注明出处，谢谢合作

举报
为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

作者其他优质文章

正在加载中

繁星点点滴滴

手记
篇
粉丝
67
获赞与收藏
333

关注作者，订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习，写下你的评论
感谢您的支持，我会继续努力的～
扫码打赏，你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫，即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消