首页手记 Kafka入门指南：快速上手Kafka基础操作

Kafka入门指南：快速上手Kafka基础操作

标签：

大数据 Spark

本文提供了全面的 Kafka 入门指南，涵盖了 Kafka 的基本概念、安装配置、核心组件以及基本操作。读者将学习如何安装和配置 Kafka，并了解其在实时数据处理中的应用场景。文章还详细介绍了 Kafka 的主题、生产者、消费者等核心概念，以及如何进行消息的发送和消费。

Kafka入门指南：快速上手Kafka基础操作

Kafka简介

Kafka 是一个高吞吐量、分布式、基于发布-订阅模式的消息系统。它最初由 LinkedIn 公司开发，后成为 Apache 顶级项目。Kafka 提供了可水平扩展的订阅消息系统，可以支持多个数据订阅者。Kafka 是一个用于构建实时数据管道和流应用的分布式流处理平台。

Kafka是什么

Kafka 是一个分布式的流处理平台，它允许用户发布和订阅消息流。Kafka 是用 Scala 和 Java 编写，运行在 Java 虚拟机上。Kafka 被设计用于处理大量的数据流，包括实时数据流。Kafka 的设计目标是在分布式环境中提供高性能和高可用性。

Kafka的特点

Kafka 具有以下特点：

高吞吐量：Kafka 被设计为可以处理大量的数据流，每秒可以处理数百万的消息。
持久性：Kafka 可以将消息持久化到磁盘，因此即使在系统崩溃的情况下也能保证消息不丢失。
分布式：Kafka 是完全分布式系统，可以扩展到成百上千台机器。
可扩展：Kafka 可以通过增加更多的机器来扩展，实现线性可扩展。
容错性：Kafka 通过复制消息到多个服务器来实现容错。
可分区：Kafka 支持消息分区，允许在多个消费者之间分配消息。

Kafka的应用场景

Kafka 主要应用于以下几个场景：

日志聚合：Kafka 可以用来收集不同服务器的系统日志，然后将它们转发到中央服务器进行存储和分析。例如，一个日志聚合系统可以收集来自多个服务器的日志数据，通过 Kafka 将这些数据发送到一个中心化的日志分析系统。
实时流处理：Kafka 可以用来处理实时数据流，例如实时处理股票市场数据，或者实时处理用户行为数据。例如，一个股票交易系统可以使用 Kafka 来实时处理交易所的市场数据，通过 Kafka 将这些数据发送到实时分析系统。
数据管道：Kafka 可以用来构建数据管道，将数据从一个系统传输到另一个系统。例如，一个数据集成系统可以使用 Kafka 作为中间层来整合不同来源的数据。
活动跟踪：Kafka 可以用来跟踪用户在网站上的行为，例如点击流和页面访问数据。例如，一个电商网站可以使用 Kafka 来跟踪用户的购买行为和页面浏览行为，通过 Kafka 将这些数据发送到实时分析系统。

Kafka安装与配置

安装 Kafka 是搭建 Kafka 集群的首要步骤，以下将详细介绍如何在 Linux 系统上安装 Kafka。

Kafka安装步骤

下载 Kafka

Kafka 的安装包可以从 Apache 官方网站下载。Kafka 的安装包是一个 tar.gz 文件，下载完成后解压缩。可以在命令行中使用 wget 命令下载 Kafka：
```
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
```
解压缩

使用 tar 命令解压缩下载的 Kafka 包：
```
tar -xzf kafka_2.13-2.8.0.tgz
```
修改环境变量

需要将 Kafka 的 bin 目录添加到 PATH 环境变量中，以便可以通过命令行直接运行 Kafka 命令。编辑 ~/.bashrc 或 ~/.zshrc 文件，添加以下内容：
```
export KAFKA_HOME=/path/to/kafka
export PATH=$PATH:$KAFKA_HOME/bin
```
启动 Kafka

进入 Kafka 目录，启动 Kafka 服务：
```
cd kafka_2.13-2.8.0
bin/zookeeper-server-start.sh config/zookeeper.properties &
bin/kafka-server-start.sh config/server.properties &
```
Kafka 依赖于 Zookeeper 来存储和同步 Kafka 的元数据，因此在启动 Kafka 之前需要先启动 Zookeeper。

Kafka配置文件详解

Kafka 的配置文件位于 config 目录下，主要有以下几个配置文件：

zookeeper.properties
- dataDir：Zookeeper 数据目录。
- clientPort：Zookeeper 服务端口，默认是 2181。
- maxClientCnxns：允许的最大客户端连接数。
server.properties
- broker.id：当前 Kafka Broker 的唯一标识。
- log.dirs：Kafka 数据存储目录。
- zookeeper.connect：Zookeeper 连接字符串。
- port：Kafka 服务端口，默认是 9092。
- num.network.threads：网络线程数。
- num.io.threads：IO 线程数。
- socket.send.buffer.bytes：发送缓冲区大小。
- socket.receive.buffer.bytes：接收缓冲区大小。
- log.retention.hours：日志保留时间。
- log.retention.bytes：日志保留大小。
- log.segment.bytes：日志段大小。
- log.flush.interval.messages：日志刷新间隔。
- log.flush.interval.ms：日志刷新时间间隔。
- auto.create.topics.enable：是否自动创建主题。
- zookeeper.connection.timeout.ms：Zookeeper 连接超时时间。
- advertised.host.name：发布到 Zookeeper 的 Kafka Broker 主机名。
- advertised.port：发布到 Zookeeper 的 Kafka Broker 端口。
- listeners：Kafka 监听的 IP 地址和端口。
- offsets.topic.replication.factor：偏移量主题的复制因子。
- transaction.state.log.replication.factor：事务状态日志的复制因子。
- transaction.state.log.min.isr：事务状态日志的最小 ISR。
- auto.offset.reset：当没有偏移量时的重置策略。

Kafka环境搭建注意事项

Zookeeper 的依赖性：Kafka 依赖于 Zookeeper 来存储和同步 Kafka 的元数据，因此在启动 Kafka 之前需要先启动 Zookeeper。
端口配置：确保 Kafka 服务端口和 Zookeeper 服务端口没有被占用。
网络配置：确保所有节点之间网络畅通，可以互相访问。
环境变量：将 Kafka 的 bin 目录添加到 PATH 环境变量中，以便可以通过命令行直接运行 Kafka 命令。
数据存储：确保 Kafka 的数据存储目录有足够的磁盘空间。

Kafka核心概念

Kafka 的核心概念包括主题、生产者、消费者、分区和副本。

主题（Topic）

主题（Topic）是 Kafka 中数据的基本分类，它是 Kafka 中消息的逻辑集合。当一个生产者发送一条消息到一个特定的 Topic 时，Kafka 会将这条消息存储在 Topic 中。Topic 可以有多个分区（Partition），每个分区都是一个有序的不可变的消息序列。例如，可以通过 Kafka API 创建一个名为 test 的主题：

import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.NewTopic;
import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.CreateTopicsResult;

import java.util.Collections;
import java.util.Properties;

public class TopicCreator {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        AdminClient client = AdminClient.create(props);

        NewTopic newTopic = new NewTopic("test", 2, (short)1);
        CreateTopicsResult result = client.createTopics(Collections.singletonList(newTopic));

        try {
            result.all().get();
            System.out.println("Topic created successfully!");
        } catch (Exception e) {
            System.out.println("Failed to create topic.");
            e.printStackTrace();
        }
    }
}

生产者（Producer）

生产者（Producer）负责将数据发送到 Kafka 主题。生产者可以是任何能够发送消息到 Kafka 的应用。生产者会将消息发送到主题，Kafka 会将消息存储在主题的分区中。生产者可以选择指定消息发送到哪个分区，也可以让 Kafka 自动分配。例如，可以通过 Kafka API 发送一条消息到 test 主题：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.internals.DefaultPartitioner;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.util.Properties;

public class MessageProducer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, DefaultPartitioner.class.getName());

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        producer.send(new ProducerRecord<String, String>("test", "key", "value"));
        producer.flush();
        producer.close();
    }
}

消费者（Consumer）

消费者（Consumer）负责从 Kafka 主题中读取消息并进行处理。消费者可以是任何能够从 Kafka 读取消息并进行处理的应用。消费者可以有多个消费者订阅同一个主题，每个消费者可以订阅主题中的一个或多个分区。例如，可以通过 Kafka API 从 test 主题中消费消息：

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;

import java.util.Properties;
import java.util.Arrays;

public class MessageConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

分区（Partition）

分区（Partition）是 Kafka 中数据的基本存储单元。每个分区都是一个有序的不可变的消息序列。Kafka 保证每个分区中的消息是有序的，并且每个分区中的消息是唯一的。分区可以分布在多个服务器上，以实现数据的分布式存储。

副本（Replica）

副本（Replica）是 Kafka 中数据的备份。Kafka 通过在多个服务器上存储数据的多个副本来实现数据的容错性。Kafka 通过 ISR（In-Sync Replicas）机制来保证数据的一致性。ISR 是一组当前与 Leader 同步的副本，Kafka 只会将消息发送到 ISR 中的副本。如果某个副本长时间落后于 Leader，它将被踢出 ISR，直到它再次与 Leader 同步。

Kafka基本操作

Kafka 的基本操作包括创建主题、发送消息、消费消息、查看消息等。

创建主题

创建主题是使用 Kafka 的第一步。Kafka 的主题可以是预先创建的，也可以是动态创建的。以下是如何创建一个主题的步骤：

使用 Kafka 命令行工具

使用 kafka-topics.sh 命令来创建主题。这个命令需要指定主题名、分区数、副本数等参数。例如，创建一个名为 test 的主题，有 2 个分区和 1 个副本：
```
bin/kafka-topics.sh --create --topic test --partitions 2 --replication-factor 1 --bootstrap-server localhost:9092
```
配置文件自动创建

如果在 Kafka 的配置文件 server.properties 中设置了 auto.create.topics.enable=true，那么当生产者发送消息到一个不存在的主题时，Kafka 会自动创建这个主题。

使用 Kafka API 创建

可以使用 Kafka 的 Java API 来创建主题。以下是一个简单的示例代码，创建一个名为 test 的主题，有 2 个分区和 1 个副本：

import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.NewTopic;
import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.CreateTopicsResult;

import java.util.Collections;
import java.util.Properties;

public class TopicCreator {
   public static void main(String[] args) {
       Properties props = new Properties();
       props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

       AdminClient client = AdminClient.create(props);

       NewTopic newTopic = new NewTopic("test", 2, (short)1);
       CreateTopicsResult result = client.createTopics(Collections.singletonList(newTopic));

       try {
           result.all().get();
           System.out.println("Topic created successfully!");
       } catch (Exception e) {
           System.out.println("Failed to create topic.");
           e.printStackTrace();
       }
   }
}

发送消息

发送消息是生产者的主要职责。生产者可以发送任意类型的字符串或序列化的对象作为消息。以下是如何发送消息的步骤：

使用 Kafka 命令行工具

使用 kafka-console-producer.sh 命令来发送消息。这个命令需要指定主题名和 Kafka 服务器地址。例如，发送一条消息到 test 主题：
```
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
```
然后在命令行中输入消息，按回车键发送。

使用 Kafka API 发送

可以使用 Kafka 的 Java API 来发送消息。以下是一个简单的示例代码，发送一条消息到 test 主题：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.internals.DefaultPartitioner;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.util.Properties;

public class MessageProducer {
   public static void main(String[] args) {
       Properties props = new Properties();
       props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
       props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
       props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
       props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, DefaultPartitioner.class.getName());

       KafkaProducer<String, String> producer = new KafkaProducer<>(props);

       producer.send(new ProducerRecord<String, String>("test", "key", "value"));
       producer.flush();
       producer.close();
   }
}

消费消息

消费消息是消费者的主要职责。消费者可以订阅一个或多个主题，并从这些主题中读取消息。以下是如何消费消息的步骤：

使用 Kafka 命令行工具

使用 kafka-console-consumer.sh 命令来消费消息。这个命令需要指定主题名、Kafka 服务器地址和偏移量。例如，从 test 主题中消费消息：
```
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
```
命令中的 --from-beginning 参数表示从最早的消息开始消费。

使用 Kafka API 消费

可以使用 Kafka 的 Java API 来消费消息。以下是一个简单的示例代码，从 test 主题中消费消息：

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;

import java.util.Properties;
import java.util.Arrays;

public class MessageConsumer {
   public static void main(String[] args) {
       Properties props = new Properties();
       props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
       props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
       props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
       props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
       props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

       KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
       consumer.subscribe(Arrays.asList("test"));

       while (true) {
           ConsumerRecords<String, String> records = consumer.poll(100);
           for (ConsumerRecord<String, String> record : records) {
               System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
           }
       }
   }
}

消息查看与管理

Kafka 提供了多种命令行工具来查看和管理消息。以下是一些常用的命令：

查看主题信息

使用 kafka-topics.sh 命令查看主题信息：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

使用 --describe 参数查看主题的详细信息：

bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

查看消息

使用 kafka-console-consumer.sh 命令查看消息：

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

删除主题

使用 kafka-topics.sh 命令删除主题：

bin/kafka-topics.sh --delete --topic test --bootstrap-server localhost:9092

Kafka常用工具介绍

Kafka 提供了多种工具来帮助管理和监控 Kafka 集群。以下是一些常用的工具：

Kafka命令行工具

Kafka 提供了多种命令行工具来管理和操作 Kafka 集群：

kafka-topics.sh：管理主题，创建、删除、描述主题等。
kafka-console-producer.sh：发送消息到主题。
kafka-console-consumer.sh：从主题中消费消息。
kafka-consumer-groups.sh：管理消费者组，描述、删除、订阅等。

例如，使用 kafka-topics.sh 命令查看主题信息：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

使用 kafka-console-producer.sh 命令发送消息：

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

使用 kafka-console-consumer.sh 命令消费消息：

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

Kafka监控工具

Kafka 提供了多种监控工具来监控 Kafka 集群的运行状态：

kafka-run-class.sh：启动 Kafka 的监控工具 kafka-server-start.sh，这个脚本会启动 Kafka 的监控服务。
jmxtrans：JMX 增强工具，可以将 Kafka 的 JMX 指标转换为 JSON 格式，并发送到指定的目标。
MetricsServlet：Kafka 内置的监控工具，可以通过 HTTP 请求来获取 Kafka 的监控数据。

例如，启动 Kafka 的监控服务：

bin/kafka-server-start.sh config/server.properties

使用 jmxtrans 将 Kafka 的 JMX 指标转换为 JSON 格式：

jmxtrans -c jmxtrans.json -o file:///tmp/kafka_metrics.json

Kafka管理界面

Kafka 提供了多种管理界面来管理和操作 Kafka 集群：

Kafka Manager：一个开源的 Kafka 管理界面，可以查看 Kafka 集群的运行状态，管理主题和消费者组。
Confluent Control Center：Confluent 提供的 Kafka 管理界面，可以查看 Kafka 集群的运行状态，管理主题和消费者组，还可以进行实时数据流处理。
Kafka Eagle：一个开源的 Kafka 监控和管理工具，可以查看 Kafka 集群的运行状态，管理主题和消费者组。

例如，安装 Kafka Manager：

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
sbt assembly

启动 Kafka Manager：

bin/kafka-manager -Dconfig.file=conf/application.conf

安装 Confluent Control Center：

wget https://packages.confluent.io/deb/5.5/confluent-5.5.0-2.12-2.11-amd64.deb
sudo dpkg -i confluent-5.5.0-2.12-2.11-amd64.deb
confluent start

安装 Kafka Eagle：

wget https://github.com/lewuathe/kafka-eagle/releases/download/v1.4.0/kafka-eagle-1.4.0-linux.tar.gz
tar -xzf kafka-eagle-1.4.0-linux.tar.gz
cd kafka-eagle-1.4.0-linux
bin/eagle.sh start

以上是 Kafka 入门指南的全部内容，希望对您有所帮助。如果您想进一步深入学习 Kafka，可以参考 Apache Kafka 官方文档，或者在慕课网学习相关的 Kafka 课程。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

HUH函数

手记
篇

粉丝

66

获赞与收藏

315

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 30583 343

网络编程入门教程

20个小节 12561 237

Pandas 入门教程

25个小节 18499 337

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空