首页手记 Kafka学习：从入门到初级应用教程

Kafka学习：从入门到初级应用教程

标签：

大数据

概述

本文全面介绍了Kafka学习的入门知识，从基本概念到安装配置，涵盖Producer与Consumer的操作实践、Topic与Partition的管理以及集群的监控与管理工具。文章还提供了Kafka与其他系统集成的案例分享，帮助读者深入了解Kafka应用。

Kafka学习：从入门到初级应用教程

Kafka简介

Kafka是什么

Apache Kafka 是一个分布式的、可扩展的、高吞吐量的实时流处理平台。它最初由LinkedIn公司开发，后来成为 Apache 软件基金会的一部分。Kafka 提供了一个分布式的发布-订阅模型，使得大量数据可以通过高效的、容错的、实时的方式进行传输。

Kafka的主要特点

高吞吐量：能够处理每秒数千条消息。
容错性：通过复制消息到多个服务器上，实现数据的冗余存储，确保数据不会丢失。
持久性：消息可以被持久化到磁盘，支持长期存储。
可扩展性：可以水平扩展，支持动态添加或移除节点。
灵活性：支持多种编程语言的客户端。

Kafka的应用场景

日志聚合：将来自多个服务器的日志消息汇集到一个中心位置，便于监控和分析。
网站活动跟踪：跟踪用户行为，如点击流数据，用于实时分析。
流处理与转换：如实时统计分析、数据清洗、异常检测等。
数据集成：在不同系统之间传输数据，实现数据的整合。
事件源：构建基于事件驱动的应用程序，如微服务中的事件驱动架构。

Kafka安装与配置

安装环境准备

安装 Kafka 需要以下环境：

Java 8 或更高版本
Zookeeper（Kafka 依赖 Zookeeper 进行协调）

Kafka的下载与安装

下载 Kafka：
从 Kafka 官方网站下载最新版本的 Kafka。

wget https://downloads.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
tar -xzf kafka_2.13-3.1.0.tgz
cd kafka_2.13-3.1.0

配置 Zookeeper：
在 $KAFKA_HOME/config/zookeeper.properties 文件中设置 Zookeeper 配置。
```
dataDir=/var/lib/zookeeper
clientPort=2181
```

启动 Zookeeper：
启动 Zookeeper 服务。

bin/zookeeper-server-start.sh config/zookeeper.properties

配置 Kafka：
修改 $KAFKA_HOME/config/server.properties 文件，配置 Kafka 服务器。
```
broker.id=0
listeners=PLAINTEXT://localhost:9092
log.dirs=/tmp/kafka-logs
```

启动 Kafka：
启动 Kafka 服务器。

bin/kafka-server-start.sh config/server.properties

Kafka的基本配置

broker.id：每个 Kafka Broker 的唯一标识符。
listeners：监听地址和端口。
log.dirs：日志存储目录。

Kafka核心概念

Producer与Consumer

Producer：消息发送者，负责将消息发送到 Kafka Topic。
Consumer：消息接收者，负责从 Kafka Topic 中读取消息。

Producer

配置 Producer：
配置 Producer 参数，如消息发送超时时间、重试次数等。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

发送消息：
使用 Producer 发送消息到指定的 Topic。

producer.send(new ProducerRecord<String, String>("test-topic", "key", "value"));

Consumer

配置 Consumer：
配置 Consumer 参数，如 Consumer 组 ID、消息解析器等。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

订阅 Topic：
订阅一个或多个 Topic。

consumer.subscribe(Arrays.asList("test-topic"));

读取消息：
消费者周期性地拉取消息。

while (true) {
   ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord<String, String> record : records) {
       System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
   }
}

Topic与Partition

Topic：消息主题，可以看作消息的类别或名称。
Partition：每个 Topic 可以分成多个 Partition，每个 Partition 保存着 Topic 的部分消息。

Topic

创建 Topic：
使用命令行创建一个新的 Topic。

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

查看 Topic 列表：
查看当前所有 Topic。

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

Partition

分配 Partition：
Partition 会均匀分布在 Kafka 集群中的各个 Broker 上，以实现负载均衡。

Broker与Cluster

Broker：Kafka 集群中的一个节点，负责存储 Topic 的数据。
Cluster：由多个 Broker 组成的 Kafka 集群。

Broker

增加 Broker：
启动新的 Broker 节点，通过修改 Broker 配置文件，确保每个 Broker 有唯一的 broker.id。
```
broker.id=1
listeners=PLAINTEXT://localhost:9093
log.dirs=/tmp/kafka-logs-1
```
配置 Broker：
配置每个 Broker 的参数，如监听地址、日志存储目录等。

Cluster

扩展集群：
在现有集群中增加新的 Broker 节点，实现集群的水平扩展。
```
bin/kafka-server-start.sh config/server-2.properties
```

集群健康检查：
使用命令行工具检查集群状态。

bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

Kafka操作实践

创建与管理Topic

创建 Topic：
使用命令行工具创建一个新的 Topic。

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

删除 Topic：
删除一个 Topic。

bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092

发送与接收消息

发送消息：
使用 Java API 发送消息到 Topic。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

producer.send(new ProducerRecord<>("test-topic", "key", "value"));
producer.flush();
producer.close();

接收消息：
使用 Java API 接收消息。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

consumer.subscribe(Arrays.asList("test-topic"));
while (true) {
   ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord<String, String> record : records) {
       System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
   }
}

消费者组操作

加入消费者组：
消费者加入指定的消费者组。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

consumer.subscribe(Arrays.asList("test-topic"));

重新平衡：
当消费者组中消费者数量发生变化时，会发生重新平衡。
```
consumer.poll(Duration.ofMillis(100));
consumer.close();
```

Kafka常见问题与调试

常见错误排查

未连接到 Broker：检查 Broker 地址配置是否正确。
Topic 不存在：确保 Topic 已经被创建。
消费者组未找到：确保消费者组 ID 配置正确。

未连接到 Broker

检查配置：
确保 bootstrap.servers 配置正确。
```
props.put("bootstrap.servers", "localhost:9092");
```
检查网络：
确保网络连接正常，Broker 服务已经启动。

Topic 不存在

创建 Topic：
使用命令行创建 Topic。

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

消费者组未找到

检查消费者组 ID：
确保 group.id 配置正确。
```
props.put("group.id", "test-group");
```

日志分析

查看 Broker 日志：
查看 Broker 的日志文件，通常位于 config/server.log。
```
tail -f /path/to/server.log
```
查看 Consumer 日志：
查看 Consumer 的日志文件，通常位于 config/consumer.log。
```
tail -f /path/to/consumer.log
```

性能优化

增加 Broker：
增加 Broker 节点，提高集群吞吐量。
```
bin/kafka-server-start.sh config/server-2.properties
```
调整参数：
调整 Kafka 的参数，如 batch.size 和 linger.ms。
```
batch.size=16384
linger.ms=5
```

Kafka进阶入门

Kafka与其他系统集成

与数据库集成：使用 Kafka Connect 将数据库变更事件发送到 Kafka。
与消息队列集成：使用 Kafka Connect 将消息队列中的消息发送到 Kafka。

与数据库集成

安装 Kafka Connect：
安装 Kafka Connect 以支持数据库连接。

cp connect-standalone.properties connect-jdbc-sink.properties $KAFKA_HOME/config/

配置 Kafka Connect：
配置 Kafka Connect 以连接数据库。

bootstrap.servers=localhost:9092
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
internal.kafka.bootstrap.servers=localhost:9092

启动 Kafka Connect：
启动 Kafka Connect。

bin/connect-standalone.sh config/connect-standalone.properties config/connect-jdbc-sink.properties

与消息队列集成

安装 Kafka Connect：
安装 Kafka Connect 以支持消息队列连接。

cp connect-standalone.properties connect-rabbitmq-source.properties $KAFKA_HOME/config/

配置 Kafka Connect：
配置 Kafka Connect 以连接消息队列。

bootstrap.servers=localhost:9092
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
internal.kafka.bootstrap.servers=localhost:9092

启动 Kafka Connect：
启动 Kafka Connect。

bin/connect-standalone.sh config/connect-standalone.properties config/connect-rabbitmq-source.properties

监控与管理工具介绍

Kafka Manager：一个 Web 界面的管理工具，用于监控和管理 Kafka 集群。
Confluent Control Center：一个更高级的监控工具，提供更详细的监控和警报功能。

Kafka Manager

安装 Kafka Manager：
安装 Kafka Manager。
```
sbt clean compile assembly
```

配置 Kafka Manager：
配置 Kafka Manager 的配置文件。

kafka.manager.zkConnection=127.0.0.1:2181
kafka.manager.kafkaTopicsPollInterval=30000

启动 Kafka Manager：
启动 Kafka Manager。

target/universal/stage/bin/kafka-manager -Dconfig.file=conf/application-reference.conf

Confluent Control Center

安装 Confluent Control Center：
安装 Confluent Control Center。
```
confluent download
confluent start control-center
```

配置 Confluent Control Center：
配置 Confluent Control Center 的配置文件。

confluent.controlcenter.server.zk-connect=localhost:2181
confluent.controlcenter.server.bootstrap.servers=localhost:9092

启动 Confluent Control Center：
启动 Confluent Control Center。
```
confluent start control-center
```

案例分享与实战演练

实时日志分析
使用 Kafka 实现实时日志分析。

生产者代码：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

producer.send(new ProducerRecord<>("log-topic", "key", "value"));
producer.flush();
producer.close();

消费者代码：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "log-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

consumer.subscribe(Arrays.asList("log-topic"));
while (true) {
   ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord<String, String> record : records) {
       System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
   }
}

事件驱动架构
使用 Kafka 构建基于事件驱动的微服务架构。

生产者代码：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

producer.send(new ProducerRecord<>("event-topic", "key", "value"));
producer.flush();
producer.close();

消费者代码：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "event-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

consumer.subscribe(Arrays.asList("event-topic"));
while (true) {
   ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord<String, String> record : records) {
       System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
   }
}

总结

通过本教程的学习，您将深入了解 Kafka 的基本概念、安装与配置、核心概念、操作实践、常见问题与调试，以及进阶应用。Kafka 是一个强大的工具，适用于大规模实时数据处理。希望您能够通过本教程掌握 Kafka 的使用方法，并将其应用到实际项目中。如果您有任何疑问或需要进一步的帮助，欢迎在社区或论坛寻求支持。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

慕姐8265434

手记
篇

粉丝

222

获赞与收藏

1065

关注作者，订阅最新文章

阅读免费教程

后端通用面试教程

41个小节 30583 343

网络编程入门教程

20个小节 12561 237

Pandas 入门教程

25个小节 18499 337

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

Kafka学习：从入门到初级应用教程

Kafka是什么

Kafka的主要特点

Kafka的应用场景

安装环境准备

Kafka的下载与安装

Kafka的基本配置

Producer与Consumer

Producer

Consumer

Topic与Partition

Topic

Partition

Broker与Cluster

Broker

Cluster

创建与管理Topic

发送与接收消息

消费者组操作

常见错误排查

未连接到 Broker

Topic 不存在

消费者组未找到

日志分析

性能优化

Kafka与其他系统集成

与数据库集成

与消息队列集成

监控与管理工具介绍

Kafka Manager

Confluent Control Center

案例分享与实战演练

阅读免费教程