卡夫卡中没有匹配的侦听器错误的领导经纪人

Question

这个卡夫卡错误是什么意思？[2018-08-22 11:40:49,429] WARN [Consumer clientId=consumer-1, groupId=console-consumer-62114] 1 个分区有没有匹配监听器的领导代理，包括 [topicname-0] (org.apache. kafka.clients.NetworkClient)我在跑步时得到它：./kafka-console-consumer.sh --topic topicname --bootstrap-server localhost:9094在尝试阅读本主题时，我在 golang 程序中遇到了一些错误：2018/08/22 11:44:12 ReadOffsetWithRetryOnError conn 错误：< dial tcp :0: connect: connection refused > kafka0:9094 topic: 0代码片段：conn, err := kafka.DialLeader(context.Background(), "tcp", ip, getTopic(topic), 0)                 if err != nil {                     log.Println("ReadOffsetWithRetryOnError conn error: <", err, "> ", ip, " topic:", topic)                 }这很奇怪，因为在阅读不同主题时它同时工作正常。更多错误日志：/kafka-topics.sh --describe --zookeeper localhost:2181 --topic topicname Topic:indexBlock PartitionCount:1ReplicationFactor:1 Configs: Topic: topicname 分区: 0 Leader: -1 Replicas: 1002 Isr: 1002

Answer 1

[2018-08-22 11:40:49,429] WARN [Consumer clientId=consumer-1, groupId=console-consumer-62114] 1 个分区有没有匹配监听器的领导代理，包括 [topicname-0] (org.apache. kafka.clients.NetworkClient)

如果您尝试运行多个消费者并且 kafka 主题仅包含一个分区，也会发生此错误。通常一个消费者应该映射一个分区。如果您使用两个消费者，那么您应该在 kafka 主题中有 2 个分区。

Answer 2

就我而言，我在测试Kafka故障转移时遇到了这个错误。我放下了 1 Kafka，并希望将消息写入另一个 Kafka。

问题是主题replication-factor设置为 1，而我需要将其设置为 2。（2 个 Kafka 实例）

奖励：
查看创建主题的目录（在我的例子中是：kafka-logs-xx）Kafka，你就会明白为什么了:-)

Answer 3

我想我的问题是我运行了 2 个实例，没有为复制设置任何特殊的东西。（可能没有复制？）然后我删除了一个代理。一些主题停止工作。

Answer 4

我在 docker 容器中运行 Kafka 时遇到了这个问题。

以下解决方案有助于解决该问题。

@coldkreap正如这个答案的评论中提到的： https://stackoverflow.com/a/58067985/327862

kafka 代理信息在重新启动之间保留，因为 wurstmeister/kafka映像创建了一个名为“kafka”的卷。如果你运行 docker volume ls 你会看到一个 kafka 卷。删除该卷，您将能够重新创建主题等。

如果使用docker-compose，您可以运行以下命令来删除容器及其关联的卷：

docker-compose down -v

或者

docker-compose rm -sv

Answer 5

jumping_monkey 在检查目录方面的奖励很有帮助。对我来说，我正在使用Bitnami Kafka进行部署。在第一次部署时，我不在config掌舵值中。我想将保留时间更改为分钟，并设置为：

config: |-
  log.retention.minutes=10

这导致log.dirs目录从 切换/bitnami/kafka/data到/tmp/logs.

本质上，数据存储在 Kafka 代理上的位置导致了错误的出现。

Answer 6

就我而言，我在将我的 kafka 集群从 v2.0 更新到 v2.4 时遇到了这个错误。原因是 server.properties 文件中 log.dirs 的配置设置错误。因为我没有注意到不同节点的不同磁盘名称，而且我在 log.dirs 设置中不匹配磁盘名称。