为了账号安全,请及时绑定邮箱和手机立即绑定

Kafka Streams - 一对二不起作用 - 错误的分区分配

Kafka Streams - 一对二不起作用 - 错误的分区分配

慕哥9229398 2021-10-13 14:06:40
在我公司的一个应用程序中,为了对称为 LIVE 和 PRE-MATCH 的 2 组消息应用一些转换,我们创建了 2 个 Kafka Streams,每个组一个。这两个流都正确启动,但是其中一个始终是按基于时间的顺序创建的第二个流,不会进行任何更改:我的意思是它不会从开始主题中消耗任何内容。对日志的分析表明,主题和分区的配置肯定存在一些问题:2018-09-26 11:36:59,963 [INFO ] [] [StreamThread-2] [o.a.k.c.c.i.ConsumerCoordinator] - Setting newly assigned partitions [] for group Union2018-09-26 11:36:59,963 [INFO ] [] [StreamThread-1] [o.a.k.c.c.i.ConsumerCoordinator] - Setting newly assigned partitions [betgenius.integralfeed.live-0] for group Union正如您在上面的日志部分中看到的那样,与 LIVE 提要关联的 StreamThread-1 获得了映射到正确源主题的分区的正确分配;在这种情况下与 PRE-MATCH 提要相关联的 StreamThread-2 似乎收到了对空源主题的分区分配,实际上是不运行的。如果我人为地强制在 LIVE 之前创建 PRE-MATCH 流,情况就会相反。用于创建 2 个流的代码完全相同,我只是更改了开始主题和结束主题。我的 Kafka 配置是否可能没有足够的可用资源?
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 283 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信