在 Kafka 消费者配置中设置 max.poll.interval.ms 大于 request.

Question

根据 Kafka 文档；新的 Java Consumer 现在支持来自后台线程的心跳。有一个新的配置 max.poll.interval.ms 控制在消费者主动离开组之前轮询调用之间的最长时间（默认为 5 分钟）。配置 request.timeout.ms 的值必须始终大于 max.poll.interval.ms 因为这是消费者重新平衡时 JoinGroup 请求可以在服务器上阻塞的最长时间，所以我们更改了它的默认值到刚刚超过 5 分钟。但我无法理解使 max.poll.interval.ms 大于 request.timeout.ms 的可能结果。任何人都可以解释这部分文件：因为这是消费者重新平衡时 JoinGroup 请求可以在服务器上阻塞的最长时间现在我在我的项目中使用这些消费者参数：kafka.consumer.session.timeout.ms=30000kafka.consumer.heartbeat.interval.ms=10000kafka.consumer.request.timeout.ms=31000kafka.consumer.max.poll.interval.ms=259200000kafka.consumer.max.partition.fetch.bytes=10242880这些使用会有什么负面影响？注意：我的 kafka-clients 版本是 1.1.0更新从 Kafka 版本 2.0.0 开始，此规则不再有效。来自 Kafka 文档 2.0.0 中的显着变化：同样作为 KIP-266 的一部分，request.timeout.ms 的默认值已更改为 30 秒。之前的值略高于 5 分钟，以说明重新平衡所需的最长时间。现在我们将重新平衡中的 JoinGroup 请求视为一种特殊情况，并使用从 max.poll.interval.ms 派生的值作为请求超时。所有其他请求类型使用 request.timeout.ms 定义的超时

Answer 1

request.timeout.ms指定消费者将等待代理响应的时间。

max.poll.interval.ms在几个用例中使用。它首先指定消费者与代理交互的频率（以确认它是活动的），但它也用于当消费者加入组时。在这种情况下，它表示代理可以花费多长时间来响应加入组请求。

因此，如果max.poll.interval.ms大于request.timeout.ms，您会看到代理的响应时间可能比消费者等待的时间长。所以消费者可以超时请求。

在很多情况下，这两种配置的默认值都比较好。不要将它们覆盖为我在您的问题中看到的大值，您应该首先清楚地确定您想要如何更改默认行为。