我们有没有办法暂停卡夫卡流一段时间，然后再恢复？

Is there any way we can pause kafka stream for certain period and resume later?(我们有没有办法暂停卡夫卡流一段时间，然后再恢复？)

问题描述

我们有一个要求，我们使用Kafka Streams读取Kafka主题，然后通过一个会话池通过网络发送数据。然而，有时网络调用有点慢，我们需要频繁地暂停流，以确保我们没有使网络超载。目前，我们将数据捕获到流中，并将其加载到Executor服务，然后通过会话池通过网络发送。

如果Executor服务中的数据太高，我们需要暂停流一段时间，然后在Executor服务上的积压清理完毕后恢复它。为了实现此暂停机制，我们当前正在关闭流，并在清除积压后重新启动。

有什么方法可以暂停Kafka流吗？

推荐答案

如果我理解正确的话，您没有什么特别需要做的。你说的是"背压"，而Kafka Streams可以开箱即用。

可以做的是将该数据放入某个最大大小的队列中，并使用该队列加载Executor服务。当队列达到某个阈值时，有两种方法：

• 如果您将数据放入队列的调用在没有超时的情况下被阻塞，则无需再做任何操作。只要等系统恢复在线，你的电话 返回，处理将继续。
• 如果将数据放入队列的调用因超时而阻塞，只需执行查找以检查队列的大小。重复此操作，直到系统重新联机，您的呼叫成功。

唯一的警告是，只要您的Streams应用程序阻止，内部使用的Kafka消费者客户端就不会向Kafka发送任何心跳信号，并且可能会超时。因此，您需要将超时配置参数设置为高于外部系统的预期最长停机时间。

另一种方法是使用Kafka-Streams中提供的处理器API，但这通常不是推荐的模式。

如果有帮助，请让我知道！！

这篇关于我们有没有办法暂停卡夫卡流一段时间，然后再恢复？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！