堆栈内存溢出
cost 253 ms
为什么启用自动提交的 Kafka 客户端在消费者关闭期间提交最新生成的消息的偏移量，即使该消息尚未被消费？ - Why does auto-commit enabled Kafka client commit latest produced message's offset during consumer close even if the message was not consumed yet?

TLDR： 对于启用自动提交的 Kafka 客户端，提交生成的消息的偏移量是否已消耗（即使不是）预期行为？ （对于消费和生产相同主题的应用程序） 详细解释： 我有一个简单的 scala 应用程序，它有一个 Akka 演员，它使用来自 Kafka 主题的消息，如果在消息处理期间发生任何异常，则将 ...

当我们的 Kafka 分区中存在滞后时，Akka Kafka 消费者处理率会急剧下降 - Akka Kafka Consumer processing rate decreases drastically when lag is there in our Kafka Partitions

我们正面临这样一种情况：只要有延迟，我们的 akka-stream-kaka-consumer 处理率就会下降。 当我们在没有任何分区延迟的情况下启动它时，处理速度会突然增加。 MSK 集群 - 10 个主题 - 每个 40 个分区 => 400 个领导分区 为了在系统中实现高吞吐量和并行 ...

快处理主题和慢处理主题 - Akka Kafka - Fast Processing Topic and Slow Processing Topic - Akka Kafka

我有一个问题，我需要优先处理一些事件，以便更早处理一些事件，比如在高优先级事件之后。 这些事件来自一个来源，我需要根据事件类型优先级对流进行优先级排序，以便在高优先级或低优先级接收器中转发。 我正在使用 kafka 和 akka kafka 流。 所以主要问题是我在给定的时间点获得大量流量。 这里 ...

Akka Kafka Stream 配置是否受益于 Akka 流的背压机制？ - Is this Akka Kafka Stream configuration benefits from Back Pressure mechanism of the Akka Streams?

我们有一个 Akka 应用程序，它从 Kafka 主题消费并将接收到的消息发送到 Akka Actor。 我不确定我编程的方式是否使用了 Akka Streams 中内置的背压机制的所有好处。 以下是我的配置... 这符合我对业务案例的期望，myActor 收到命令更新（MyAvro） 我对背压的 ...

Lagom 主题订阅者 - 如何在未来异常中重试？ - Lagom topic subscriber - how to retry in Future Exception?

我在lagom有一个主题订阅者，如下所示 订阅这个主题，我使用atLeastOnce作为方法，所以如果有任何异常，我希望重新启动/重试流程。 当我抛出一个正常的异常时，它可以继续正常重试 但是当将来发生异常时，无论我如何尝试，Flow都不会重新启动。 这是我将来处理异常的尝试之一 它会显示一个异常 ...

akka-Kafka（scala框架）中是否有功能可以列出所有可用主题 - Is there functionality in the akka-Kafka (scala framework) to list all available topics

我正在尝试检查传递给我的“开始流”方法的主题在我的程序所连接的Kafka中是否有效/已经存在。 我知道Java具有KafkaConsumer.ListTopics，但是我正在使用akka-kafka库，似乎ConsumerSetting没有相同的方法。 我可以有执行脚本的代码，以使用Ka ...

过滤后的Akka流Kafka提交偏移量 - Akka streams kafka commit offset after filter

我试图为Akka流中的偏移量设置至少一次提交策略，但是我无法理解在流中使用过滤器的情况下的预期模式是什么。 我的期望是，所有过滤后的消息都不会得到偏移补偿，因此它们将陷入无限的处理循环中。 一个愚蠢的例子说明了所有消息的过滤是这样的： 我只能看到一种将过滤器包装在流中的解决方 ...

如何在Akka Streams中对事件进行会话/分组？ - How to sessionize / group the events in Akka Streams?

要求是我想编写一个Akka流应用程序，该应用程序侦听来自Kafka的连续事件，然后根据每个事件中嵌入的一些id值在一个时间范围内对事件数据进行会话化。 例如，假设我的时间范围窗口是两分钟，在前两分钟中，我得到以下四个事件： 输入： 然后在输出中，对这些事件进行分组/会话化之后 ...

使用react-kafka有条件地处理消息 - Using reactive-kafka to conditionally process messages

我一直在尝试使用反应式卡夫卡，但在条件处理方面遇到了问题，对此我没有找到满意的答案。 基本上，我正在尝试使用一个包含大量消息（每天大约100亿条消息）的kafka主题，并且仅根据消息的某些属性来处理其中一些消息（每天几千条），然后将邮件的处理后的版本推送到另一个主题，而我正努力做到这一点。 ...

从Kafka主题消耗完所有可用消息后，如何返回包含消息列表的Future？ - How do you return a future containing a list of messages after all available messages have been consumed from a Kafka topic?

我可能错过了卡夫卡消费者的意义，但我想做的是： 消费者订阅一个主题，获取该主题内的所有消息，并返回带有所有这些消息的列表的Future。 我为尝试实现此目的而编写的代码是 不过，Future永远不会返回，它消耗必要的消息，然后继续重复轮询主题。 有没有办法返回未来，然后关闭 ...

处理消息后提交Kafka消费者抵消的好模式是什么？ - What is a good pattern for committing Kafka consumer offset after processing message?

我正在使用Akka Streams Kafka将Kafka消息传递给远程服务。 我想保证服务只收到一次消息（至少一次，最多一次交付）。 这是我提出的代码： 如代码所示，它映射原始消息的元组，以及传递给订户的转换消息（发送到远程服务的actor）。 元组的目的是在订户完成处理之后 ...

Akka Stream TCP + Akka Stream Kafka制作人不停止不发布消息而不是错误输出 - Akka Stream TCP + Akka Stream Kafka producer not stopping not publishing messages and not error-ing out

我有以下流： 它工作正常一段时间，我可以使用填充在Kafka主题上的消息。 但有时候，显然是在一个随机的间隔，没有更多的消息发布，这个代码没有记录任何错误（printAndByeBye将打印传递的消息并终止actor系统。）重新启动应用程序后，消息继续流。 关于如何知道这里发生了 ...

Kafka生产者，每秒可调整消息量 - Kafka producer with adjustable amount of messages per second

编写具有稳定但可调输出的Apache Kafka生产器的最佳方法是什么。 示例：生产者应将恒定的1000条消息/秒发送给代理。 在运行期间，输出应可调整为10或10000条消息/秒。 一种方法是设置一个调度程序，该调度程序每秒运行一次并批量发送预定义数量的消息。 另外：由于此 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM