堆栈内存溢出
cost 99 ms
Apache Samza 刷新表立即更新到更改日志 - Apache Samza flush table update to changelog immediately

如果我为 Samza 中的 RocksDB 表指定更改日志支持。 是否有配置将异步写入时间更新到更改日志？ 我想把它缩短到更短的时间。 我在Config 参考中看不到任何内容。 我想要的场景是在桥接旧版 JMS 连接后从 stream 写入变更日志。 此旧连接提供部分更新，我想将部分更新合并到更完整 ...

org.apache.beam.sdk.util.UserCodeException 使用 Samza Runner 执行 Beam Pipeline - org.apache.beam.sdk.util.UserCodeException while executing Beam Pipeline using the Samza Runner

我正在尝试使用 Samza Runner 从此处运行 Wordcount 演示。 这是我的 build.gradle 我的 wordcount.java 如下。 我正在使用 Beam 版本 2.22.0。 我尝试了以下组合。 带有 Beam 2.22 的 Samza 1.4、带有 Beam 2.1 ...

重置为 Kafka 分区中的自定义偏移量 - Reset to custom offset in Kafka partition

我正在为我正在研究的特定用例研究 Kafka。 我有一个正在流动的数据流，我想对其进行处理并将其发布到中间阶段。 在这些阶段（初始和中间）中的每一个阶段， Samza 任务都会进行处理和重新发布。 我的要求之一是能够随时从特定阶段重新触发整个处理管道。 我知道 kafka 为其每个日志（传入数据 ...

强制 RocksDB 支持的 Samza 键/值存储从 kafka 更改日志重新加载？ - Force Samza key/value store backed by RocksDB to reload from kafka changelog?

为了调试生产问题，我使用 ProcessJobFactory 在本地运行 Samza 代码。 一切似乎都运行良好。 该代码使用由 RocksDB 和 Kafka 支持的 Samza 键/值存储作为变更日志（Kafka 在不同的机器上运行，以防万一）。 为了用真实数据填充环境进行调试，我将实时数据 ...

Samza 0.14.1无法正确处理OffsetOutOfRangeException异常吗？ - Samza 0.14.1 not correctly handling OffsetOutOfRangeException exception?

我们正面临与此线程中描述的相同问题。 在这里-Samza请求的Kafka分区偏移量太旧（即Kafka日志已向前移动）。 我们将属性consumer.auto.offset.reset设置为smallest ，因此，在这种情况下，Samza希望将其检查点重置为最早的可用分区偏移量。 但这 ...

在给定messageId的流数据中缓冲消息 - Buffer messages in stream data for a given messageId

用例：我有具有messageId的消息，多个消息可以具有相同的消息ID，这些消息存在于由messageId分区的流传输管道（如kafka）中，因此我确保所有具有相同messageId的消息都将进入同一分区。 因此，我需要编写一份应将消息缓冲一段时间（比如说1分钟）的作业，然后将所有具有相同 ...

Samza：将消息的处理延迟到时间戳记 - Samza: Delay processing of messages until timestamp

我正在与Samza处理来自Kafka主题的消息。 某些消息将来会带有时间戳，我想将处理推迟到该时间戳之后。 同时，我想继续处理其他传入消息。 我想做的是使我的Task在消息中排队，并实现WindowableTask来定期检查消息（如果它们的时间戳允许处理它们）。 基本思想如下： ...

Spark 存在时 Hadoop 和 Streaming 解决方案的相关性 - Relevance of Hadoop & Streaming solutions when Spark exists

我正在为我的初创公司启动一个大数据计划。 在 2018 年，有什么理由完全使用 Hadoop，因为 Spark 被吹捧为更快，因为它主要不是像 Hadoop 的 MR 那样将中间数据写入磁盘。 我意识到 Spark 对 RAM 的需求更高，但这只是一次可以收回成本的 CAPEX 成本吗？ 一般来 ...

Samza相当于Kafka Consumer-手动偏移控制（enable.auto.commit = false） - Samza equivalent of Kafka Consumer - Manual Offset Control (enable.auto.commit = false)

我们有Samza任务，它从Kafka Output流中读取消息，但是如果在处理消息时出现任何可重试的失败，那么我希望我的Samza任务再次读取同一消息并重新处理它。 在成功处理该消息后，确认该消息用于检查点。 有没有一种方法可以手动控制检查点（就像Kafka Consumer通过将ena ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM