我有很多任务的samza工作,每个任务在其嵌入式商店中都有一些状态。 我希望通过某种RPC机制公开这个商店以便读取外部世界。 什么是最好的解决方案呢?

以下是Samza文档中的一个段落:

Samza does not currently have an equivalent API to DRPC, 
but you can build it yourself using Samza’s stream 
processing primitives.

我想到的唯一解决方案是使我的任务除了正常处理之外,在特殊请求主题上使用具有一些相关ID的请求消息,并将具有相同相关ID的响应消息放入特殊响应主题中。 所以这就像RPC-over-Kafka解决方案在我看来不是最理想的。

欢迎任何想法!

#1楼 票数:0

据我所知,嵌入式商店在Kafka主题中备份。 在商店中设置内容时,会根据主题生成消息。 因此,您可以使用此主题,并且可以将嵌入式存储“克隆”到其他数据库。 然后您可以查询数据库。 或者您只能使用数据库而不是嵌入式存储。 但是这种方法可能会导致Samza工作中出现性能问题......

  ask by Vladimir Lebedev translate from so

未解决问题?本站智能推荐:

1回复

samza任务如何消耗多个kafka分区流

我有一个典型的samza任务,它涉及2个主题: data和config ,并将来自config消息作为本地状态存储在rocksdb中,以检查来自data消息是否正常。 如果这两个主题中的每个主题都只有一个分区,则此任务运行良好。 一旦我将data分成十个分区,而config仍然是一个分区
1回复

Samza 0.14.1无法正确处理OffsetOutOfRangeException异常吗?

我们正面临与此线程中描述的相同问题。 在这里-Samza请求的Kafka分区偏移量太旧(即Kafka日志已向前移动)。 我们将属性consumer.auto.offset.reset设置为smallest ,因此,在这种情况下,Samza希望将其检查点重置为最早的可用分区偏移量。 但这
1回复

发送消息时,Samza是否自动创建分区?

如果您使用Samza的OutgoingMessageEnvelope使用以下格式发送消息: 并且您在流任务的process()方法中调用此方法,并希望将传入消息路由到适当的分区,Samza会在您调用该方法时为您创建分区吗? 例如 如果我在流任务的process()中调用,其
2回复

Samza:将消息的处理延迟到时间戳记

我正在与Samza处理来自Kafka主题的消息。 某些消息将来会带有时间戳,我想将处理推迟到该时间戳之后。 同时,我想继续处理其他传入消息。 我想做的是使我的Task在消息中排队,并实现WindowableTask来定期检查消息(如果它们的时间戳允许处理它们)。 基本思想如下:
1回复

将数据从单独的kafka集群加载到Samza?

我正在尝试创建一个Samza工作,使其与Wikipedia示例工作非常相似。 但是,在“ WikipediaFeed”对象中,我试图从与启动Hello-Samza网格时正在运行的Kafka代理不同的Kafka代理获取数据。 我是否必须在“ WikipediaFeed”对象内创建一个线程安
1回复

Samza的OutgoingMessageEnvelope是否需要SerDe作为partitionKey,我如何指定它?

与如何在kafka主题上使用分区创建分区类似,我需要构造一条消息,以控制如何通过使用partitionKey路由该消息。 键和消息确实需要SerDe,但是我不确定partitionKey是否也需要。 如果是这样,那么配置语法是什么? 我想我可以在内部使用key作为partitionKey来
4回复

如何在Samza中编写自己的工作

最近,我正在尝试在Samza框架上进行一些流处理工作。 我已经成功部署了hello-samza示例。 但是,当我尝试编写自己的工作时,我不知道从哪里开始工作。 我已经阅读了这份文件 ,但我仍然不明白这一点。 所以任何人都可以帮助我: 我的代码的体系结构是什么(源代码,库代码
1回复

如何使用Samza在Kafka主题上创建分区?

我有一些Samza作业正在运行,它们全部从Kafka主题读取消息并将新消息写入新主题。 要发送新消息,我正在使用Samza内置的OutgoingMessageEnvelope。 还使用MessageCollector发送新消息。 看起来像这样: 有没有一种方法可以用来将分区添加到K