Kafka Streams - 禁用内部主题创建

Question

我在一个必须使用共享 Kafka 集群的组织工作。
由于公司内部政策，我们用于身份验证的帐户仅具有分配的读/写权限。
我们无法请求主题创建权限。
要创建主题，我们需要遵循入职程序并预先知道主题名称。

正如我们所知，Kafka Streams 创建内部主题来持久化流的 state。

有没有办法禁用容错，将 stream state 保留在 memory 或持久化在文件系统中？

先感谢您。

Answer 1

这完全取决于您如何编写拓扑。 例如，map/filter/forEach 等无状态 DSL 运算符不会创建任何内部主题。

如果您确实需要进行聚合并构建状态存储，那么您真的不应该禁用主题。 是的，状态存储要么存储在内存中，要么作为 RocksDB 存储在磁盘上，但它们最初仍作为主题存储，因此它们实际上可以分发，或者在出现故障时重建。

如果你想阻止它们，我认为你需要在代理上定义一个授权者 class，它至少可以基于客户端application.id和client.id正则表达式模式来限制主题创建，但是你无能为力客户端配置。