Kafka Streams - 禁用內部主題創建

Question

我在一個必須使用共享 Kafka 集群的組織工作。
由於公司內部政策，我們用於身份驗證的帳戶僅具有分配的讀/寫權限。
我們無法請求主題創建權限。
要創建主題，我們需要遵循入職程序並預先知道主題名稱。

正如我們所知，Kafka Streams 創建內部主題來持久化流的 state。

有沒有辦法禁用容錯，將 stream state 保留在 memory 或持久化在文件系統中？

先感謝您。

Answer 1

這完全取決於您如何編寫拓撲。 例如，map/filter/forEach 等無狀態 DSL 運算符不會創建任何內部主題。

如果您確實需要進行聚合並構建狀態存儲，那么您真的不應該禁用主題。 是的，狀態存儲要么存儲在內存中，要么作為 RocksDB 存儲在磁盤上，但它們最初仍作為主題存儲，因此它們實際上可以分發，或者在出現故障時重建。

如果你想阻止它們，我認為你需要在代理上定義一個授權者 class，它至少可以基於客戶端application.id和client.id正則表達式模式來限制主題創建，但是你無能為力客戶端配置。