[英]Structured Stream-Stream join is not happening in JSON from Kafka topic
[英]What is the default WindowBytesStoreSupplier for stream-stream join in Kafka Streams?
新的 API 具有以下特征:
join(KStream<K,VO> otherStream, ValueJoiner<? super V,? super VO,? extends VR> joiner, JoinWindows windows, StreamJoined<K,V,VO> streamJoined)
如果我只使用StreamJoined<K,V,VO> streamJoined
參數設置商店名稱,那么WindowBytesStoreSupplier
在retentionPeriod
、 windowSize
和retainDuplicates
方面的默認配置是什么? 從文檔中不清楚。 這是在 memory state 商店嗎? 還是 Kafka Streams 配置的默認配置?
如果您僅使用StreamJoined
設置商店名稱,則:
windowSize
來自您提供的JoinWindows
配置 object。 即使您使用自定義WindowBytesStoreSupplier
,Kafka Streams 也會驗證供應商 window 設置是否與提供的JoinWindows
object 的設置相匹配。 所以JoinWindows.of(Duration.ofSeconds(30))
的windowSize
等於30000
毫秒。retentionPeriod
期是 window 大小 + 寬限期。 默認寬限期為 24 小時。retainDuplicates
配置為true
。 但即使在提供自定義StoreSupplier
時, retainDuplicates
字段也必須設置為true
。 另外,請注意,使用StreamJoined
,您現在可以為連接的雙方提供自己的StoreSupplier
,因此可以擁有內存存儲。
高溫下,
賬單
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.