[英]How to implement Kafka Streams topology that process single topic with interactive queries store and global store
我正在嘗試實現 Kafka Streams,它將單個主題流視為具有交互式查詢可能的全局數據庫。 所以我想要:
記錄的全局存儲(GlobalKTable、KeyValueStore)
可查詢存儲,允許我獲得交互式查詢的結果(最大)
交互式查詢必須計算記錄字段之一的全局最大值:
KStream<String, TercUnitRecord> recordsStream = topologyBuilder.stream(topicName);
KTable<String, Long> lastUpdateStore = recordsStream.mapValues(record -> record.getLastUpdate())
.selectKey((key, value) -> "lastdate")
.groupByKey(Grouped.with(Serdes.String(), Serdes.Long()))
.reduce((maxValue, currValue) -> maxValue.compareTo(currValue) == 1 ? maxValue : currValue,
Materialized.as("terc-lastupdate"));
但是,我面臨的問題是我無法在一個 Kafka Streams 實例中使用與源相同的單個主題。 我已經進行了研究,我發現這樣做的唯一方法是通過多個 KafkaStreams 實例,但我不確定這是實現這一目標的正確且唯一的方法。 有任何想法嗎?
我為每個任務使用了多個 KafkaStreams 實例並且它工作正常。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.