使用KStream合並記錄

Question

我正在使用Java開發我的第一個Kafka Stream，本質上是試圖從一個主題讀取記錄，然后將許多這些記錄的值合並到一個記錄中，以寫入一個單獨的主題，即分批處理一系列記錄成一條記錄。 理想情況下，這批記錄將由記錄大小或記錄數來控制，但此時很高興獲得一個簡單的示例！ 我當時以為KStream.groupBy函數將是解決方案的基礎，但無法提出可行的示例

Answer 1

如果您有事件流，並且想要基於鍵將事件合並到列表中，則可以從以下基本示例開始：

KTable<String, List<Object>> aggregatedMetrics = eventStream
        .selectKey((k,v)-> k // Pick your key here)
        .groupByKey()
        .aggregate(() -> ArrayList::new, 
         (key, value, aggregate) -> aggregate.add(value), arrayListSerde());