[英]Data Enrichment using kafka streams, KStream-GlobalKtable Join
[英]Complex Object KStream GlobalKTable left-join
我是 Kafka Streams 的新手。 我想執行以下基於 KStream-GlobalKTable 純 DSL 的左連接操作,而不是使用 map 操作。
我有一個輸入 stream a.topic
這是 <String, A>,其中值:
{
"b_obj": {
"b_value": "xyz",
"c_list": [
{
"d_obj": {
"d_id1": "value1",
"d_id2": "value2",
"d_value": "some value"
},
"c_value": "jkl"
},
{
"d_obj": {
"d_id1": "value3",
"d_id2": "value4",
"d_value": "some value 2"
},
"c_value": "pqr"
}
]
},
"a_value": "abcd"
}
另一個輸入主題e.topic
是 <String, E>,其中值:
{
"e_id1": "value1",
"e_id2": "value2",
"e_value": "some value"
}
我要進行左連接操作a.topic
是一個stream,主數據e.topic
是一個全局表來實現結果值為
{
"b_obj": {
"b_value": "xyz",
"c_list": [
{
"d_obj": {
"d_id1": "value1",
"d_id2": "value2",
"d_value": "some value"
},
"e_obj": {
"e_id1": "value1",
"e_id2": "value2",
"e_value": "some value a"
},
"c_value": "jkl"
},
{
"d_obj": {
"d_id1": "value3",
"d_id2": "value4",
"d_value": "some value 2"
},
"e_obj": {
"e_id1": "value3",
"e_id2": "value4",
"e_value": "some value b"
},
"c_value": "pqr"
}
]
},
"a_value": "abcd"
}
並且連接條件是abc[i].d.d_id1 == e.e_id1 && abc[i].d.d_id2 == e.e_id2
代碼:
public class ComplexBeanStream {
public static void main(String[] args) {
Serde<A> aSerde = new JsonSerde<>(A.class);
Serde<E> eSerde = new JsonSerde<>(E.class);
final Properties streamsConfiguration = new Properties();
streamsConfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, "complex-bean-app");
streamsConfiguration.put(StreamsConfig.CLIENT_ID_CONFIG, "complex-bean-client");
streamsConfiguration.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
StreamsBuilder builder = new StreamsBuilder();
final GlobalKTable<String, E> eGlobalTable =
builder.globalTable(
"e.topic",
Materialized.<String, E, KeyValueStore<Bytes, byte[]>>
as("E-STORE")
.withKeySerde(Serdes.String())
.withValueSerde(eSerde)
);
final KStream<String, A> aStream =
builder.stream(
"a.topic",
Consumed.with(Serdes.String(), aSerde));
// perform left-join here
Topology topology = builder.build();
System.out.println("\n\nComplexBeanStream Topology: \n" + topology.describe());
final KafkaStreams streams = new KafkaStreams(topology, streamsConfiguration);
streams.cleanUp();
streams.start();
Runtime.getRuntime().addShutdownHook(new Thread(streams::close));
}
}
class A {
private B b_obj;
private String a_value;
}
class B {
private List<C> c_list;
private String b_value;
}
class C {
private D d_obj;
private E e_obj;
private String c_value;
}
class D {
private String d_id1;
private String d_id2;
private String d_value;
}
class E {
private String e_id1;
private String e_id2;
private String e_value;
}
只要連接查找基於值而不是鍵,就不可能在沒有映射的情況下加入。
Kafka-Streams 只能基於雙方相同的密鑰加入。 這意味着,您應該在 oder 中加入雙方的 map 和 select 新密鑰(重新鍵入)以實現abc[i].d.d_id1 == e.e_id1 && abc[i].d.d_id2 == e.e_id2
。
在這種情況下,一側可以有[abc[i].d.d_id1, abc[i].d.d_id2]
作為其鍵,而另一側可以有[e.e_id1, e.e_id2]
。 如果您有匹配項,則可以將這些值連接到新的 object。 可能您應該在重新鍵入之前對您的c_list
進行平面映射。
閱讀有關加入Kafka-Streams 的信息也很有幫助。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.