[英]Deserialise a POJO in Kafka Streams
我的Kafka主題包含此格式的消息
user1,subject1,80|user1,subject2,90
user2,subject1,70|user2,subject2,100
and so on.
我創建了用戶POJO如下。
class User implements Serializable{
/**
*
*/
private static final long serialVersionUID = -253687203767610477L;
private String userId;
private String subject;
private String marks;
public User(String userId, String subject, String marks) {
super();
this.userId = userId;
this.subject = subject;
this.marks = marks;
}
public String getUserId() {
return userId;
}
public void setUserId(String userId) {
this.userId = userId;
}
public String getSubject() {
return subject;
}
public void setSubject(String subject) {
this.subject = subject;
}
public String getMarks() {
return marks;
}
public void setMarks(String marks) {
this.marks = marks;
}
}
此外,我已創建默認鍵值序列化
streamProperties.put(
StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
streamProperties.put(
StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());
我試圖通過userID查找計數如下。 我還需要User對象來執行其他一些功能。
KTable<String, Long> wordCount = streamInput
.flatMap(new KeyValueMapper<String, String, Iterable<KeyValue<String,User>>>() {
@Override
public Iterable<KeyValue<String, User>> apply(String key, String value) {
String[] userObjects = value.split("|");
List<KeyValue<String, User>> userList = new LinkedList<>();
for(String userObject: userObjects) {
String[] userData = userObject.split(",");
userList.add(KeyValue.pair(userData[0],
new User(userData[0],userData[1],userData[2])));
}
return userList;
}
})
.groupByKey()
.count();
我收到以下錯誤
Caused by: org.apache.kafka.streams.errors.StreamsException: A serializer (key: org.apache.kafka.common.serialization.StringSerializer / value: org.apache.kafka.common.serialization.StringSerializer) is not compatible to the actual key or value type (key type: java.lang.String / value type: com.example.testing.dao.User). Change the default Serdes in StreamConfig or provide correct Serdes via method parameters.
我想我需要為用戶類提供正確的Serde
。
問題出在Value Serdes上。
函數groupBy有兩個版本:
KStream::KGroupedStream<K, V> groupByKey();
KStream::KGroupedStream<K, V> groupByKey(final Grouped<K, V> grouped);
引擎蓋下的第一個版本使用默認Serdes的Grouped
調用第二個版本(在您的情況下,它是鍵和值StringSerde
您的flatMap
地圖消息到KeyValue<String, User>
類型,因此值類型為User
。
你的情況下的解決方案是使用groupByKey()
調用groupByKey(Grouped.with(keySerde, valSerde));
,適當的Serdes。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.