[英]Kafka Streams - Send on different topics depending on Streams Data
我有一個 kafka 流應用程序等待在主題user_activity
上發布記錄。 它將接收 json 數據,並根據我想將該流推送到不同主題的鍵的值。
這是我的流應用程序代碼:
KStream<String, String> source_user_activity = builder.stream("user_activity");
source_user_activity.flatMapValues(new ValueMapper<String, Iterable<String>>() {
@Override
public Iterable<String> apply(String value) {
System.out.println("value: " + value);
ArrayList<String> keywords = new ArrayList<String>();
try {
JSONObject send = new JSONObject();
JSONObject received = new JSONObject(value);
send.put("current_date", getCurrentDate().toString());
send.put("activity_time", received.get("CreationTime"));
send.put("user_id", received.get("UserId"));
send.put("operation_type", received.get("Operation"));
send.put("app_name", received.get("Workload"));
keywords.add(send.toString());
// apply regex to value and for each match add it to keywords
} catch (Exception e) {
// TODO: handle exception
System.err.println("Unable to convert to json");
e.printStackTrace();
}
return keywords;
}
}).to("user_activity_by_date");
在這段代碼中,我想檢查操作類型,然后根據我想將流推送到相關主題。
我怎樣才能做到這一點?
編輯:
我已將代碼更新為:
final StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> source_o365_user_activity = builder.stream("o365_user_activity");
KStream<String, String>[] branches = source_o365_user_activity.branch(
(key, value) -> (value.contains("Operation\":\"SharingSet") && value.contains("ItemType\":\"File")),
(key, value) -> (value.contains("Operation\":\"AddedToSecureLink") && value.contains("ItemType\":\"File")),
(key, value) -> true
);
branches[0].to("o365_sharing_set_by_date");
branches[1].to("o365_added_to_secure_link_by_date");
branches[2].to("o365_user_activity_by_date");
您可以使用branch
方法來拆分流。 此方法采用謂詞將源流拆分為多個流。
下面的代碼取自kafka-streams-examples :
KStream<String, OrderValue>[] forks = ordersWithTotals.branch(
(id, orderValue) -> orderValue.getValue() >= FRAUD_LIMIT,
(id, orderValue) -> orderValue.getValue() < FRAUD_LIMIT);
forks[0].mapValues(
orderValue -> new OrderValidation(orderValue.getOrder().getId(), FRAUD_CHECK, FAIL))
.to(ORDER_VALIDATIONS.name(), Produced
.with(ORDER_VALIDATIONS.keySerde(), ORDER_VALIDATIONS.valueSerde()));
forks[1].mapValues(
orderValue -> new OrderValidation(orderValue.getOrder().getId(), FRAUD_CHECK, PASS))
.to(ORDER_VALIDATIONS.name(), Produced
.with(ORDER_VALIDATIONS.keySerde(), ORDER_VALIDATIONS.valueSerde()));
原始的KStream.branch
方法不方便,因為混合了數組和泛型,並且因為它強制人們使用“幻數”從結果中提取正確的分支(參見例如KAFKA-5488問題)。 從spring-kafka 2.2.4 開始, KafkaStreamBrancher類可用。 有了它,更方便的分支成為可能:
new KafkaStreamsBrancher<String, String>()
.branch((key, value) -> value.contains("A"), ks->ks.to("A"))
.branch((key, value) -> value.contains("B"), ks->ks.to("B"))
.defaultBranch(ks->ks.to("C"))
.onTopOf(builder.stream("source"))
//onTopOf returns the provided stream so we can continue with method chaining
//and do something more with the original stream
還有KIP-418 ,因此也有可能在 Kafka 本身中改進分支。
另一種可能性是使用TopicNameExtractor動態路由事件:
https://www.confluent.io/blog/putting-events-in-their-place-with-dynamic-routing
不過,您需要提前創建主題,
val outputTopic: TopicNameExtractor[String, String] = (_, value: String, _) => defineOutputTopic(value)
builder
.stream[String, String](inputTopic)
.to(outputTopic)
並且defineOutputTopic可以返回給定值(或與此相關的鍵或記錄上下文)的一組已定義主題中的一個。 PD:抱歉Scala 代碼,在鏈接中有一個Java 示例。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.