從 Kafka 主題中提取特定數據

Question

我在 Twitter 上做實時流媒體，想知道有沒有辦法從 Kafka 主題中只提取消息和某些值？

Answer 1

您可以使用 ksqlDB 來執行此操作。 例如：

ksql> CREATE STREAM TWEETS WITH (KAFKA_TOPIC='twitter_01', VALUE_FORMAT='Avro');

ksql> SELECT USER->SCREENNAME, TEXT FROM TWEETS WHERE TEXT LIKE '%cool%' EMIT CHANGES;

+-------------------+------------------------------------------------------------------------------------------+
|USER__SCREENNAME   |TEXT                                                                                      |
+-------------------+------------------------------------------------------------------------------------------+
|MobileGist         |This is super cool!! Great work @houchens_kim!                                            |

如果需要，您還可以使用此結果構建一個新主題

ksql> CREATE STREAM COOL_TWEETS AS SELECT USER->SCREENNAME, TEXT FROM TWEETS WHERE TEXT LIKE '%cool%' EMIT CHANGES;

Since you tagged Python it's worth pointing out that you can call ksqlDB using its REST API from Python. 這是一個例子。

參考： 使用 Twitter 數據探索 ksqlDB

Answer 2

您沒有提及您收到的數據類型。 推文，是的，但作為 CSV？ JSON？ 阿夫羅？ 原型？

簡短的回答是“是”。 就像您可以打開一個文本文件並從中讀取數據一樣，您也可以從 Kafka 記錄中獲取數據。 他們只是碰巧不斷地流入