如何使用 KSQL 將 kafka 集群中存在的所有主題存儲到另一個主題
[英]How to store all topics present in the kafka cluster to another topic using KSQL
問題描述
我是 KSQL 的新手。 我想使用 KSQL 查詢將 kafka 集群中存在的所有主題名稱存儲到另一個主題。 SHOW TOPICS; 來自 KSQL CLI 給了我主題列表。 我想通過創建 stream 將所有這些主題信息存儲在另一個主題中。 我將輪詢這個新主題（使用消費者），每當在集群中創建新主題時，我的消費者都會收到一條消息。 我想要一個 KSQL 查詢來完成這個。
提前致謝。
1 個解決方案
解決方案1
0 已采納 2020-07-29 17:51:45
您目前無法使用 ksqlDB 實現您想要的。 SHOW TOPICS命令是系統命令，而不是 sql 語句。 所以查詢的 output 不能通過管道傳送到 stream 中。
ksqlDB 允許您處理 Kafka 集群中主題內的數據。 它（還）不允許您處理 Kafka 集群的元數據，例如主題列表或消費者組等。
在 GitHub 上提出功能請求可能值得： https://github.com/confluentinc/ksql/issues/new/choose
如何將主題從 kafka 集群復制到另一個 kafka 集群？
[英]How to copy a topic from a kafka cluster to another kafka cluster?
Kafka 流 - KSQL - 拆分消息並發布到另一個主題
[英]Kafka streams - KSQL - Split messages and publish to another topic
如何獲取群集中所有Kafka主題的列表以及可用於主題的分區號和唯一的分區號
[英]How to get list of all Kafka topics in a cluster along with the partition number available for topics and unique partitions number
在 KSQL 中加入兩個（或更多）kafka 主題的最佳方式發出所有主題的變化？
[英]Best way to join two (or more) kafka topics in KSQL emiting changes from all topics?
如何使用單個kafka命令列出所有組中的所有主題以及每個主題中的消息總數？
[英]How to list all the topics in all groups with total count of messages in each topic with single kafka command?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何使用KSQL將KTable的所有行輸出到Kafka Topic
如何將主題從 kafka 集群復制到另一個 kafka 集群？
使用 KSQL 在 kafka 主題上創建流
如何在Kafka或KSQL中修改或添加topic的key
Kafka 主題到多個 kafka 主題調度程序（同一集群）
Kafka 流 - KSQL - 拆分消息並發布到另一個主題
如何獲取群集中所有Kafka主題的列表以及可用於主題的分區號和唯一的分區號
在 KSQL 中加入兩個（或更多）kafka 主題的最佳方式發出所有主題的變化？
如何使用單個kafka命令列出所有組中的所有主題以及每個主題中的消息總數？
如何在KSQL kafka中獲取所有歷史記錄
相關標簽