[英]How to programmatically create a Topic in Kafka through spark structured streaming
我想在我的 Spark Structured Streaming 应用程序中创建多个 kafka 主题运行时。 我发现 Java API 中有各种可用的方法。 但是我在 Spark Structured Streaming 中找不到任何东西。 请让我知道是否有任何可用的方法或我需要使用 java 库
我的 apache Spark 版本是 2.4.4，Kafka 库依赖项是 spark-sql-kafka-0-10_2.12
AFAIK，Spark 不会创建主题。
您可以使用在初始化 SparkSession 之前找到的相同 Java API
spark-sql-kafka 包含 kafka-clients，因此您可以使用 AdminClient 类
如何使用 Java Spark 结构化流从 Kafka 主题正确消费
[英]How to consume correctly from Kafka topic with Java Spark structured streaming
没有输出到Kafka主题：Spark结构化流和Kafka集成
[英]No output to Kafka topic: Spark Structured Streaming and Kafka Integration
如何将 Spark 模式应用于 Spark Structured Streaming 中基于 Kafka 主题名称的查询？
[英]How to apply Spark schema to the query based on Kafka topic name in Spark Structured Streaming?
将聚合结果发送到 Kafka 主题时 Spark 结构化流错误
[英]Spark Structured Streaming Error while sending aggregated result to Kafka Topic
如何编写数据集 <Row> Spark结构化流上的kafka输出主题的介绍-Java8
[英]How can I write a Dataset<Row> into kafka output topic on Spark Structured Streaming - Java8
如何使用 Spark Structured Streaming 将数据从 Kafka 主题流式传输到 Delta 表
[英]How to stream data from Kafka topic to Delta table using Spark Structured Streaming
使用 Spark Structured Streaming 从 Kafka 主题读取：可以由 Spark 解析发布到 Kafka 主题的多行 JSON 吗？
[英]Reading from Kafka topic using Spark Structured Streaming: Can multi-line JSON published to Kafka topic be parsed by Spark?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
