在 ksqldb 中使用现有的 kafka 主题和 avro

Question

假设我有一个主题，让我们说“some_topic”。 本主题中的数据使用 avro 使用模式注册表进行序列化。 架构主题名称与主题名称相同 - 'some_topic'，没有 '-value' 后缀

我想做的是创建一个新主题，比如说“some_topic_new”，其中数据将使用相同的模式进行序列化，但某些字段将被“无效”

我正在尝试评估这是否可以使用 ksqldb 完成并且有两个问题：

1. 是否可以基于现有主题并使用现有模式创建流/表？ 可能类似于create table some_topic (*) with (schema_subject=some_topic, ...) 。 因此新表的字段将自动从现有模式中获取

2. 创建新的流/表时，是否可以避免使用“-value”后缀创建新模式？

Answer 1

当您基于另一个在 ksqlDB 中创建 stream 时，您可以让它继承架构。 请注意，尽管它不会共享相同的架构，但定义将是相同的。

CREATE STREAM my_stream 
    WITH (KAFKA_TOPIC='some_topic', VALUE_FORMAT='AVRO');

CREATE STREAM my_stream_new 
    WITH (KAFKA_TOPIC='some_topic_new', VALUE_FORMAT='AVRO') AS 
    SELECT * FROM my_stream;