通过 kafka-topics 创建的主题是否应该自动创建关联的主题？

Question

我试图模仿“融合负载”（不推荐用于生产用途）来添加自动创建主题、主题等的连接器，允许创建 ksql 流和表。 我正在使用 curl 与其余界面进行交互。

1. 当 kafka-topics 用于创建主题时，这是否也会为"topicName-value"等创建关联的主题？

$ curl -X GET http://localhost:8082/topics | jq
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   199  100   199    0     0  14930      0 --:--:-- --:--:-- --:--:-- 15307
[
  "Topic_OracleSource2"
]

curl -X GET http://localhost:8081/subjects | jq

[]

什么都没有显示。 但是，执行卷曲：

curl -X POST -H "Content-Type: application/vnd.kafka.avro.v2+json"       -H "Accept: application/vnd.kafka.v2+json"       --data '{"value_schema": "{\"type\": \"record\", \"name\": \"User\", \"fields\": [{\"name\": \"name\", \"type\": \"string\"}]}", "records": [{"value": {"name": "testUser"}}]}'       "http://localhost:8082/topics/avrotest"

创建主题：

curl -X GET http://localhost:8081/subjects | jq
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    18  100    18    0     0   2020      0 --:--:-- --:--:-- --:--:--  2250
[
  "avrotest-value"
]

据我所知，不建议这样做，因为主题是动态创建的，而不是在受控环境中预先创建的。

2. 出现这个问题的原因是，似乎需要主题'topicName-value/key'对来为 KSQL 中的主题创建流。

如果没有主题，我只能看到使用基于 avro 的连接器创建的数据，但无法使用 ksql 流和表进一步执行转换。

Answer 1

kafka-topics只与 Zookeeper 和 Kafka 交互。 它没有模式注册表的存在的概念。

创建 Avro 模式/主题的过程是通过生产者的 Avro Serializer 配置。 如果使用 AvroConverter 配置了 Kafka Connect 源，它会在获取数据时自行注册架构，因此您不需要 curl，假设您对生成的架构感到满意

据我所知，没有办法阻止 KSQL 在注册表中自动注册模式。

似乎需要主题“topicName-value/key”对来为 KSQL 中的主题创建流。

如果你想使用 Avro，是的。 但是，对于 KSQL 支持的其他数据格式，并非“不需要”

另外，最后我检查过，KSQL 无法处理 Avro 密钥

无法使用 ksql 流和表进一步执行转换。

你需要更明确地说明为什么会这样。 你有错误吗？

Answer 2

当kafka-topics用于创建主题时，这是否也会为“topicName-value”等创建关联的主题？

不，主题不是自动创建的。 （今天的kafka-topics甚至不允许您传递 Avro 模式。）

可能值得一个功能请求？