从 Kafka json 消息到雪花表

Question

我正在尝试实现一个 Snowflake Sink 连接器，以便我可以将进入 Kafka 主题的消息直接加载到适当的 Snowflake 表中。 到目前为止，我只能将原始 json 加载到具有两列（RECORD_METADATA 和 RECORD_CONTENT）的表中。 我的目标是通过展平将 json 消息直接加载到适当的表格中。 我有表应该是什么的结构，所以我可以创建一个表并直接加载到该表中。 但我需要一种方法让加载过程扁平化消息。

我一直在网上和通过文档查找，但还没有找到一个明确的方法来做到这一点。 有可能还是我必须先加载原始 json 然后进行转换以获得我想要的表？

谢谢

Answer 1

您必须先加载原始 JSON 然后才能进行转换。

每个 Kafka 消息都以 JSON 格式或 Avro 格式传递给 Snowflake。 Kafka 连接器将该格式化信息存储在 VARIANT 类型的单个列中。 数据未解析，数据未拆分为 Snowflake 表中的多个列。

有关更多信息，您可以在此处阅读