在雪花卡夫卡连接器中，我们可以定义文件类型吗

Question

在 Snowflake kafka 连接器中，我可以使用预定义的数据类型，因为它在内部使用雪管来加载数据。

我在这里想要实现的是在将数据加载到阶段表时从我的 json 消息中删除外部数组。

Answer 1

今天没有这个选项。 您可以在目标 Kafka 表上创建 stream 和基于 stream 的任务。 然后转换为没有json的外部数组的新表。

我建议提出一个新想法，因为这将是一个很好的功能请求：

https://community.snowflake.com/s/ideas

Answer 2

我认为最简单的解决方案是在 Kafka 连接器加载数据的表上创建一个视图。

我有几个类似的案例，创建了视图来操作数据以供消费和屏蔽 PII 信息，而无需辅助表或进程。

如果数据量变大和/或您的视图性能无法满足您的需求，您始终可以创建物化视图。