外部表的雪花外部阶段文件推荐

Question

专家们，

需要针对以下场景的建议：

我们通过使用存储过程（使用横向扁平查询的逻辑集）读取外部表，从存储在 S3 中的 JSON 文件中动态解析 JSON 记录。 我需要以下建议。

1. 在 S3 中单独存储多个 JSON 文件，无需合并和访问外部表。

2. 将 Source 中的多个 JSON 文件合并到单个 JSON（每个 500 个 JSON 到单个 JSON）并通过外部表访问。

3. 与步骤 2 相同 - 但是 zip 并存储在 S3 中并通过外部表访问。

同样的老问题 External Stage Vs Internal Stage - 推荐用于上述场景。

谢谢

Answer 1

外部表不是物化表，因此在查询时从阶段获取数据。

在内部和外部阶段之间进行选择：这完全取决于您的要求。 如果您已经有一个保存文件的 S3 阶段，那么最好在其之上创建一个外部阶段。 如果您不需要保留历史文件以供审核，那么内部阶段是一个不错的选择，可以通过使用 PUT 命令将文件放置在阶段中来获得更好的性能。

由于只有在查询外部表时才会从文件中获取数据，因此拥有多个文件或合并所有文件不会产生影响。 但是，压缩会减少您的存储成本。