Databricks 是“更新 Delta 表的状态”

Question

我正在从 Datalake 读取并加入多个增量表，并将结果存储回另一个 Deltalake 位置。 这样做时，Databricks 向我展示：

根据我相互连接的增量表的数量，这可能需要很长时间。 即使加入本身也只需要几分钟，状态更新需要长达一个小时。

当我看到Updating the Delta table's state什么？ 我可以以某种方式优化它吗？

Answer 1

谢谢Karthikeyan Rasipalay Durairaj ，发布您的建议作为帮助其他社区成员的答案。

更新 Delta 表的状态。

命令状态报告意味着，

• 在每次查询开始时，Delta 表会自动更新到最新版本的表。
• Delta Lake 以优化的频率将检查点作为 Delta 表的聚合状态写入。
• Databricks 使用嵌套类型优化高阶函数和 DataFrame 操作的性能。
• 有关 Delta Lake on Databricks SQL 优化命令参考信息，请参阅
  • Databricks Runtime 7.x 及更高版本： 优化（Databricks 上的 Delta Lake）
  • Databricks Runtime 5.5 LTS 和 6.x： 优化（Databricks 上的 Delta Lake）