Databricks 流“找不到事务日志中引用的文件”

Question

因此，每当我尝试使用 ZF7B44CFFAFD5C52223D5498196C8A2E7BZ 从源中读取数据时，我都会收到此错误“找不到事务日志中引用的文件”，它指向一个不存在的文件。

我努力了：

• 更改检查点位置
• 更改开始位置
• 运行“spark._jvm.com.databricks.sql.transaction.tahoe.DeltaLog.clearCache()”

还有什么我可以做的吗？ 在此处为您发送我的 stream 设置的图像：

在此先感谢伙计们！

Answer 1

所以。 我有另一个正在运行的 stream 并且它具有与此 stream 相同的父目录。这似乎是一个问题。

第一个 stream 正在查看：.start("/mnt/dev_stream/first_stream") 第二个 stream 正在查看：.start("/mnt/dev_stream/second_stream")

编辑第二个 stream 以查看 in.start("/mnt/ new_dev_stream /new_second_stream") 解决了这个问题！