com.databricks.sql.io.FileReadException Caused by: com.microsoft.azure.storage.StorageException: Blob hash mismatch

Question

我收到以下错误：

com.databricks.sql.io.FileReadException: Error while reading file wasbs:REDACTED_LOCAL_PART@blobStorageName.blob.core.windows.net/cook/processYear=2021/processMonth=12/processDay=30/processHour=18/part-00003-tid-4178615623264760328.c000.avro.
Caused by: com.microsoft.azure.storage.StorageException: Blob hash mismatch (integrity check failed), Expected value is 8P7bo1mnLPoLxVw==, retrieved bu+CiCkLm/kc6QA==.

其中 processYear、processMonth、processDay 和 processHour 是分区列。

然而，这实际上只是一个警告，并且代码仍然继续执行（我也可以在笔记本中单独读取这个文件）......但最终由于以下原因导致工作终止：

WARN Lost task 9026.0 in stage 324.0 (TID 1525596, 10.139.64.16, executor 83): TaskKilled (Stage cancelled)

我正在使用以下数据块和火花配置：

RuntimeVersion: 5.5.x-scala2.11
MasterConfiguration:
    NodeType: Standard_D32s_v3
    NumberOfNodes: 1
WorkerConfiguration:
    NodeType: Standard_D32s_v3
    NumberOfNodes: 2

同样的作业也部署在其他几个数据量更大的环境中，并且在那里不会失败。 知道为什么它可能会在这里失败吗？

谢谢！