ADF 数据流卡在进行中并因以下错误而失败

Question

ADF Pipeline DF 任务卡在进行中。 过去几个月它一直在无缝工作，但突然数据流停滞不前，并在一定时间后超时。 我们正在使用 IR 管理的虚拟网络。
我最近 3 天一直在尝试。 还是一样的问题。 我正在使用 foreach 循环为多个实体并行运行数据流，它总是随机地卡在最后一个实体上。

任何决议？

开发环境报错错误代码4508 Spark cluster not found

Prod 环境中的错误：错误代码 5000 故障类型用户配置问题详细信息 [plugins.*** ADF.adf-ir-001 WorkspaceType: CCID:] [Monitoring] Livy Endpoint=[https://hubservice1.eastus.azuresynapse.net :8001/api/v1.0/publish/815b62a1-7b45-4fe1-86f4-ae4b56014311]。 Livy Id=[0] 作业在运行时失败，状态为 [dead]。

在此输入图片描述 在此输入图片描述

我尝试了以下步骤>

1. 通过如下更改 IR 配置，在此处输入图像描述
2. 试过 DF 重试和重试间隔在此处输入图像描述
3. 此外，尝试 For each loop 一次一批而不是 4 批并行。 以上故障排除均无效。 这些 PL 在过去 3 到 4 个月内没有出现过一次故障，突然间它们开始连续 3 天出现故障。 DF 流总是针对不同的实体随机卡在进程中，并通过抛出上述错误在某一点超时。

Answer 1

错误代码 4508 未找到 Spark 集群。

此错误可能由两个原因引起。

• 调试 session 正在关闭，直到数据流完成其转换在这种情况下建议重新启动调试 session
• 第二个原因是由于资源问题或该特定区域的中断。

错误代码 5000 故障类型 用户配置问题详情 [plugins.*** ADF.adf-ir-001 WorkspaceType: CCID:] [Monitoring] Livy Endpoint=[https://hubservice1.eastus.azuresynapse.net:8001/api/ v1.0/发布/815b62a1-7b45-4fe1-86f4-ae4b56014311]。 Livy Id=[0] 作业在运行时失败，状态为 [dead]。

• 一个临时错误是“Livy job state dead caused by unknown error”。 数据流后端使用了spark集群，这个错误是spark集群产生的。 获取有关错误 go 的更多信息到StdOut执行的 StdOut。
• 后端集群可能遇到网络问题、资源问题或中断。

如果错误仍然存在，我的建议是在此处提出 Microsoft 支持票