如何运行/重新运行 AWS Glue 工作流程的作业子集？

Question

我正在构建一个由长期运行的作业组成的 AWS Glue 工作流，其中许多作业都会失败。 有没有什么办法可以在失败后重新运行我的工作流中的特定分支？

例如，我的工作流程如下所示：

<Start Trigger> -> [Job 1] -> [Job 2] -> [Job 4]
       ↳ [Job 4]

假设[Job 1]和[Job 4]各需要 3 小时，并且都成功完成。 然后[Job 2]被触发但失败，使我的工作流程处于这种状态：

<Start Trigger> -> [Job 1 ✔] -> [Job 2 ✗] -> [Job 4]
       ↳ [Job 4 ✔]

我进行了更改以修复[Job 2]并相信它会在重新运行时成功运行。 由于所有其他父作业已成功完成，我希望能够仅重新运行[Job 2] -> [Job 4]的[Job 2] -> [Job 4]分支。

无论如何，这可以在 AWS Glue 中完成吗？ 我正在考虑尝试构建粘合作业的AWS Step Functions 工作流，因为Step Functions 工作流似乎具有此功能。

Answer 1

自 2020 年 8 月起，现在可以使用此功能。