需要解决方案来安排Spark作业

Question

我是Spark的新手。 在我们的项目中

1. 我们已经将七个PLSql脚本转换为Scala-Spark。
2. 现有的PLSql脚本被安排为Talend上的作业。 每个脚本是按计划在单独的作业上执行的，并且这七个作业是按顺序运行的，只有在第一个作业成功完成之后，第二个作业才开始，直到下一个作业（第七个）都继续执行。

我的团队正在探索以其他方式将Scala-Spark程序安排为工作的可能性。 建议之一是将在Talend上运行的同一作业转换/写入Scala。 我不知道是否有可能。 因此，有人可以让我知道是否可以在Scala上做同样的事情。

Answer 1

您可以使用tSystem或tSSH组件在Talend中提交您的Spark作业。 并从提到的组件中获取响应代码（退出代码）。 如果退出代码= 0（成功），则可以提交下一个火花作业。 我们在项目中做了同样的事情。