如何在远程YARN群集上运行Flink作业

Question

我在通过scala API远程部署Flink作业时遇到一些问题。

我在群集上启动Yarn会话，然后使用jar在命令行中运行我的作业没有问题。

我要用IDE直接运行我的工作。 在Scala中如何做？

val env = ExecutionEnvironment.createRemoteEnvironment("mymaster", 6123, "myjar-with-dependencies.jar")

这是行不通的，并且我意识到我没有在此声明任何YARN部署。

有什么帮助吗？

Answer 1

Flink当前（2017年3月，Flink 1.2）不允许通过ExecutionEnvironment以编程方式在YARN上进行部署。

您可以查看Flink内部的，未记录的API，以将其部署在YARN上，然后通过远程环境提交。