如何向 EMR 提交 flink 流作业？
[英]How to submit flink streaming job to EMR?
问题描述
I have few long running (streaming) flink jobs which I want to run on AWS EMR.
我想在 AWS EMR 上运行的长时间运行（流）flink 作业很少。 I read the steps to do so from AWS console or using aws cli.我从 AWS 控制台或使用 aws cli 阅读了执行此操作的步骤。 But this is something manual.但这是手动的。 What are the ways to automate this in a production environment (where I can have multiple jobs and may need to handle failure scenarios as well)?在生产环境（我可以有多个作业，并且可能还需要处理故障情况）中，有什么方法可以使此过程自动化？
1 个解决方案
解决方案1
1 2019-12-11 07:38:07
If you want to submit multiple jobs to an EMR cluster, you could use Flink's REST API to submit and monitor jobs.如果你想向一个 EMR 集群提交多个作业，你可以使用 Flink 的REST API来提交和监控作业。 It uses the same port as the web UI, which you can access on EMR by following these instructions .它使用与 Web UI 相同的端口，您可以按照这些说明在 EMR 上访问该端口。
If you want to spin up a new EMR cluster for each Flink job, you can use AWS's API or CLI.如果您想为每个 Flink 作业启动一个新的 EMR 集群，您可以使用 AWS 的 API 或 CLI。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.