如何保持 flink 批处理作业在本地连续运行

Question

我正在 Windows 10 机器上通过 flink 批处理机制练习文件读取。

我从 flink 的官方网站下载了 flink-1.7.2-bin-hadoop24-scala_2.12.tgz 并执行了 start-cluster.bat 。

我通过 Flink 的 UI 上传了 jar 并且能够执行该作业，但该作业在几秒钟内完成。

我想让作业持续运行，以便我可以测试我的用例。

你能指导我实现这一目标的可能方法吗？

Answer 1

在 Flink 中，批处理作业会一直运行，直到它们的所有输入都被处理完毕，此时它们已经完成并被终止。 如果你想连续处理，那么你应该

• 使用一些部署自动化（在 Flink 之外）来安排根据需要创建新的批处理作业，或者
• 实现流式作业

在你的情况下，它听起来就像你可能会寻找FileProcessingMode.PROCESS_CONTINUOUSLY期权StreamExecutionEnvironment.readfile -看到文档的更多信息。