如何保持 flink 批處理作業在本地連續運行

Question

我正在 Windows 10 機器上通過 flink 批處理機制練習文件讀取。

我從 flink 的官方網站下載了 flink-1.7.2-bin-hadoop24-scala_2.12.tgz 並執行了 start-cluster.bat 。

我通過 Flink 的 UI 上傳了 jar 並且能夠執行該作業，但該作業在幾秒鍾內完成。

我想讓作業持續運行，以便我可以測試我的用例。

你能指導我實現這一目標的可能方法嗎？

Answer 1

在 Flink 中，批處理作業會一直運行，直到它們的所有輸入都被處理完畢，此時它們已經完成並被終止。 如果你想連續處理，那么你應該

• 使用一些部署自動化（在 Flink 之外）來安排根據需要創建新的批處理作業，或者
• 實現流式作業

在你的情況下，它聽起來就像你可能會尋找FileProcessingMode.PROCESS_CONTINUOUSLY期權StreamExecutionEnvironment.readfile -看到文檔的更多信息。