同一個 Apache Flink 項目中的多個作業

Question

我在同一個 Flink 項目中有多個工作。 我想知道當我向 Flink 集群提交作業時，我不知道這個提交的 jar 正在運行哪個作業。 例如;

我在同一個 flink 項目中有 2 個作業，並創建 jar 然后將其部署到集群。 然后我使用相同的 jar 提交兩個作業。

然后我更改 job2，並創建新的 jar 文件。 然后用新上傳的 jar 提交 job2。

在這種情況下，當查看提交 UI 時，我真的不知道從這個 jar 提交了哪個作業。

為了防止它，我可以創建多個具有不同 jar 名稱的 flink 項目。

注意：我正在使用 CI/CD 管道，如果我在同一個項目中有多個作業，我無法動態創建 jar 名稱。

最好的做法是什么？

Answer 1

您可以在執行 flink 運行命令時指定作業名稱，方法是將參數傳遞給主 class，然后在 env.execute(params.get('your-job-name')) 中使用該值。 這樣你就可以使用相同的 jar 並傳遞不同的作業名稱，以便在部署后區分它的 flink Dashboard。