Flink 從單個 jar 運行多個作業

Question

我有 2 個作業從 Kafka 的 2 個主題中讀取數據。 每個作業的業務邏輯不同，可以並行運行，但它們使用任何公共庫、函數、...所以我在一個項目 java 中編寫了 2 個作業。 我有任何問題要運行上面的 2 個作業：

Opt1 ：上傳一個 jar（1 個主類包括 2 個流），並運行 1 個作業。

=> 但是有了檢查點，工作 1 可能會影響工作 2 並影響性能。

Opt2 ：上傳一個 jar（2 個主類對應 2 個流）並通過 EntryClass 運行 2 個作業：

=> 但是當我運行 2 個作業時，我發現了一個錯誤org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serialization.StringSerializer for configuration key.serializer: Class org.apache.kafka.common.serialization.StringSerializer could not be found. 如果我只運行 1 個作業，則不會出現錯誤。 我認為部署相同的 2 個文件 jar 時會發生 flink 沖突。

Opt3 ：每個作業構建一個 jar 並運行對應於 2 個 jar 的 2 個作業：

=> 我認為類似的 Opt2。

Answer 1

直到你肯定知道你有一個問題，越簡單越好。 因此，我首先將一個 jar 與一個工作流（您的 Opt1）一起使用，只有當您遇到問題時，我才會考慮創建兩個同時在集群（您的 Opt3）上運行的 jar（每個都有自己的工作流） .

順便說一句，您遇到的 Opt2 問題聽起來像是 jar 的包裝問題。