Flink：如何將額外的 JVM 選項傳遞給 TaskManager 和 JobManager

Question

我正在嘗試使用以下命令在紗線上提交 flink 作業：

/usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -Denv.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"

我在 flink 客戶端日志上獲得了env.java.opts ，但是當應用程序提交到 Yarn 時，這些 Java 選項將不可用。 由於額外的 JVM 選項不可用，應用程序在與 zookeeper 連接時拋出異常。

請建議，如何將動態屬性傳遞給在紗線上運行的 JM 和 TM。

注意：我嘗試將env.java.opts選項設置為conf/flink-conf.yaml並且它工作正常。 我需要一種通過 flink run 命令設置此選項的方法。

Answer 1

我認為你應該用-Denv.java.opts -yD env.java.opts替換-yD env.java.opts這樣你的命令就變成了：

/usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -yD env.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"

Answer 2

抱歉回復晚了，但我相信您在 YARN 上啟動了長時間運行的 Flink 會話，然后您通過 -Dxxx=yyy 設置的參數將被轉發到這在 YARN 中創建的 JM/TM。 你試過這種方法嗎？