Google Cloud Dataflow 使用什么 java 运行时？ java8 或 java11

Question

Google Cloud Dataflow 是基于 apache Beam 的。而 Beam 并未正式支持 java11。 但是，当我在 GCP 上运行数据流作业并检查该作业用作工作程序的 vm 实例时。 我发现，容器形象是“gcr.io/cloud-dataflow/v1beta3/beam-切换到java11 -batch：梁-2.23.0”。？”原来是数据流使用切换到java11作为Java运行时运行数据流时，为什么不使用java8？有错误有风险吗？

"spec": { "containers": [ { "args": [ "--physmem_limit_pct=70", "--log_file=/var/log/dataflow/boot-json.log", "--log_dir=/var /log/dataflow", "--work_dir=/var/opt/google/dataflow", "--tmp_dir=/var/opt/google/tmp", "--endpoint=https://dataflow.googleapis.com /" ], "image": "gcr.io/cloud-dataflow/v1beta3/beam-java11-batch:beam-2.23.0",

Answer 1

“Dataflow Runner”（Apache Beam 的一部分，将 Beam 管道转换为 Dataflow 的表示并提交作业）检测您用于提交作业的 Java 版本并尝试匹配它。 因此，如果您使用 Java 11 启动管道，则选择的工作线程将是 Java 11。

您可以通过传递--workerHarnessContainerImage标志来手动选择容器。 这不受“支持”，因为它很容易导致作业以 Dataflow 无法控制的方式失败。