将命令行 arguments 提交到 airflow 上的 pyspark 作业

Question

我在 GCP Dataproc 上有一个 pyspark 作业，将在 airflow 上触发，如下所示：

config = help.loadJSON("batch/config_file")

MY_PYSPARK_JOB = {
    "reference": {"project_id": "my_project_id"},
    "placement": {"cluster_name": "my_cluster_name"},
    "pyspark_job": {
        "main_python_file_uri": "gs://file/loc/my_spark_file.py"]
        "properties": config["spark_properties"]
        "args": <TO_BE_ADDED>
    },
}

我需要为这个 pyspark 作业提供命令行 arguments，如下所示 [这就是我从命令行运行 pyspark 作业的方式]：

spark-submit gs://file/loc/my_spark_file.py --arg1 val1 --arg2 val2

我正在使用“configparser”向我的 pyspark 作业提供 arguments。 因此，arg1 是键，val1 是我上面的 spark-submit 命令中的值。

如何在上面定义的“MY_PYSPARK_JOB”中定义“args”参数[相当于我的命令行参数]？

Answer 1

我终于设法解决了这个难题。 如果我们正在使用 ConfigParser，则必须按如下方式指定密钥 [无论参数是作为命令还是在气流中传递]：

--arg1

在 airflow 中，配置作为 Sequence[str] 传递（如下面的@Betjens 所述），每个参数定义如下：

arg1=val1

因此，根据我的要求，命令行 arguments 定义如下：

"args": ["--arg1=val1",
    "--arg2=val2"]

PS：感谢@Betjens 的所有建议。

Answer 2

你必须传递一个Sequence[str] 。 如果您检查DataprocSubmitJobOperator ，您将看到 params job实现了 class google.cloud.dataproc_v1.types.Job 。

class DataprocSubmitJobOperator(BaseOperator):
...
    :param job: Required. The job resource. If a dict is provided, it must be of the same form as the protobuf message.
    :class:`~google.cloud.dataproc_v1.types.Job` 

因此，在有关工作类型pySpark的部分，即google.cloud.dataproc_v1.types.PySparkJob ：

args Sequence[str] 可选。 arguments 传递给司机。 不要包括 arguments，例如--conf ，可以设置为作业属性，因为可能会发生冲突，导致作业提交不正确。