[英]How to use --properties-file flag in dataproc?
在进行 spark-submit 时，Gcloud 提供了使用 --properties-file 传递集群属性和 spark 配置的选项。 我不确定在运行作业时如何使用它。
创建一个任意名称的.txt文件。 该文件中的内容是行分隔的，如下所示。
spark.hadoop.hive.metastore.uris=ip1,ip2,ip3
spark.submit.deployMode=cluster
spark.yarn.appMasterEnv.PYTHONPATH=some_path
spark.executorEnv.PYTHONPATH=some_path
在您的 spark-submit 中传递 this.txt 文件，如下所示：
gcloud dataproc jobs submit pyspark --cluster=<cluster_name> --region=<region_name> main.py --properties-file <path to .txt file>
如何将 --properties-file 传递给 Qubole 中的 spark-submit？
[英]How to pass --properties-file to spark-submit in Qubole?
使用属性文件向 Google Dataproc 提交 Pig 作业时出错
[英]Error in submitting a pig job to Google Dataproc with properties file
如果我使用 Dataproc，它如何处理从 Apache Hadoop 和 Spark 到 Dataproc 的实时流数据？
[英]If I use Dataproc, how does it process real-time streaming data from Apache Hadoop and Spark to Dataproc?
如何从 Spark Dataproc 检查文件是否存在于 Google Storage 中？
[英]How to check if a file exists in Google Storage from Spark Dataproc?
Dataproc - SparkSession.builder.appName 未反映在 dataproc 属性上
[英]Dataproc - SparkSession.builder.appName not reflected on dataproc properties
Dataproc：如何配置 Spark 驱动程序和执行程序 log4j 属性？
[英]Dataproc: how do I configure Spark driver and executor log4j properties?
我可以将具有 log4j.appender.file.File 的 log4j.properties 文件作为 gcs 路径吗？
[英]Can I give dataproc's log4j.properties file having log4j.appender.file.File as gcs path?
GKE 上的 Dataproc：python 属性中列出的软件包未安装
[英]Dataproc on GKE: python packages listed in properties not installed
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.