繁体 English 中英

AWS 胶水火花提交使用 Spark avro

[英]AWS glue spark submit use Spark avro

原文 2020-07-14 15:48:08 9 1 amazon-web-services/ apache-spark/ pyspark/ aws-glue/ aws-glue-spark

如何指定/传递包参数到 AWS 胶水火花作业？

我正在使用支持Spark 2.4.3的Glue 版本 1 ，并希望使用 Spark avro 来读取一些 avro 文件

您不能为粘合作业提供 package 选项，而是从 maven 存储库下载依赖的 jars

然后将这些 jars 放在 s3 中，并将它们作为额外的 jars 传递给您的工作。 这样您就可以在作业中访问那些 jars。

对于spark2.4.3你需要通过这个 jar

[英]How to use Spark packages in AWS Glue?

[英]AWS EMR Spark Glue PySpark -

[英]Use Spark fileoutputcommitter.algorithm.version=2 with AWS Glue

[英]How to use AVRO format on AWS Glue/Athena

[英]Set spark configuration in aws glue pyspark

[英]Cross join optimizations on AWS Glue/Spark

[英]format AWS glue spark dataframe output

[英]How to pass AWS Glue external Spark packages?

[英]Access AWS Glue from local Spark

[英]How to import Spark packages in AWS Glue?

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何在 AWS Glue 中使用 Spark 包？ AWS EMR Spark Glue PySpark - 将 Spark fileoutputcommitter.algorithm.version=2 与 AWS Glue 结合使用如何在 AWS Glue/Athena 上使用 AVRO 格式在 aws 胶水 pyspark 中设置火花配置 AWS Glue/Spark 上的交叉联接优化格式AWS胶火花dataframe output 如何传递 AWS Glue 外部 Spark 包？从本地 Spark 访问 AWS Glue 如何在 AWS Glue 中导入 Spark 包？

相关标签