AWS 胶水火花提交使用 Spark avro
[英]AWS glue spark submit use Spark avro
问题描述
How to specify/pass packages parameters to the AWS glue spark job?
如何指定/传递包参数到 AWS 胶水火花作业？
I am using Glue version 1 which supportsSpark 2.4.3 and want to use Spark avro to read some avro files我正在使用支持Spark 2.4.3的Glue 版本 1 ，并希望使用 Spark avro 来读取一些 avro 文件
1 个解决方案
解决方案1
1 已采纳 2020-07-15 05:45:22
You cannot provide the package option to the glue jobs instead download the dependent jars from maven repository您不能为粘合作业提供 package 选项，而是从 maven 存储库下载依赖的 jars
Then place those jars in s3 and pass them as additional jars to your job.然后将这些 jars 放在 s3 中，并将它们作为额外的 jars 传递给您的工作。 This way you can access those jars within the job.这样您就可以在作业中访问那些 jars。
For spark2.4.3 you need to pass this jar对于spark2.4.3你需要通过这个 jar
https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.Z94D245484DAC042
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.