簡體 English 中英

AWS 膠水火花提交使用 Spark avro

[英]AWS glue spark submit use Spark avro

原文 2020-07-14 15:48:08 9 1 amazon-web-services/ apache-spark/ pyspark/ aws-glue/ aws-glue-spark

如何指定/傳遞包參數到 AWS 膠水火花作業？

我正在使用支持Spark 2.4.3的Glue 版本 1 ，並希望使用 Spark avro 來讀取一些 avro 文件

您不能為粘合作業提供 package 選項，而是從 maven 存儲庫下載依賴的 jars

然后將這些 jars 放在 s3 中，並將它們作為額外的 jars 傳遞給您的工作。 這樣您就可以在作業中訪問那些 jars。

對於spark2.4.3你需要通過這個 jar

[英]How to use Spark packages in AWS Glue?

[英]AWS EMR Spark Glue PySpark -

[英]Use Spark fileoutputcommitter.algorithm.version=2 with AWS Glue

[英]How to use AVRO format on AWS Glue/Athena

[英]Set spark configuration in aws glue pyspark

[英]Cross join optimizations on AWS Glue/Spark

[英]format AWS glue spark dataframe output

[英]How to pass AWS Glue external Spark packages?

[英]Access AWS Glue from local Spark

[英]How to import Spark packages in AWS Glue?

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何在 AWS Glue 中使用 Spark 包？ AWS EMR Spark Glue PySpark - 將 Spark fileoutputcommitter.algorithm.version=2 與 AWS Glue 結合使用如何在 AWS Glue/Athena 上使用 AVRO 格式在 aws 膠水 pyspark 中設置火花配置 AWS Glue/Spark 上的交叉聯接優化格式AWS膠火花dataframe output 如何傳遞 AWS Glue 外部 Spark 包？從本地 Spark 訪問 AWS Glue 如何在 AWS Glue 中導入 Spark 包？

相關標簽