繁体 English 中英

Spark 2.4.0将空数据帧写入镶木地板AWS s3

[英]Spark 2.4.0 writing empty dataframe to parquet AWS s3

原文 2019-11-28 21:06:30 0 1 scala/ apache-spark/ amazon-s3/ parquet

在Spark 2.4.0 EMR作业之后，将空DF写入AWS S3：

df
  .repartition(1)
  .write
  .mode(SaveMode.Append)
  .partitionBy(/* some_partitions */ )
  .parquet(target)

目标S3位置没有输出。 但是，根据解决的问题，这不是我期望的。 没有例外，但目标文件夹中也没有元数据，也没有_success文件。

提前致谢！

1 个解决方案

写入核心节点的hdfs如何？ 您看到那里写的文件了吗？

spark：在 s3 上写入镶木地板时出现 SAXParseException

[英]spark: SAXParseException while writing to parquet on s3

在Scala中使用Apache Spark在S3中写入镶木地板文件时出错

[英]Error writing parquet file in S3 with Apache Spark in Scala

如何从火花数据帧中的 AWS S3 读取多个文件？

[英]How to read multiple files from AWS S3 in spark dataframe?

使用空或嵌套空模式将数据帧写入镶木地板文件失败

[英]writing dataframe to parquet files failes with empty or nested empty schemas

将 Spark DataFrame 导出到 S3

[英]Exporting Spark DataFrame to S3

Spark：将大型数据帧写入镶木地板文件时出现 LeaseExpiredException

[英]Spark: LeaseExpiredException while writing large dataframe to parquet files

写入镶木地板时，Apache Spark数据帧不会重新分区

[英]Apache Spark dataframe does not repartition while writing to parquet

将空 dataframe 保存到镶木地板会导致错误 - Spark 2.4.4

[英]Saving empty dataframe to parquet results in error - Spark 2.4.4

s3实木复合地板写入-分区过多，写入缓慢

[英]s3 parquet write - too many partitions, slow writing

将镶木地板文件写入s3时出现奇怪的错误

[英]Strange error while writing parquet file to s3

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 spark：在 s3 上写入镶木地板时出现 SAXParseException 在Scala中使用Apache Spark在S3中写入镶木地板文件时出错如何从火花数据帧中的 AWS S3 读取多个文件？使用空或嵌套空模式将数据帧写入镶木地板文件失败将 Spark DataFrame 导出到 S3 Spark：将大型数据帧写入镶木地板文件时出现 LeaseExpiredException 写入镶木地板时，Apache Spark数据帧不会重新分区将空 dataframe 保存到镶木地板会导致错误 - Spark 2.4.4 s3实木复合地板写入-分区过多，写入缓慢将镶木地板文件写入s3时出现奇怪的错误

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM