繁体 English 中英

为什么具有 1 个大行的 Spark dataframe 需要很长时间才能写入？

[英]Why is a Spark dataframe with 1 large row taking a long time to write?

原文 2022-07-01 00:06:14 0 0 apache-spark/ apache-spark-sql

我有一个只有 1 行的 dataframe，但该行的大小约为 1 GB。 写它需要很长时间。 我的工作因此运行了大约一个小时，这正常吗？

我在写之前做了 coalesce(10) ，它没有帮助。 我认为围绕数据行合并和重新分区洗牌，对吗？ 但在这种情况下，只有 1 行，所以数据偏斜仍然存在。

我该如何解决这个问题？

0 个解决方案

Spark dataFrame for-if 循环需要很长时间

[英]Spark dataFrame for-if loop taking a Long time

将数据帧写入磁盘在Pyspark中花费了不切实际的长时间（Spark 2.1.1）

[英]Writing a dataframe to disk taking an unrealistically long time in Pyspark (Spark 2.1.1)

Spark驱动程序解析转换需要很长时间，为什么？

[英]Spark driver parsing transformation is taking long time, why?

Spark mongo连接需要很长时间，然后才能预期

[英]Spark mongo connection taking long time then expected

Spark查询花费的时间太长

[英]Spark query taking too long time

Apache Spark 外连接需要很长时间

[英]Apache Spark Outer Join Taking long time

Spark union 需要很长时间才能完成 1 个长时间运行的任务

[英]Spark union taking a long time with 1 long-running task

Spark的dataframe count（）函数花费很长时间

[英]Spark's dataframe count() function taking very long

spark dataframe转换为rdd需要很长时间

[英]spark dataframe conversion to rdd takes a long time

将spark数据框的每一行写为单独的文件

[英]Write each row of a spark dataframe as a separate file

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Spark dataFrame for-if 循环需要很长时间将数据帧写入磁盘在Pyspark中花费了不切实际的长时间（Spark 2.1.1） Spark驱动程序解析转换需要很长时间，为什么？ Spark mongo连接需要很长时间，然后才能预期 Spark查询花费的时间太长 Apache Spark 外连接需要很长时间 Spark union 需要很长时间才能完成 1 个长时间运行的任务 Spark的dataframe count（）函数花费很长时间 spark dataframe转换为rdd需要很长时间将spark数据框的每一行写为单独的文件

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM