繁体 English 中英

合并时的 Spark 分区大小

[英]Spark partitions size on coalesce

原文 2017-02-06 11:55:32 6 1 java/ apache-spark

有什么办法可以让 Spark 在coalesce制作相同大小的分区吗？

Stats[] stats = sparkSession
    .read()
    .parquet(salesPath)
    .coalesce(5) // may produce partitions of 120, 1, 1, 0, 0

1 个解决方案

没有办法使用coalesce相同大小的分区。 您应该为此使用repartition 。

查看https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#transformations

SPARK：了解合并方法吗？

[英]SPARK: Understanding coalesce method?

了解Spark中的合并

[英]Understanding coalesce in Spark

如何使用合并更改分区数？

[英]How to change the number of partitions using coalesce?

Spark：合并已排序的分区

[英]Spark: Merge sorted partitions

在火花 java dataframe 中合并列

[英]Coalesce columns in spark java dataframe

目标数据库大小在合并时加倍

[英]target db size doubles on coalesce

Spark-使用foreachpartition收集分区

[英]Spark - Collect partitions using foreachpartition

读取 HDFS 小尺寸分区？

[英]Reading HDFS small size partitions?

程序中设置的分区数与spark web ui中显示的分区数不匹配

[英]No of partitions set in the program is not matching with the no of partitions showing in spark web ui

SPARK Partitions 和 Worker Cores 有什么区别？

[英]What is the difference between SPARK Partitions and Worker Cores?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 SPARK：了解合并方法吗？了解Spark中的合并如何使用合并更改分区数？ Spark：合并已排序的分区在火花 java dataframe 中合并列目标数据库大小在合并时加倍 Spark-使用foreachpartition收集分区读取 HDFS 小尺寸分区？程序中设置的分区数与spark web ui中显示的分区数不匹配 SPARK Partitions 和 Worker Cores 有什么区别？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM