如何将 spark dataframe 重新分区为更小的分区

Question

我有一个按日期分区的 dataframe。 在正常处理中，我一次处理一周的数据，所以这意味着我有 7 个分区。 我想增加这个分区数，但不必在同一个分区中混洗数据或混合日期。

我试过使用df.repartition(20, my_date_column) ，但这只会导致 13 个空分区，因为 hash 分区器只会得到 7 个不同的值。

我也尝试过使用df.repartition(20, my_date_column, unique_id) ，它确实将分区数增加到 20，但这意味着日期在分区内混合。

我正在尝试做的事情可能吗？

Answer 1

也许您可以通过将spark.sql.files.maxPartitionBytes设置为较小的值来增加分区数。 根据调整指南：

属性名称： spark.sql.files.maxPartitionBytes
默认值：134217728 (128 MB)
含义：读取文件时打包到单个分区中的最大字节数。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。
自版本：2.0.0

或者，您可以尝试spark.sql.files.minPartitionNum但这仅意味着建议而不是保证分区数。