Spark Repartition 创建超过 128 MB 的分区

Question

假设我有一个 1.2 GB 的文件，因此考虑到 128 MB 的块大小，它将创建 10 个分区。 现在，如果我将它重新分区（或合并）为 4 个分区，这意味着每个分区肯定会超过 128 MB。 在这种情况下，每个分区必须保存 320 MB 的数据，但块大小为 128 MB。 我在这里有点困惑。 这怎么可能？ 我们如何创建一个大于块大小的分区？

Answer 1

块具有固定大小，是保存在集群或机器上特定位置的物理数据块。 分区只是数据的逻辑划分，独立于物理位置。

有关更详尽的解释，请参阅我对“文件是否分为块以存储在 HDFS 中？ ”