70GB 数据连接操作的 dask 数据帧最佳分区大小

Question

我有一个大约 70GB 的 dask 数据框和 3 列不适合内存。 我的机器是一个 8 核 Xeon 和 64GB 的 Ram 以及一个本地 Dask 集群。

我必须获取 3 列中的每一列并将它们连接到另一个更大的数据框。

文档建议分区大小为 100MB。 但是，考虑到这种数据大小，加入 700 个分区似乎比加入 70 个分区和 1000MB 的工作要多得多。

是否有理由将其保留在 700 x 100MB 分区？ 如果不是，这里应该使用哪个分区大小？ 这是否也取决于我使用的工人数量？

• 1 个 50GB 工作人员
• 2 x 25GB 工作人员
• 3 个 17GB 工作器

Answer 1

最佳分区大小取决于许多不同的因素，包括可用 RAM、您正在使用的线程数、您的数据集有多大，以及在许多情况下您正在进行的计算。

例如，在您的情况下，如果您的加入/合并代码可能是您的数据高度重复，因此您的 100MB 分区可能会迅速扩展 100 倍至 10GB 分区，并迅速填满内存。 或者他们可能不会； 这取决于你的数据。 另一方面，加入/合并代码确实会产生n*log(n)任务，因此减少任务数量（并因此增加分区大小）可能非常有利。

确定最佳分区大小具有挑战性。 一般来说，我们能做的最好的事情就是提供关于正在发生的事情的洞察力。 可以在这里找到：

• https://docs.dask.org/en/latest/best-practices.html#avoid-very-large-partitions
• https://docs.dask.org/en/latest/best-practices.html#avoid-very-large-graphs