DASK dataframe.to_csv 将文件存储在工作人员而不是本地

Question

我对 DASK 很陌生，我正在尝试在私有云上设置分布式集群。 现在我有调度程序和一个工作程序，它们都在同一台机器上运行在同一个 Docker 容器中。 它们分别以dask-scheduler和dask-worker tcp://localhost:8786开始。

我正在从本地机器连接到调度程序。 为简单起见，假设我在本地运行 IPython 控制台，位于/home/my_user/local_directory目录中。 我在跑：

from dask.distributed import Client
client = Client('scheduler_host:scheduler_port')

这工作正常。 我可以做一些操作，安排工作， dataframes上的.compute()也按预期工作。

将结果保存到文件时遇到问题。 当遵循此处的示例并运行时：

import dask
import os
if not os.path.exists('data'):
    os.mkdir('data')
df = dask.datasets.timeseries()
df.to_csv('data/*.csv')

我希望 csv 文件 (1..30.csv) 将在本地data目录中创建，即在我本地机器上的/home/my_user/local_directory/data 。 相反，这些文件保存在调度程序/工作机器上的/home/my_user/local_directory/data目录中。 用df.to_csv('data/test.csv', single_file=True)替换最后一行时df.to_csv('data/test.csv', single_file=True)发生同样的情况。

用df.to_parquet('test.parquet')替换该行时会发生更有趣的事情。 在parquet情况下，在我的本地机器上创建了一个空的test.parquet目录，并将结果存储在调度程序/工作程序上的/home/my_user/local_directory/test.parquet 。 如果本地无法访问该目录，它也会引发错误。

根据此，运行to_parquet应在本地保存的文件。 但是根据this ，文件是在工作机器上本地创建的。 如果第二个是真的，为什么要在本地创建 parquet 目录？ 为什么工作人员在存储数据时会使用我的本地路径？

这是它应该如何工作？ 也许我的设置有问题？ 请指教！ 先感谢您！

Answer 1

Dask 数据帧存储功能保存工作人员的结果。 通常人们将 Dask 与全局文件系统一起使用，例如 NFS、HDFS 或云对象存储。

如果您想在本地存储东西，那么您应该在单台机器上使用 Dask，或者如果您的结果很小，您可以调用.compute将结果作为 Pandas 数据帧返回到您的本地机器，然后使用 Pandas 存储功能.