沒有這樣的文件或目錄：.../part.0.parquet

Question

將鑲木地板文件上傳到我的 kubernetes 集群以使用 Dask 進行處理后，嘗試讀取時出現 FileNotFoundError

df=dd.read_parquet('home/jovyan/foo.parquet')
df.head()

這是完整的錯誤：

FileNotFoundError: [Errno 2] No such file or directory: '/home/jovyan/user_engagement_anon.parquet/part.0.parquet'

我可以看到該文件確實存在，並且相對於我的 jupyter notebook 實例的工作目錄，它位於預期的位置。

我不確定這是否重要，但是為了在我的 kubernetes 集群上啟動 dask 客戶端，我使用了以下代碼：

from dask.distributed import Client, progress

client=Client('dask-scheduler:8786', processes=False, threads_per_worker=4, n_workers=1, memory_limit='1GB')
client

此外，相同的操作在具有相同鑲木地板文件的本地機器上運行良好

Answer 1

問題是我使用 helm 版本單獨安裝 dask。 因此，dask 工人沒有與 jupyter notebook 共享相同的文件系統

為了解決這個問題，我使用了 dask-kubernetes python 庫來創建 worker，而不是單獨的 helm 版本。