使用dask合並數據集證明不成功

Question

我正在嘗試使用Python中的Dask合並許多大型數據集，以避免加載問題。 我想將合並文件另存為.csv 。 這個任務比想象的要難：

我將一個僅包含兩個數據集的玩具示例放在一起，然后使用以下代碼：

import dask.dataframe as dd
import glob
import os

os.chdir('C:/Users/Me/Working directory')
file_list = glob.glob("*.txt")    

dfs = []
for file in file_list:
    ddf = dd.read_table(file, sep=';')
    dfs.append(ddf)

dd_all = dd.concat(dfs)

如果我使用dd_all.to_csv('*.csv') ，則只打印兩個原始數據集。 如果我使用dd_all.to_csv('name.csv')收到錯誤消息，指出該文件不存在。 （ FileNotFoundError: [Errno 2] No such file or directory: 'C:\\\\Users\\\\Me\\\\Working directory\\\\name.csv\\\\1.part' ）

我可以使用dd_all.compute()檢查合並的數據集是否已成功創建。

Answer 1

您誤解了Dask的工作原理-您所看到的行為符合預期。 為了能夠從多個工作線程並行寫入，每個工作線程必須能夠寫入一個單獨的文件。 例如，在寫入之前，無法知道第一個塊的長度。 因此，寫入單個文件必須是順序操作。

因此，默認操作是為每個輸入分區寫入一個輸出文件，這就是您所看到的。 由於Dask可以並行讀取這些內容，因此確實提出了一個問題，即為什么要創建一個輸出文件。

對於第二種不帶“ *”字符的方法，Dask假設您提供的是目錄，而不是文件，並試圖在此目錄中寫入兩個不存在的文件。

如果您確實想編寫一個文件，則可以執行以下操作之一：

• 使用repartition方法制作單個輸出，然后使用to_csv
• 編寫單獨的文件，然后將其連接起來（注意標題行）
• 依次遍歷數據幀的分區以寫入同一文件。