如果你在塊中加載csv，pandas dropna（）不起作用

Question

我正在使用chunksize加載~24GB的csv文件

reader = pd.read_csv(in_file, chunksize=10000)

for chunk in reader:
    chunk.dropna(inplace=True)
    ...

我正在運行的問題是csv文件仍然具有空值。 知道那可能是什么嗎？

Answer 1

我最終做的是

reader = pd.read_csv(in_file, chunksize=10000)

for chunk in reader:
    chunk = chunk.dropna()
    ...

感謝@kabanus和@ user32185的幫助。 我還使用dask來幫助處理文件大小。