僅將 csv 的幾列導入為 python pandas Z6A8064B5DF479450500553C47DZ5？

Question

我只想將 csv 的一個子集作為 dataframe 導入，因為它太大而無法導入整個內容。 有沒有辦法在 pandas 中本地執行此操作，而無需設置類似數據庫的結構？

我嘗試只導入一個塊然后連接，這仍然太大並導致 memory 錯誤。 我有數百列，因此手動指定 dtypes 可能會有所幫助，但可能會花費大量時間。

df_chunk = pd.read_csv("filename.csv", chunksize=1e7)
df = pd.concat(df_chunk,ignore_index=True)

Answer 1

您可以使用 read_csv function 中的skiprows和nrows read_csv僅加載原始 dataframe 中的一部分行。

例如：

 import pandas as pd
 df = pd.read_csv("test.csv", skiprows = 4, nrows=10)