有沒有辦法讓 pandas read_csv function 更快
[英]Is there a way to make pandas read_csv function faster
問題描述
目前，我正在處理一個很大的文件（大約 45GB）我正在嘗試使用 pandas read_csv function 加載文件，但是，加載文件需要永遠。 有沒有辦法加快這個過程？
我正在考慮將文件分成幾塊並使用多處理加載它們。
或者有沒有更好的方法來做到這一點？
編輯：我認為在 read_csv() 中使用 chunksize 參數是最好的選擇
1 個解決方案
解決方案1
2 2019-11-13 01:49:56
Pandas read_csv function：有沒有辦法根據索引將特定列讀取為字符串？
[英]Pandas read_csv function : is there a way to read specific column as string based on index?
如果在 function 中使用 pandas 到 read_csv，如何使用 nopython = True 制作 function？
[英]How to make a function jitted with nopython = True if there's use of pandas to read_csv inside the function?
使用 read_csv function 時，有沒有辦法驗證 Pandas 中的數據類型長度？
[英]Is there a way to validate data type lengths in Pandas when using the read_csv function?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
read_csv熊貓函數的輸入
熊貓read_csv
Read_CSV文件更快
Pandas read_csv function：有沒有辦法根據索引將特定列讀取為字符串？
如果在 function 中使用 pandas 到 read_csv，如何使用 nopython = True 制作 function？
Pandas read_csv函數正在讀取csv頭錯誤
使用 read_csv function 時，有沒有辦法驗證 Pandas 中的數據類型長度？
StringIO和pandas read_csv
Pandas read_csv 中的錯誤
有沒有辦法只命名 Pandas read_csv 中的某些列？
相關標簽