使用 Cython 和 Pandas 讀取 TXT 文件
[英]Read TXT file with Cython and Pandas
問題描述
我有一個近 4GB 的海量數據集（文本文件），我想使用 pandas dataframe 來處理數據集。 我可以讀入文件，但需要幾分鍾才能讀入所有數據。
所以，我想利用 Cython 庫來利用 C 的速度。
我無法找出如何使用 Cython 將文本文件讀入 pandas dataframe。
任何指導都會有所幫助。
1 個解決方案
解決方案1
1 已采納 2020-11-29 07:36:28
讀取一次並將其存儲為具有更快 I/O 的其他文件格式（例如 HDF、pickle）。 您很可能會看到 10 到 20 倍的改進。
官方文檔中對每種文件格式的 I/O 速度和磁盤空間進行了粗略的比較： https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#performance-considerations
將帶有 pandas 的 txt 文件讀入 dataframe
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.