有效地将大型Pandas数据帧写入磁盘
[英]Efficiently writing large Pandas data frames to disk
问题描述
我试图找到使用Python / Pandas有效地在磁盘上写入大数据帧（250MB +）的最佳方法。 我已经尝试了Python中用于数据分析的所有方法，但性能一直非常令人失望。
这是探索将我们当前的分析/数据管理环境从Stata迁移到Python的大型项目的一部分。 当我将测试中的读/写时间与Stata中的读/写时间进行比较时，Python和Pandas的使用时间通常超过20倍。
我强烈怀疑我是问题，而不是Python或Pandas。
有什么建议？
1 个解决方案
解决方案1
9 2013-10-28 16:08:24
使用HDFStore是你最好的选择（书中没有详细介绍，并且已经发生了很大变化）。 您会发现性能比任何其他序列化方法都要好。
如何有效地将 pandas 系列/数据帧的子集剪辑到范围
[英]How to efficiently clip subsets of pandas series/data-frames to range
Python Pandas - 使用 to_sql 以块的形式写入大型数据帧
[英]Python Pandas - Using to_sql to write large data frames in chunks
同步熊猫中两个大数据帧的最有效方法是什么？
[英]what is the most efficient way to synchronize two large data frames in pandas?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.