使用pandas加载经过过滤的.tda文件的最简单方法是什么？

Question

熊猫具有出色的.read_table()函数，但大文件会导致MemoryError。
由于只需要加载满足特定条件的线，因此我正在寻找一种仅加载那些条件的线。

这可以使用一个临时文件来完成：

with open(hugeTdaFile) as huge:
    with open(hugeTdaFile + ".partial.tmp", "w") as tmp:
        tmp.write(huge.readline())  # the header line
        for line in huge:
            if SomeCondition(line):
                tmp.write(line)

t = pandas.read_table(tmp.name)

有办法避免使用临时文件吗？

Answer 1

您可以使用chunksize参数返回迭代器

看到这个： http : //pandas.pydata.org/pandas-docs/stable/io.html#iterating-through-files-chunk-by-chunk

• 根据需要过滤块框架
• 将过滤器附加到列表
• 最后连拍

（或者，您可以将它们写到新的csvs或HDFStores或其他内容中）