读取 python 中的 gz 文件

Question

我正在尝试读取/提取文件train.gz的内容

我的代码：

import gzip
with gzip.open('train.gz', 'rb') as f:
    file_content = f.read()

当我运行时：

print(file_content)

我收到此错误（在 jupyter 笔记本上）：

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
/tmp/ipykernel_2392/4036593255.py in <module>
----> 1 print(file_content)

MemoryError: 

有什么建议么？

我

Answer 1

MemoryError表明该文件太大，您的运行时无法处理。

IIGC train.gz可能是训练 model 并且您可能必须将此 model 作为单个块处理。 如果是这样，您最好的解决方案是找到更大（更多内存）的机器。

如果可能（并且强烈推荐），您应该通过您的程序 stream 未压缩的文件，以便您可以将缓冲区|内存中 window 限制在它上面，从而限制您用完 ZCD69B4957F06CD8191ZBF3 的可能性。