讀取 python 中的 gz 文件

Question

我正在嘗試讀取/提取文件train.gz的內容

我的代碼：

import gzip
with gzip.open('train.gz', 'rb') as f:
    file_content = f.read()

當我運行時：

print(file_content)

我收到此錯誤（在 jupyter 筆記本上）：

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
/tmp/ipykernel_2392/4036593255.py in <module>
----> 1 print(file_content)

MemoryError: 

有什么建議么？

我

Answer 1

MemoryError表明該文件太大，您的運行時無法處理。

IIGC train.gz可能是訓練 model 並且您可能必須將此 model 作為單個塊處理。 如果是這樣，您最好的解決方案是找到更大（更多內存）的機器。

如果可能（並且強烈推薦），您應該通過您的程序 stream 未壓縮的文件，以便您可以將緩沖區|內存中 window 限制在它上面，從而限制您用完 ZCD69B4957F06CD8191ZBF3 的可能性。