在python中逐行迭代大型.xz文件

Question

我有一个很大的.xz文件（几GB）。 它充满了纯文本。 我想处理文本以创建自定义数据集。 我想逐行阅读，因为它太大了。 任何人都有一个想法怎么做？

我已经尝试过此方法如何在内存中打开和读取LZMA文件，但是它不起作用。

编辑：我收到此错误'ascii'编解码器无法解码位置0的字节0xfd：序数不在范围内（128）

for line in uncompressed:从链接

EDIT2：我的代码（使用python 3.5）

with open(filename) as compressed:
with lzma.LZMAFile(compressed) as uncompressed:
    for line in uncompressed:
        print(line)

Answer 1

几周前，我面临着同样的问题。 此代码段对我有用：

import lzma
with lzma.open('filename.xz', mode='rt') as file:
    for line in file:
       print(line)

假设压缩文件中的文本数据是用utf-8编码的（我的数据就是这种情况）。 函数lzma.open()有一个encoding参数，允许您根据需要设置其他编码

编辑（您自己编辑后）：尝试在lmza.open()强制encoding='utf-8'