如何通过Pythons子进程管道传输到文件或Shell程序？

Question

我正在处理一些相当大的压缩文本文件，这些文件必须解压缩，编辑和重新压缩。 我使用Python的gzip模块进行解压缩和压缩，但是我发现我当前的实现远非最佳：

input_file = gzip.open(input_file_name, 'rb')

output_file = gzip.open(output_file_name, 'wb')

for line in input_file:
    # Edit line and write to output_file

这种方法的速度差得令人难以忍受-可能是因为使用gzip模块进行每行迭代会涉及大量开销：我最初还运行了一个行数例程，其中我-使用gzip模块-读取文件的块，然后计算每个块中的换行符数量非常快！

因此，优化措施之一绝对应该是读取我的文件，然后在解压缩这些块之后才进行每行迭代。

作为一项额外的优化，我看到了一些建议，可以通过子进程将Shell命令解压缩。 使用这种方法，上面第一行的内容可能是：

from subprocess import Popen, PIPE

file_input = Popen(["zcat", fastq_filename], stdout=PIPE)

input_file = file_input.stdout

使用这种方法，input_file成为一个类似文件的对象。 我不知道就可用属性和方法而言，它与真实文件对象有何不同，但一个区别是，显然它不能使用搜索，因为它是流而不是文件。

这确实运行得更快，并且应该-除非您在单台核心计算机上运行脚本，否则声明是这样。 后者必须表示，如果可能的话，子进程会自动将不同的线程运送到不同的内核，但是我不是专家。

现在是我当前的问题：我想以类似的方式压缩输出。 也就是说，我不想使用Python的gzip模块，而是将其通过管道传递给子进程，然后调用shell gzip。 这样，我可能可以在单独的内核中进行读取，编辑和编写，这对我来说听起来非常有效。 我对此进行了一些细微的尝试，但是尝试写入output_file导致文件为空。 最初，我使用touch命令创建一个空文件，因为如果文件不存在，则Popen失败：

call('touch ' + output_file_name, shell=True)

output = Popen(["gzip", output_file_name], stdin=PIPE)

output_file = output.stdin

非常感谢您的帮助，我正在使用Python 2.7。 谢谢。

Answer 1

您的意思是output_file = gzip_process.stdin 。 之后，您可以像以前使用gzip.open()对象一样使用output_file （不查找）。

如果结果文件为空，请检查是否在Python脚本末尾调用了output_file.close()和gzip_process.wait() 。 同样， gzip的用法可能不正确：如果gzip将压缩的输出写入其stdout，则传递stdout=gzip_output_file ，其中gzip_output_file = open(output_file_name, 'wb', 0) 。

Answer 2

这是一个如何完成此工作的示例：

#!/usr/bin/env python

from subprocess import Popen, PIPE

output = ['this', 'is', 'a', 'test']

output_file_name = 'pipe_out_test.txt.gz'

gzip_output_file = open(output_file_name, 'wb', 0)

output_stream = Popen(["gzip"], stdin=PIPE, stdout=gzip_output_file)  # If gzip is supported

for line in output:
    output_stream.stdin.write(line + '\n')

output_stream.stdin.close()
output_stream.wait()

gzip_output_file.close()

如果我们的脚本只写到控制台，而我们想压缩输出，则与上述命令等效的shell命令可能是：

script_that_writes_to_console | gzip > output.txt.gz