我正在使用子过程模块从shell调用程序,该子过程模块将二进制文件输出到STDOUT。

我使用Popen()调用程序,然后将流传递给Python包(称为“ pysam”)中的一个函数,不幸的是它无法使用Python文件对象,但可以从STDIN中读取。 所以我想做的是将shell命令的输出从STDOUT转到STDIN。

如何在Popen /子过程模块中完成此操作? 这是我调用shell程序的方式:

p = subprocess.Popen(my_cmd, stdout=subprocess.PIPE, shell=True).stdout

这将读取“ my_cmd”的STDOUT输出,并在p中获得流。 由于我的Python模块无法直接从“ p”读取,因此我尝试使用以下命令将“ my_cmd”的STDOUT重定向回STDIN:

p = subprocess.Popen(my_cmd, stdout=subprocess.PIPE, stdin=subprocess.PIPE, shell=True).stdout

然后,我调用我的模块,该模块使用“-”作为STDIN的占位符:

s = pysam.Samfile("-", "rb")

上面的调用仅意味着从STDIN读取(表示为“-”)并将其读取为二进制文件(“ rb”)。

当我尝试此操作时,我只是将二进制输出发送到屏幕,并且看起来Samfile()函数无法读取它。 即使我删除对Samfile的调用,也会发生这种情况,所以我认为这是我对Popen的调用而不是下游步骤。

编辑:为了回答答案,我尝试了:

sys.stdin = subprocess.Popen(tagBam_cmd, stdout=subprocess.PIPE, shell=True).stdout
print "Opening SAM.."                                                                                            
s = pysam.Samfile("-","rb")
print "Done?"
sys.stdin = sys.__stdin__    

这似乎挂起。 我得到的输出:

Opening SAM..

但它永远不会超出Samfile(“-”,“ rb”)行。 知道为什么吗?

任何想法如何解决?

编辑2:如果有帮助,我会添加到Pysam文档的链接,我真的无法弄清楚。 文档页面为:

http://wwwfgu.anat.ox.ac.uk/~andreas/documentation/samtools/usage.html

有关流的具体说明在这里:

http://wwwfgu.anat.ox.ac.uk/~andreas/documentation/samtools/usage.html#using-streams

尤其是:

“”“ Pysam不支持从真正的python文件对象读取和写入,但是它支持从stdin和stdout读取和写入。以下示例从stdin读取并写入stdout:

infile = pysam.Samfile( "-", "r" )
outfile = pysam.Samfile( "-", "w", template = infile )
for s in infile: outfile.write(s)

它还将与BAM文件一起使用。 以下脚本将stdin上的BAM格式的文​​件转换为stdout上的SAM格式的文​​件:

infile = pysam.Samfile( "-", "rb" )
outfile = pysam.Samfile( "-", "w", template = infile )
for s in infile: outfile.write(s)

注意,只有文件打开模式需要从r更改为rb。 “”

因此,我只想从Popen读取stdout的流,并将其重定向到stdin,以便可以使用Samfile(“-”,“ rb”),因为上面的部分说明是可能的。

谢谢。

===============>>#1 票数:2

在处理pysam的特定情况下,我能够使用命名管道(http://docs.python.org/library/os.html#os.mkfifo)解决此问题,该管道可以是像常规文件一样访问。 通常,您希望管道的使用者(读者)在开始写入管道之前先进行监听,以确保您不会错过任何内容。 但是,如果在stdin上尚未注册任何内容,则pysam.Samfile(“-”,“ rb”)将如您上面指出的那样挂起。

假设您要处理花费大量时间的先前计算(例如,在将bam传递给pysam之前对其进行排序),则可以启动该先前的计算,然后在流输出之前监听流:

import os
import tempfile
import subprocess
import shutil
import pysam

# Create a named pipe
tmpdir = tempfile.mkdtemp()
samtools_prefix = os.path.join(tmpdir, "namedpipe")
fifo = samtools_prefix + ".bam"
os.mkfifo(fifo)

# The example below sorts the file 'input.bam',
# creates a pysam.Samfile object of the sorted data,
# and prints out the name of each record in sorted order

# Your prior process that spits out data to stdout/a file
# We pass samtools_prefix as the output prefix, knowing that its
# ending file will be named what we called the named pipe
subprocess.Popen(["samtools", "sort", "input.bam", samtools_prefix])

# Read from the named pipe
samfile = pysam.Samfile(fifo, "rb")

# Print out the names of each record
for read in samfile:
    print read.qname

# Clean up the named pipe and associated temp directory
shutil.rmtree(tmpdir)

===============>>#2 票数:2 已采纳

我有点困惑,如果您使用stdout=subprocess.PIPE sys.stdin则在stdout上看到二进制文件,但是,总体问题是,如果您想欺骗pysam使用它,则需要使用sys.stdin。

例如:

sys.stdin = subprocess.Popen(my_cmd, stdout=subprocess.PIPE, shell=True).stdout
s = pysam.Samfile("-", "rb")
sys.stdin = sys.__stdin__ # restore original stdin

更新 :假设pysam在Python解释器的上下文中运行,因此,当指定“-”时,意味着python解释器的stdin。 不幸的是,事实并非如此。 当指定“-”时,它将直接从文件描述符0读取。

换句话说,它没有使用Python的stdin(sys.stdin)概念,因此替换它对pysam.Samfile()无效。 也不可能从Popen调用中获取输出,并以某种方式将其“推”到文件描述符0上。 它是只读的,另一端连接到您的终端。

将输出输出到文件描述符0的唯一真实方法是将其移至其他脚本,然后将两个脚本从第一个脚本连接在一起。 这确保了第一个脚本中Popen的输出将最终出现在第二个脚本的文件描述符0上。

因此,在这种情况下,最好的选择是将其分为两个脚本。 第一个将调用my_cmd并获取其输出,并将其用作另一个调用pysam.Samfile(“-”,“ rb”)的Python脚本的第二个Popen的输入。

===============>>#3 票数:0

如果您的系统支持它; 您可以使用/dev/fd/#文件名

process = subprocess.Popen(args, stdout=subprocess.PIPE)
samfile = pysam.Samfile("/dev/fd/%d" % process.stdout.fileno(), "rb")

  ask by translate from so

未解决问题?本站智能推荐:

2回复

Python子进程-变量类型?

我正在工作的python代码使用只能从Unix终端(Windows 7 OS,使用腻子终端)访问的某些程序,我已经看过无数篇文章,我知道有人问过类似的问题,但对我来说却无济于事。 这是代码 我收到的错误是这样的: 所以有点解释,“ blat”是我正在调用的程序,所有-fla
1回复

我如何关闭由python程序启动的子进程而不关闭程序

我有一个以下python程序,它将作为子进程打开一个命令并显示其输出。 但是,此命令在显示信息后会等待用户输入。 另一方面,我想获取该信息并关闭此子进程,然后返回程序正在执行的操作 程序是这个 我想要类似的东西 但是像 但我希望 主要目的是不等待该选择。
2回复

如何将子进程调用传递给文本文件?

现在我有一个我运行的脚本。 当我运行它并且它击中这一行时,它开始打印东西,因为run.sh中有打印。 如何将其传输到文本文件? (还可以打印,如果可能的话)
1回复

在Python中逐行写入管道的正确方法

如何从Python写入stdout并同时(通过Unix管道)将其提供给另一个程序? 例如,如果你有 但是您希望逐行到另一个程序,例如| wc -l | wc -l以便输出myfile的行。 怎么办? 谢谢。
1回复

Python Shell脚本。 Chain Unix OpenSSL命令

我正在尝试编写一个简单的Python shell脚本,该脚本将用户输入服务器名称和端口号,并将其路由到显示SSL证书过期信息的OpenSSL命令。 我正在使用子进程模块,但是我不清楚用用户输入的信息链接命令的正确方法。 完整的命令是: 输出命令(这是我希望脚本输出的内容):
1回复

Python子进程:提供标准输入,读取标准输出,然后提供更多标准输入

我正在使用一款名为Chimera的科学软件。 对于此问题下游的一些代码,它要求我使用Python 2.7。 我想调用一个流程,为该流程提供一些输入,读取其输出,并基于该输入为其提供更多输入,等等。 我使用Popen打开进程process.stdin.write来传递标准输入,但是后
1回复

将子进程的标准输入和标准输出重定向到管道

编辑:解决方案是 将标准输出设置为非缓冲是SETVBUF。 即使目标不是实际的屏幕,即使我正在打印换行符,我也认为它已被缓冲。 编辑:当我将fflush(stdout)放在LINE 1之后,将fflush(fout)放在LINE 4之后,它可以按预期工作。 但是,如果没有
1回复

Python子进程和shell输入重定向

在unix命令行上,我可以这样做: 但是,当我尝试这样做时: 我收到此错误: 是否无法使用子进程模块进行shell输入重定向?
2回复

重定向标准输出时在python上调用子进程时出错

我试图过滤由python脚本中的函数生成的文件: 但是,我收到有关命令的Followong错误: 怎么了?
2回复

终止由子进程执行的命令

我有一个python脚本,它监听特定的流并像这样记录它: 它还检查端口7777上的tcp连接(当流是活动时它连接到我的电脑上的这个端口)我希望每次端口7777上的连接关闭时终止子进程命令。 我怎样才能做到这一点?