[英]Python, How should I log errors from multiple subprocesses?
我需要在Python中实现一个“主管”流程,该流程启动多个子流程并监视其运行。 必须解决的任务之一是记录由它们生成的错误消息。 阅读该问题后,我找到了以下解决方案:
#!/usr/bin/python
import subprocess
import threading
import time
import logging, logging.handlers
def log_subprocess_output(pipe):
with pipe:
for line in iter(pipe.readline, b''): # b'\n'-separated lines
myLogger.info('got line from subprocess: %r', line)
myLogger.info("Leaving output handler")
myLogger = logging.getLogger('MTEST')
myLogger.setLevel(logging.DEBUG)
myHandler = logging.FileHandler('log.txt')
formatter = logging.Formatter('%(asctime)s %(name)-15s %(levelname)-8s %(message)s')
myHandler.setFormatter(formatter)
myLogger.addHandler(myHandler)
myLogger.info('Test info message')
myLogger.debug('Test debug message')
myLogger.error('Test error message')
npar=[["test1","1.5","10"],
["test2","1.3","20"],
["test3","0.8","30"]]
for pars in npar:
# Let's start the external application
cmd=["./ext.py",]+pars
pd=subprocess.Popen(cmd,stderr=subprocess.PIPE)
# Now we should start the thread (process?) reading the stderr
th=threading.Thread(target=log_subprocess_output,args=(pd.stderr,))
th.start()
外部应用程序在可编程周期内生成可编程数量的人工错误消息的情况:
#!/usr/bin/python
import sys
import time
period=float(sys.argv[2])
number=int(sys.argv[3])
for i in range(0,number):
time.sleep(period)
sys.stderr.write(sys.argv[1]+" "+str(i)+'\n')
提出的解决方案工作可靠(我什至已使用该问题中提出的HTTP连接的远程日志记录服务器对其进行了测试)。 但是,由于需要混合子进程和线程模块,我不喜欢它。 是否有更好的解决方案来记录来自子流程的错误消息?
之所以需要线程化,是因为子进程的输出可以填满其输出缓冲区,这将导致其阻塞,从而永远不会终止,也不会执行其工作。 您的进程可能正在忙于做其他事情,因此您必须启动一个线程以在后台读取子进程的输出,而您的进程还要执行其他工作。
如果子进程在后台运行时没有有用的工作,您可以调用pd.communicate()
,它读取输出(使用线程,但在pd.communicate()
),等待子进程并然后将输出返回给您。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.