繁体   English   中英

多处理,线程卡住,打印 output 搞砸了

[英]multiprocessing, threading gets stuck and printing output gets messed up

我在 python 中运行多个线程。 我试过使用线程模块,多处理模块。 即使执行给出了正确的结果,每次终端卡住并且 output 的打印都会变得混乱。
这是代码的简化版本。

import subprocess
import threading
import argparse
import sys

result = []

def check_thread(args,components,id):
    for i in components:
        cmd = <command to be given to terminal>
        output = subprocess.check_output([cmd],shell=True)
        result.append((id,i,output))

def check(args,components):
    # lock = threading.Lock()
    # lock = threading.Semaphore(value=1)
    thread_list = []
    for id in range(3):
        t=threading.Thread(target=check_thread, args=(args,components,i))
        thread_list.append(t)

    for thread in thread_list:
        thread.start()

    for thread in thread_list:
        thread.join()

    for res in result:
        print(res)

    return res

if __name__ == 'main':
    parser = argparse.ArgumentParser(....)
    parser.add_argument(.....)
    args = parser.parse_args()
    components = ['comp1','comp2']
    while True:
        print('SELECTION MENU\n1)\n2)\n')
        option = raw_input('Enter option')
        if option=='1':
            res = check(args, components)
        if option=='2':
            <do something else>
        else:
            sys.exit(0)   

我尝试过将多处理模块与 Process、pool 一起使用。 尝试将锁传递给 check_thread,尝试从 check_thread() 返回一个值并使用队列接收值,但每次结果相同,执行成功但终端卡住并打印 output 是破旧的。
有什么解决办法吗? 我正在使用 python 2.7。 我正在使用 linux 终端。
这是破旧的 output 的外观output

您应该使用队列模块而不是列表。

import multiprocessing as mp

# Define an output queue
output = mp.Queue()

# define a example function
def function(params, output):
    """ Generates a random string of numbers, lower- and uppercase chars. """
    # Process params and store results in res variable
    output.put(res)

# Setup a list of processes that we want to run
processes = [mp.Process(target=function, args=(5, output)) for x in range(10)]

# Run processes
for p in processes:
    p.start()

# Exit the completed processes
for p in processes:
    p.join()

# Get process results from the output queue
results = [output.get() for p in processes]

print(results)

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM