在python中多处理一个shell脚本

Question

我的要求是与多处理并行运行 shell 函数或脚本。 目前，我使用以下不使用多处理的脚本来完成它。 此外，当我并行启动 10 项工作时，一项工作可能会提前完成，并且必须等待其他 9 项工作完成。 我想借助 python 中的多处理来消除这种情况。

i=1 
total=`cat details.txt  |wc -l`
while [ $i -le $total ]
do
name=`cat details.txt | head -$i | tail -1 | awk '{print $1}'
age=`cat details.txt | head -$i | tail -1 | awk '{print $2}'
./new.sh $name $age  &
   if (( $i % 10 == 0 )); then wait; fi
done
wait

我想在启用多处理的python脚本中运行./new.sh $name $age （考虑到cpu的数量）正如您所看到的， $name 和 $age 的值在每次执行中都会发生变化。 请分享您的想法

Answer 1

首先，您的整个 schell 脚本可以替换为：

awk '{ print $1; print $2; }' details.txt | xargs -d'\n' -n 2 -P 10 ./new.sh

一个简单的python解决方案是：

from subprocess import check_call
from multiprocessing.dummy import Pool

def call_script(args):
    name, age = args  # unpack arguments
    check_call(["./new.sh", name, age])

def main():
    with open('details.txt') as inputfile:
        args = [line.split()[:2] for line in inputfile]
    pool = Pool(10)
    # pool = Pool()  would use the number of available processors instead
    pool.map(call_script, args)
    pool.close()
    pool.join()

if __name__ == '__main__':
    main()

请注意，这使用multiprocessing.dummy.Pool （线程池）来调用外部脚本，在这种情况下，它比进程池更可取，因为call_script方法所做的只是调用脚本并等待其返回。 在工作进程而不是工作线程中执行此操作不会提高性能，因为这是基于 IO 的操作。 它只会增加进程创建和进程间通信的开销。