需要并行运行相同的python文件

Question

我正在运行一个python程序。 它基本上是进行ssh连接并维持该连接，即程序直到手动终止后才再次进入bash shell。 像下面这样

bash-4.1$ python monitor.py
CONNECTION MADE
one done...
two done...
three done...
.
.
.

我想让同一个monitor.py并行运行以进行各种ssh连接。 它们都是彼此独立的，不需要交换信息。 我可以通过Multithreading或多Multiprocessing吗？

Answer 1

您可以创建多个线程来实现您在问题中提到的内容。 以下代码是Python中的多线程示例。 尝试使用您的文件。

import thread
import time

# Define a function for the thread
def print_time( threadName, delay):
   count = 0
   while count < 5:
      time.sleep(delay)
      count += 1
      print "%s: %s" % ( threadName, time.ctime(time.time()) )

# Create two threads as follows
try:
   thread.start_new_thread( print_time, ("Thread-1", 2, ) )
   thread.start_new_thread( print_time, ("Thread-2", 4, ) )
except:
   print "Error: unable to start thread"

while 1:
   pass

输出量

Thread-1: Thu Jan 22 15:42:17 2009
Thread-1: Thu Jan 22 15:42:19 2009
Thread-2: Thu Jan 22 15:42:19 2009
Thread-1: Thu Jan 22 15:42:21 2009
Thread-2: Thu Jan 22 15:42:23 2009
Thread-1: Thu Jan 22 15:42:23 2009
Thread-1: Thu Jan 22 15:42:25 2009
Thread-2: Thu Jan 22 15:42:27 2009
Thread-2: Thu Jan 22 15:42:31 2009
Thread-2: Thu Jan 22 15:42:35 2009

Answer 2

这是一个类似的示例，它使用多处理而不是多线程（有关文档，请参见官方文档 ）。 Mulitprocessing的工作原理与多线程非常相似，但是它规避了全局解释器锁，因此允许您的脚本同时实际运行不同的进程，并有可能更好地利用有限的计算资源。

将多处理导入为mp

def my_function(*args):
    print("Arguments: {0}".format(args))


class MyProcess(mp.Process):
    def __init__(self, target, args):
        mp.Process.__init__(self, target=target, args=args)

def main():
    a1 = MyProcess(target=my_function, args=("1st Process...",))
    a2 = MyProcess(target=my_function, args=("2nd Process...",))
    a3 = MyProcess(target=my_function, args=("3rd Process...",))
    a4 = MyProcess(target=my_function, args=("4th Process...",))

    proclist = [a1, a2, a3, a4]
    for proc in proclist:
        proc.start()

    for proc in proclist:
        proc.join()

if __name__ == '__main__':
    main()

输出：

Arguments: ('1st Process...',)
Arguments: ('2nd Process...',)
Arguments: ('3rd Process...',)
Arguments: ('4th Process...',)

尽管这些任务似乎是固定的顺序，但是如果您添加的任务花费的时间不确定，它们将按照完成的顺序出现。 只需将my_function的内容替换为您的代码，就应该设置好了。 （注意：这使用的是Python2。在Python 3中也可以使用相同的功能，只需进行很少的修改（也许没有做任何修改），但是如果您使用的是Python 3，则还应该研究concurrent.futures ）。