我正在考虑使用Python的多处理程序包在本地python程序之间进行消息传递。

这似乎是去IF的正确方法:

  • 程序将始终在同一台计算机(和同一OS实例)上本地运行
  • 程序的实现将保留在Python中
  • 速度很重要

如果python进程是由用户独立运行的,例如一个进程没有产生另一个进程,是否可能?

怎么样?
该文档似乎仅提供其中一个产生另一个的示例。

===============>>#1 票数:1

程序将始终在同一台计算机(和同一OS实例)上本地运行

多处理允许具有远程并发

程序的实现将保留在Python中

是的,没有。 您可以将另一个命令包装在python函数中。 这将起作用,例如:

from multiprocessing import Process
import subprocess

def f(name):
    subprocess.call(["ls", "-l"])

if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

速度很重要

这取决于许多因素:

  • 多少开销会导致进程之间的协调?
  • 您的CPU有多少个内核?
  • 每个进程需要多少磁盘I / O? 它们在同一物理磁盘上工作吗?
  • ...

如果python进程是由用户独立运行的,例如一个进程没有产生另一个进程,是否可能?

我不是该主题的专家,但是我曾经通过使用文件交换数据来实现了类似的操作[基本上,一个进程的输出文件被另一个进程监视为输入源,反之亦然]。

HTH!

===============>>#2 票数:1 已采纳

请参阅侦听器和客户端

  ask by Jonathan translate from so

未解决问题?本站智能推荐:

1回复

使用Python和参数进行多重处理

与我的上一篇文章(以某种方式被标记并关闭)有关,我编写了一些代码来为我的python TCP侦听器的命令处理程序创建线程。 基本上发生的是,我发送了一些数据并将其发送到TCP连接器中。 然后,TCP连接器创建另一个进程,并将通过该进程接收到的数据发送到命令侦听器中的函数。 我不知道发生了什
2回复

在类中使用多重处理

我在代码的混乱配置中完美地使用了multiprocessing 。 我决定给代码一些顺序,然后将其重新编写为类,然后可以轻松更改输入,我的新代码如下: 当我尝试使用类配置运行它时,出现以下错误: 反正有解决办法吗?
1回复

使用* args的Python多重处理

我正在以以下方式创建python进程 问题是args作为元组传递给process_func ,但我想将元组元素作为常规参数扩展。 我尝试了args=(*args, p_num,)但这创建了语法错误。 有没有办法扩大论点?
1回复

使用多重处理与多重处理时的结果不同

我有一个可以并行运行的长期任务。 我使用multiprocessing.dummy调试了代码。 效果很好,我得到了预期的结果。 但是当我将其更改为multiprocessing ,它运行_test函数的速度过快,甚至无法触及实际输出 这项工作是用数据填充熊猫数据框架,直到达到某个行计
1回复

多重处理和清单

我一直在尝试使用多处理模块来优化我的代码,但是我想我已经陷入了过早优化的陷阱。 例如,运行此代码时: 它花费的时间比这更长: 多处理列表比常规列表慢的原因是什么? 有没有办法使它们高效?
3回复

为什么多重处理很慢

我只是为了提高程序速度而开始阅读有关多处理的内容。 因此,我写了两个基本示例,从随机数列表中提取质数。 示例1:使用多处理 输出: 示例2:与示例1相同,但没有多处理 输出: 因此,与不使用它相比,多重处理使该程序(特别是也许)变得非常慢。 有什么解释吗
1回复

内部多重处理

我发现这里的帖子似乎有用: http://eli.thegreenplace.net/2012/01/16/python-parallelizing-cpu-bound-tasks-with-multiprocessing/ 而且我已经尝试了使用多处理的这段代码,但是对我来说不起作用
1回复

如何在多重处理函数中传递参数以及如何使用多重处理列表?

我正在尝试在python中使用多重处理。 我创建了一个函数,将该值附加到传递给该函数的列表中( check_m_process )。 我正在尝试传递在外部定义的列表( m )。 由于普通列表变量不会在多处理函数外部进行更新,因此我使用了多处理列表来查看对函数进行的更改。 执行函数时,它显示参数错误
1回复

使用多重处理并行处理许多文件

我试图了解我使用multiprocessing.Pool是否有效。 我想并行执行的方法是一个脚本,该脚本读取特定文件,进行计算,然后将结果保存到其他文件中。 我的代码如下所示: 如何在一个处理器中完成一个进程后立即看到下一个文件?
1回复

如何对包含多重处理的函数进行多重处理?

我在线上发现了一个非常复杂的函数,我确定该函数使用python multiprocessing包本身。 现在,我有许多系列的数据,我也想对该函数使用多重处理。 这是该函数的简化版本: 这个主要功能代表了我下载的复杂功能。 现在,如何使用并行多处理技术将该函数应用于10到10