如何使用具有多个参数的多处理 pool.map

[英]How to use multiprocessing pool.map with multiple arguments

在 Python multiprocessing库中，是否有支持多个参数的pool.map变体？ ...

Python 多处理酸洗错误：无法酸洗<type 'function'></type>

[英]Python multiprocessing PicklingError: Can't pickle <type 'function'>

很抱歉，我无法用更简单的示例重现错误，而且我的代码太复杂而无法发布。 如果我在 IPython shell 而不是常规的 Python 中运行程序，一切都会顺利进行。 我查了一些以前关于这个问题的笔记。 都是用pool调用class function内定义的function引起的。但我不是这样的。E ...

multiprocessing.Pool：何时使用 apply、apply_async 或 map？

[英]multiprocessing.Pool: When to use apply, apply_async or map?

我还没有看到Pool.apply 、 Pool.apply_async和Pool.map用例的清晰示例。 我主要使用Pool.map ； 别人的优势是什么？ ...

如何获取传递给 multiprocessing.Process 的 function 的返回值？

[英]How to get the return value of a function passed to multiprocessing.Process?

在下面的示例代码中，我想获取 function worker的返回值。 我怎么能go做这个呢？ 这个值存储在哪里？ 示例代码： Output： 我似乎无法在jobs中存储的对象中找到相关属性。 ...

在 Python 中使用多处理时应该如何登录？

[英]How should I log while using multiprocessing in Python?

现在我在一个框架中有一个中央模块，它使用 Python 2.6 multiprocessing模块生成多个进程。 因为它使用multiprocessing ，所以有模块级 multiprocessing-aware 日志， LOG = multiprocessing.get_logger() 。 ...

Python 3 中的多处理、多线程和异步

[英]multiprocessing vs multithreading vs asyncio in Python 3

我发现在 Python 3.4 中，用于多处理/线程的库很少： multiprocessing vs threading vs asyncio 。 但我不知道使用哪一个或者是“推荐的”。 他们做同样的事情，还是不同？ 如果是这样，哪一个用于什么？ 我想在我的计算机上编写一个使用多核的程序。 但我不 ...

尝试 python 多处理时 windows 上的运行时错误

[英]RuntimeError on windows trying python multiprocessing

我正在尝试我的第一个正式的 python 程序，在 windows 机器上使用线程和多处理。 我无法启动这些进程，但 python 给出了以下消息。 问题是，我没有在主模块中启动我的线程。 线程在 class 内的单独模块中处理。 编辑：顺便说一句，这段代码在 ubuntu 上运行良好。 不太在 w ...

不能腌制<type 'instancemethod'>当使用多处理 Pool.map()</type>

[英]Can't pickle <type 'instancemethod'> when using multiprocessing Pool.map()

我正在尝试使用multiprocessing的Pool.map() function 同时划分工作。 当我使用以下代码时，它工作正常： 但是，当我在更面向对象的方法中使用它时，它就不起作用了。 它给出的错误信息是：PicklingError: Can't pickle &lt;type 'inst ...

Python 3 中的 Concurrent.futures 与多处理

[英]Concurrent.futures vs Multiprocessing in Python 3

Python 3.2 引入了Concurrent Futures ，它似乎是旧线程和多处理模块的一些高级组合。 与旧的多处理模块相比，将其用于 CPU 密集型任务有哪些优点和缺点？ 这篇文章表明它们更容易使用 - 是这样吗？ ...

multiprocessing.Pool：map_async 和 imap 有什么区别？

[英]multiprocessing.Pool: What's the difference between map_async and imap?

我正在尝试学习如何使用 Python 的multiprocessing包，但我不明白map_async和imap之间的区别。 我注意到map_async和imap都是异步执行的。 那么我什么时候应该使用一个？ 我应该如何检索map_async返回的结果？ 我应该使用这样的东西吗？ ...

多处理：如何在类中定义的函数上使用 Pool.map？

[英]Multiprocessing: How to use Pool.map on a function defined in a class?

当我运行类似的东西时： 它工作正常。 但是，将其作为一个类的函数： 给我以下错误：Exception in thread Thread-1: Traceback (most recent call last): File "/sw/lib/python2.6/threading.py", li ...

多处理 - Pipe 与队列

[英]Multiprocessing - Pipe vs Queue

Python 的多处理 package中队列和管道的根本区别是什么？ 在什么情况下应该选择一个而不是另一个？ 什么时候使用Pipe()比较有利？ 什么时候使用Queue()比较有利？ ...

线程和多处理模块之间有什么区别？

[英]What are the differences between the threading and multiprocessing modules?

我正在学习如何使用 Python 中的threading和multiprocessing模块来并行运行某些操作并加速我的代码。 我发现这很难（可能是因为我没有任何理论背景）来理解threading.Thread()对象和multiprocessing.Process() ) 对象之间的区别。 此 ...

多处理：使用 tqdm 显示进度条

[英]Multiprocessing : use tqdm to display a progress bar

为了使我的代码更“pythonic”和更快，我使用“multiprocessing”和 map function 发送它 a）function 和 b）迭代范围植入的解决方案（即直接在范围 tqdm.tqdm(range(0, 30)) 上调用 tqdm）不适用于多处理（如下面的代码所示）。 进度条 ...

python的多处理池的键盘中断

[英]Keyboard Interrupts with python's multiprocessing Pool

如何使用 python 的多处理池处理 KeyboardInterrupt 事件？ 这是一个简单的例子： 运行上面的代码时，当我按下^C时， KeyboardInterrupt会被引发，但该过程只是在此时挂起，我必须在外部将其杀死。 我希望能够随时按^C并让所有进程正常退出。 ...

如何并行运行函数？

[英]How to run functions in parallel?

我首先进行了研究，但找不到我的问题的答案。 我正在尝试在 Python 中并行运行多个函数。 我有这样的事情： files.py import common #common is a util class that handles all the IO stuff dir1 = 'C:\fol ...

如何在 Python 中使用多处理队列？

[英]How to use multiprocessing queue in Python?

我在尝试理解多处理队列在 python 上的工作方式以及如何实现它时遇到了很多麻烦。 假设我有两个从共享文件访问数据的 python 模块，我们将这两个模块称为写入器和读取器。 我的计划是让读取器和写入器都将请求放入两个单独的多处理队列中，然后让第三个进程在循环中弹出这些请求并按此执行。 我的主要 ...

多处理中的共享内存对象

[英]Shared-memory objects in multiprocessing

假设我有一个很大的内存 numpy 数组，我有一个函数func将这个巨大的数组作为输入（以及一些其他参数）。 具有不同参数的func可以并行运行。 例如： 如果我使用多处理库，那么这个巨大的数组将被多次复制到不同的进程中。 有没有办法让不同的进程共享同一个数组？ 这个数组对象是只读的，永远不会 ...

多处理：如何在多个进程之间共享字典？

[英]multiprocessing: How do I share a dict among multiple processes?

创建多个进程的程序，这些进程在可连接队列Q ，并可能最终操纵全局字典D来存储结果。 （因此每个子进程都可以使用D来存储其结果，并查看其他子进程产生的结果） 如果我在子进程中打印字典 D，我会看到对其进行的修改（即在 D 上）。 但是主进程加入Q后，如果我打印D，就是一个空的dict！ 我知道这 ...

Python 进程池非守护进程？

[英]Python Process Pool non-daemonic?

是否可以创建一个非守护进程的 python 池？ 我希望一个池能够调用内部有另一个池的 function。 我想要这个，因为守护进程无法创建进程。 具体来说，它会导致错误： 例如，考虑function_a有一个运行function_c的池的场景，该池有一个运行function_b的池。 这个 fu ...