如何使用具有多个参数的多处理 pool.map

[英]How to use multiprocessing pool.map with multiple arguments

在 Python multiprocessing库中，是否有支持多个参数的pool.map变体？ ...

Python 多处理酸洗错误：无法酸洗<type 'function'></type>

[英]Python multiprocessing PicklingError: Can't pickle <type 'function'>

很抱歉，我无法用更简单的示例重现错误，而且我的代码太复杂而无法发布。 如果我在 IPython shell 而不是常规的 Python 中运行程序，一切都会顺利进行。 我查了一些以前关于这个问题的笔记。 都是用pool调用class function内定义的function引起的。但我不是这样的。E ...

如何获取传递给 multiprocessing.Process 的 function 的返回值？

[英]How to get the return value of a function passed to multiprocessing.Process?

在下面的示例代码中，我想获取 function worker的返回值。 我怎么能go做这个呢？ 这个值存储在哪里？ 示例代码： Output： 我似乎无法在jobs中存储的对象中找到相关属性。 ...

multiprocessing.Pool：何时使用 apply、apply_async 或 map？

[英]multiprocessing.Pool: When to use apply, apply_async or map?

我还没有看到Pool.apply 、 Pool.apply_async和Pool.map用例的清晰示例。 我主要使用Pool.map ； 别人的优势是什么？ ...

如何并行运行函数？

[英]How to run functions in parallel?

我首先进行了研究，但找不到我的问题的答案。 我正在尝试在 Python 中并行运行多个函数。 我有这样的事情： files.py import common #common is a util class that handles all the IO stuff dir1 = 'C:\fol ...

如何在 Python 中使用多处理队列？

[英]How to use multiprocessing queue in Python?

我在尝试理解多处理队列在 python 上的工作方式以及如何实现它时遇到了很多麻烦。 假设我有两个从共享文件访问数据的 python 模块，我们将这两个模块称为写入器和读取器。 我的计划是让读取器和写入器都将请求放入两个单独的多处理队列中，然后让第三个进程在循环中弹出这些请求并按此执行。 我的主要 ...

在 Python 中使用多处理时应该如何登录？

[英]How should I log while using multiprocessing in Python?

现在我在一个框架中有一个中央模块，它使用 Python 2.6 multiprocessing模块生成多个进程。 因为它使用multiprocessing ，所以有模块级 multiprocessing-aware 日志， LOG = multiprocessing.get_logger() 。 ...

使用多处理队列、池和锁定的死简单示例

[英]Dead simple example of using Multiprocessing Queue, Pool and Locking

我试图阅读http://docs.python.org/dev/library/multiprocessing.html 上的文档，但我仍在努力处理多处理队列、池和锁定。 现在我能够构建下面的示例。 关于队列和池，我不确定我是否以正确的方式理解了这个概念，所以如果我错了，请纠正我。 我想要实现的是 ...

尝试 python 多处理时 windows 上的运行时错误

[英]RuntimeError on windows trying python multiprocessing

我正在尝试我的第一个正式的 python 程序，在 windows 机器上使用线程和多处理。 我无法启动这些进程，但 python 给出了以下消息。 问题是，我没有在主模块中启动我的线程。 线程在 class 内的单独模块中处理。 编辑：顺便说一句，这段代码在 ubuntu 上运行良好。 不太在 w ...

多处理：使用 tqdm 显示进度条

[英]Multiprocessing : use tqdm to display a progress bar

为了使我的代码更“pythonic”和更快，我使用“multiprocessing”和 map function 发送它 a）function 和 b）迭代范围植入的解决方案（即直接在范围 tqdm.tqdm(range(0, 30)) 上调用 tqdm）不适用于多处理（如下面的代码所示）。 进度条 ...

多处理：如何在类中定义的函数上使用 Pool.map？

[英]Multiprocessing: How to use Pool.map on a function defined in a class?

当我运行类似的东西时： 它工作正常。 但是，将其作为一个类的函数： 给我以下错误：Exception in thread Thread-1: Traceback (most recent call last): File "/sw/lib/python2.6/threading.py", li ...

使用具有最大同时进程数的 multiprocessing.Process

[英]Using multiprocessing.Process with a maximum number of simultaneous processes

我有Python代码： 运行良好。 但是， MAX_PROCESSES是可变的，可以是1到512之间的任何值。 因为我只在一台有8个内核的机器上运行这段代码，所以我需要找出是否可以限制允许同时运行的进程数。 我查看了multiprocessing.Queue ，但它看起来不像我需要的 - 或者我可 ...

不能腌制<type 'instancemethod'>当使用多处理 Pool.map()</type>

[英]Can't pickle <type 'instancemethod'> when using multiprocessing Pool.map()

我正在尝试使用multiprocessing的Pool.map() function 同时划分工作。 当我使用以下代码时，它工作正常： 但是，当我在更面向对象的方法中使用它时，它就不起作用了。 它给出的错误信息是：PicklingError: Can't pickle &lt;type 'inst ...

多处理 for 循环？

[英]Multiprocessing a for loop?

我有一个数组（称为data_inputs ），其中包含数百个天文图像文件的名称。 然后处理这些图像。 我的代码有效并且需要几秒钟来处理每个图像。 但是，它一次只能处理一张图像，因为我正在通过for循环运行数组： 没有理由我必须在任何其他图像之前修改图像，那么是否可以利用我机器上的所有 4 个核心 ...

多处理中的共享内存对象

[英]Shared-memory objects in multiprocessing

假设我有一个很大的内存 numpy 数组，我有一个函数func将这个巨大的数组作为输入（以及一些其他参数）。 具有不同参数的func可以并行运行。 例如： 如果我使用多处理库，那么这个巨大的数组将被多次复制到不同的进程中。 有没有办法让不同的进程共享同一个数组？ 这个数组对象是只读的，永远不会 ...

多处理：如何在多个进程之间共享字典？

[英]multiprocessing: How do I share a dict among multiple processes?

创建多个进程的程序，这些进程在可连接队列Q ，并可能最终操纵全局字典D来存储结果。 （因此每个子进程都可以使用D来存储其结果，并查看其他子进程产生的结果） 如果我在子进程中打印字典 D，我会看到对其进行的修改（即在 D 上）。 但是主进程加入Q后，如果我打印D，就是一个空的dict！ 我知道这 ...

显示 Python 多处理池 imap_unordered 调用的进度？

[英]Show the progress of a Python multiprocessing pool imap_unordered call?

我有一个脚本，它通过imap_unordered()调用成功执行多处理池任务集： 但是，我的num_tasks大约为 250,000，因此join()将主线程锁定 10 秒左右，我希望能够以增量方式回显到命令行以显示主进程未锁定。 就像是： 结果对象或池本身是否有指示剩余任务数的方法？ 我尝 ...

如何解决 Python 多进程中的“AttributeError: __exit__”？

[英]How to troubleshoot an “AttributeError: __exit__” in multiproccesing in Python?

我试图重写一些 csv 读取代码，以便能够在 Python 3.2.2 的多个内核上运行它。 我尝试使用多处理的Pool对象，我从工作示例中改编（并且已经为我的项目的另一部分工作）。 我遇到了一条错误消息，我发现很难破译和排除故障。 错误： 相关代码： 解决此问题的好方法是什么？ ...

多处理中的共享内存

[英]Shared memory in multiprocessing

我有三个大名单。 第一个包含位数组（模块 bitarray 0.8.0），另外两个包含整数数组。 这些数据结构需要相当多的 RAM（总共约 16GB）。 如果我使用以下方法启动 12 个子流程： 这是否意味着将为每个子进程复制 l1、l2 和 l3，或者子进程将共享这些列表？ 或者更直接地 ...

多处理 - Pipe 与队列

[英]Multiprocessing - Pipe vs Queue

Python 的多处理 package中队列和管道的根本区别是什么？ 在什么情况下应该选择一个而不是另一个？ 什么时候使用Pipe()比较有利？ 什么时候使用Queue()比较有利？ ...