标签[apply-async] - 堆栈内存溢出

如何“轮询”python 多进程池 apply_async - how to "poll" python multiprocess pool apply_async

我有一个这样的任务 function：def task (s) : # doing some thing return res 原程序是：res = [] for i in data : res.append(task(i)) # using pickle to ...

Python：apply_sync() 和 tqdm() 打印新行 - Python: apply_sync() and tqdm() printing new line

我有以下代码，其中有 2 个变量运行 2 个独立的池来处理一堆表，进度应该通过 tqdm 栏反映出来。我相信我已经做到了，但我现在的问题是有新的进度条行，进度为 0，我不知道它是从哪里来的。我究竟做错了什么？代码 RESULT 结果终端截图 ...

Python：通过引用在 apply_async 中传递参数 - Python: pass an argument in apply_async by reference

在下面的代码中，我试图访问列表S中的字典：通常它发生在 python 中，我希望S[i]通过引用传递。但是我得到的 output 是： [{'key': 0}, {'key': 0}]而不是[{'key': 1}, {'key': 1}] 。为什么会这样？如何并行访问字典中的元素？ ...

Python：如果我将 pool.apply_async 命令包装在 try...except 中，它们是否仍然并行执行？ - Python: if I wrap pool.apply_async commands in try...except, are they still executed in parallel?

我已经接管了一位前同事编写的一些代码，当一个或多个并行函数通过NameError异常未被捕获时，这些代码经常被卡住。（并行化由multiprocessing.Pool 。）因为异常是由于某些 arguments 没有被定义，所以我能够捕获这个异常的唯一方法是将pool.apply_async命 ...

覆盖的 __setitem__ 调用串行工作，但在 apply_async 调用中中断 - Overridden __setitem__ call works in serial but breaks in apply_async call

我一直在与这个问题作斗争一段时间，我终于设法缩小问题范围并创建一个最小的工作示例。问题的总结是我有一个继承自dict的class，以方便解析misc。输入文件。我重写了__setitem__调用以支持对输入文件中的部分进行递归索引（例如parser['some.section.variable ...

使用 pool.apply_async 测试 ML model 的并行处理不允许访问结果 - Parallel processing for testing ML model with pool.apply_async does not allow access to results

我有一个包含 270 万个样本的数据集，我需要在这些数据集上测试我的 ML model。我的笔记本电脑上有 8 个内核，我想尝试并行化我的测试代码以节省时间。这是测试 function：我返回与我测试的样本相对应的索引以及与 model 为测试所做的计算相关的数据字典。 function W ...

使用 python 中的多处理生成 arrays 列表 - generating a list of arrays using multiprocessing in python

我很难实现并行化以生成 arrays 列表。在这种情况下，每个数组都是独立生成的，然后附加到一个列表中。当我用复杂的 arguments 喂它时，不知何故 multiprocessing.apply_asynch() 正在输出一个空数组。更具体地说，只是为了给出上下文，我正在尝试使用并行化实现 ...