使用 Asyncio 创建新的 Python 进程

[英]Using Asyncio to create new Python Processes

我正在设置一个 function 来异步启动一个新进程来运行一个非常占用 CPU 资源的 function。大多数文档都没有全面介绍这一点，而且我拼凑起来的内容似乎无法异步工作。 我有一个 function procManager ，它接受一个 function，传递给 function 的参数，以 ...

如何将设置代码和处理代码传递给另一个进程？

[英]How can I pass setup-code and processing-code to another process?

我有一个通用的多处理工作器 class，它从队列中获取要处理的项目。 worker class 的用户需要传递处理每个项目的 function。 但是，某些处理功能需要设置代码。 当前实现使用生成器 function，用户必须正确实现它才能正确执行设置代码一次，处理队列中的项目，并处理工作人员正 ...

在进程 python 中运行 function 时捕获实时 `stdout` 和 `stderr`

[英]Capture real time `stdout` and `stderr` when run a function in a process python

我有一个 python function 并希望将它作为一个单独的进程运行，并带有multiprocessing package。 然后使用以下脚本将其作为单独的进程运行： 现在，我需要捕获上述过程的实时stdout和stderr 。 有没有什么办法像： 但是我需要传递 function 而不是使 ...

PyInstaller 包导致 FileNotFoundError 与多处理生成方法

[英]PyInstaller bundle causes FileNotFoundError with multiprocessing spawn method

我有一个 python 应用程序，它是使用pyinstaller --onefile方法捆绑的。 当使用多处理启动方法spwan运行时，它会导致应用程序中间出现错误。 start 方法fork似乎没问题，但有时会因为资源锁定问题而挂起，所以我更喜欢 spawn。 有谁知道为什么会发生此错误？ 我一 ...

GUnicorn：重新启动 worker 后队列不工作

[英]GUnicorn: Queue not working after re-starting worker

问题陈述启动 GUnicorn 工作进程后，我希望工作进程仍然能够从另一个进程接收数据。 目前，我正在尝试使用multiprocessing.Queue来实现这一点。 具体来说，我在 fork workers 之前启动了一个数据管理进程，并使用两个队列将其与 workers 连接起来。 一个队列供工 ...

多处理 - Pipe 与队列

[英]Multiprocessing - Pipe vs Queue

Python 的多处理 package中队列和管道的根本区别是什么？ 在什么情况下应该选择一个而不是另一个？ 什么时候使用Pipe()比较有利？ 什么时候使用Queue()比较有利？ ...

如何增加多个进程的共享计数器？

[英]How to increment a shared counter from multiple processes?

我在使用multiprocessing模块时遇到问题。 我正在使用一个工作Pool及其map方法来同时分析大量文件。 每次处理一个文件时，我都希望更新一个计数器，以便我可以跟踪还有多少文件需要处理。 这是示例代码： 我找不到解决方案。 ...

pytest 在单独的进程中请求 fastapi

[英]pytest requests to fastapi in a separate process

我正在尝试对使用 FastAPI 编写的 API 进行工作测试。 我在一个单独的进程中启动该服务，使用对服务的请求运行测试，并检查结果是否符合预期。 我已将关键部分提取到 PD 中的最小工作示例中。 使用主文件运行 MWE 工作正常。 但是，测试失败了。 为什么测试会失败？ 我们应该如何测试 AP ...

如何在第一个脚本运行时将 argparse 变量从一个脚本发送到另一个脚本？

[英]How do I send argparse variables from one script to another while the first script is running?

我目前正在开展一个 Capstone 项目，我的团队将在该项目中使用 Python 构建网络流量分析器。但在我们完成所有工作之前，我必须为命令行界面构建基线。 我的目标是创建一个接受 arguments 进行初始化的接口，但稍后可以在脚本仍在运行时从命令行获取不同的 arguments。 所以我遇 ...

multiprocessing 是否正常工作？

[英]Does multiprocessing work like this normally?

源代码 我没有让它按预期工作。 它必须在 1s 内完成该过程，但需要 2s 排队一个 function 一个接一个。 我在 Python 3.11.1 [64 位] 上运行它 ...

如何使用 Python 的 concurrent.futures 跨多个进程对任务进行排队，每个进程都有自己的线程池？

[英]How can I use Python's concurrent.futures to queue tasks across multiple processes each with their own thread pool?

我正在开发一个库 function，它使用concurrent.futures跨多个线程传播网络 I/O。 由于 Python GIL，我的某些工作负载（大文件）速度变慢，因此我想切换到多个进程。 但是，对于某些其他工作负载（许多小文件），多个进程也不太理想。 我想拆分差异并拥有多个进程，每个进程 ...

涉及 np.linalg.eig 的单个 Python 脚本莫名其妙地占用了 128 个 CPU？

[英]A single Python script involving np.linalg.eig is inexplicably taking 128 CPUs?

注意：问题似乎与np.linalg.eig和eigsh以及scipy.sparse.linalg.eigsh 。 对于不涉及这些功能的脚本，AWS 盒子上的一切都按预期工作。 我发现有问题的最基本的脚本是：import numpy as np for i in range(0, num_iter) ...

如何在使用多处理时动态更改函数中变量的值

[英]How to dynamically change the value of variable in functions while using multiprocessing

我如何动态更改 lis 的值，以便每秒 output 一个列表，其中最后一个元素是前一个列表最后一个元素的 2 倍。 我需要 output 是这样的 但现在 output 是 我尝试使用global lis ，但也没有用。 ...

如何“轮询”python 多进程池 apply_async

[英]how to "poll" python multiprocess pool apply_async

我有一个这样的任务 function：def task (s) : # doing some thing return res 原程序是：res = [] for i in data : res.append(task(i)) # using pickle to ...

分组 dataframe 并使用 Python/Dask/multiprocessing 以并行方式对结果矩阵执行操作？

[英]Grouping a dataframe and performing operations on the resulting matrix in a parallelized manner using Python/Dask/multiprocessing?

我正在做一个项目，我需要根据分子的 ID 对数据库中的分子进行分组，并对生成的矩阵执行操作。 我正在使用 Python，我想通过并行处理来提高性能。 我目前正在从 SDF 文件加载分子并将它们存储在 Pandas dataframe 中。每个分子都有一个 ID、一个唯一的 Pose ID 和一个唯 ...

谷歌 API 多处理

[英]Google API Multi-Processing

我正在尝试从我的 Gmail 帐户（主题、发件人、日期、邮件正文）下的电子邮件中获取特定信息，并且能够使用 Google API 和相关库成功地做到这一点，但是，我注意到您拥有的电子邮件越多解析所需的时间越长，以至于解析 34 封电子邮件需要将近 15 秒，如果您试图将其扩展到解析 1000 封电子 ...

SCOOP - 如何让工作人员在继续之前等待根工作人员

[英]SCOOP - How to make workers wait for root worker before continuing

我在工作中使用 SCOOP（和 Python 3.6 - 无法更新）。 我需要所有工作人员执行计算，然后等待根节点执行缓慢的计算（ if __name__ == '__main__':中的代码），然后使用根节点计算产生的 dataframe 执行另一次计算。 我的问题是 SCOOP 立即启动所有工作 ...

多处理获取数组

[英]Multiprocessing obtaining array

我想使用以下代码获取 result_1 和 result_2 arrays： 但是，当我运行代码时，我得到以下 output： 我怎么解决这个问题？ ...

Python并发期货大量投入闲置

[英]Python concurrent futures large number of inputs sit idle

我正在使用 Python 的 concurrent.futures 处理大量文件（数千万）。 发出少量输入工作正常，但是当输入大小增加时，进程就不会启动。 以下代码仅在输入大小较小时执行，例如 20_000。 我试图通过如下小批量提交作业来克服这个问题： 但同样，它要么根本不启动，要么在外部 for ...

multiprocessing.Queue 实例作为参数传递给 multiprocessing.Process 时如何序列化？

[英]How is the multiprocessing.Queue instance serialized when passed as an argument to a multiprocessing.Process?

一个相关的问题出现在Why I can't use multiprocessing.Queue with ProcessPoolExecutor? . 我提供了部分答案和解决方法，但承认该问题引发了另一个问题，即为什么可以将multiprocessing.Queue实例作为参数传递给multip ...