如何将设置代码和处理代码传递给另一个进程？
[英]How can I pass setup-code and processing-code to another process?
我有一个通用的多处理工作器 class，它从队列中获取要处理的项目。 worker class 的用户需要传递处理每个项目的 function。 但是，某些处理功能需要设置代码。 当前实现使用生成器 function，用户必须正确实现它才能正确执行设置代码一次，处理队列中的项目，并处理工作人员正 ...
pytest 在单独的进程中请求 fastapi
[英]pytest requests to fastapi in a separate process
我正在尝试对使用 FastAPI 编写的 API 进行工作测试。 我在一个单独的进程中启动该服务，使用对服务的请求运行测试，并检查结果是否符合预期。 我已将关键部分提取到 PD 中的最小工作示例中。 使用主文件运行 MWE 工作正常。 但是，测试失败了。 为什么测试会失败？ 我们应该如何测试 AP ...
GUnicorn：重新启动 worker 后队列不工作
[英]GUnicorn: Queue not working after re-starting worker
问题陈述启动 GUnicorn 工作进程后，我希望工作进程仍然能够从另一个进程接收数据。 目前，我正在尝试使用multiprocessing.Queue来实现这一点。 具体来说，我在 fork workers 之前启动了一个数据管理进程，并使用两个队列将其与 workers 连接起来。 一个队列供工 ...
如何在第一个脚本运行时将 argparse 变量从一个脚本发送到另一个脚本？
[英]How do I send argparse variables from one script to another while the first script is running?
我目前正在开展一个 Capstone 项目，我的团队将在该项目中使用 Python 构建网络流量分析器。但在我们完成所有工作之前，我必须为命令行界面构建基线。 我的目标是创建一个接受 arguments 进行初始化的接口，但稍后可以在脚本仍在运行时从命令行获取不同的 arguments。 所以我遇 ...
在进程 python 中运行 function 时捕获实时 `stdout` 和 `stderr`
[英]Capture real time `stdout` and `stderr` when run a function in a process python
我有一个 python function 并希望将它作为一个单独的进程运行，并带有multiprocessing package。 然后使用以下脚本将其作为单独的进程运行： 现在，我需要捕获上述过程的实时stdout和stderr 。 有没有什么办法像： 但是我需要传递 function 而不是使 ...
multiprocessing 是否正常工作？
[英]Does multiprocessing work like this normally?
源代码 我没有让它按预期工作。 它必须在 1s 内完成该过程，但需要 2s 排队一个 function 一个接一个。 我在 Python 3.11.1 [64 位] 上运行它 ...
如何在使用多处理时动态更改函数中变量的值
[英]How to dynamically change the value of variable in functions while using multiprocessing
我如何动态更改 lis 的值，以便每秒 output 一个列表，其中最后一个元素是前一个列表最后一个元素的 2 倍。 我需要 output 是这样的 但现在 output 是 我尝试使用global lis ，但也没有用。 ...
如何“轮询”python 多进程池 apply_async
[英]how to "poll" python multiprocess pool apply_async
我有一个这样的任务 function：def task (s) : # doing some thing return res 原程序是：res = [] for i in data : res.append(task(i)) # using pickle to ...
涉及 np.linalg.eig 的单个 Python 脚本莫名其妙地占用了 128 个 CPU？
[英]A single Python script involving np.linalg.eig is inexplicably taking 128 CPUs?
注意：问题似乎与np.linalg.eig和eigsh以及scipy.sparse.linalg.eigsh 。 对于不涉及这些功能的脚本，AWS 盒子上的一切都按预期工作。 我发现有问题的最基本的脚本是：import numpy as np for i in range(0, num_iter) ...
如何使用 Python 的 concurrent.futures 跨多个进程对任务进行排队，每个进程都有自己的线程池？
[英]How can I use Python's concurrent.futures to queue tasks across multiple processes each with their own thread pool?
我正在开发一个库 function，它使用concurrent.futures跨多个线程传播网络 I/O。 由于 Python GIL，我的某些工作负载（大文件）速度变慢，因此我想切换到多个进程。 但是，对于某些其他工作负载（许多小文件），多个进程也不太理想。 我想拆分差异并拥有多个进程，每个进程 ...
谷歌 API 多处理
[英]Google API Multi-Processing
我正在尝试从我的 Gmail 帐户（主题、发件人、日期、邮件正文）下的电子邮件中获取特定信息，并且能够使用 Google API 和相关库成功地做到这一点，但是，我注意到您拥有的电子邮件越多解析所需的时间越长，以至于解析 34 封电子邮件需要将近 15 秒，如果您试图将其扩展到解析 1000 封电子 ...
多处理获取数组
[英]Multiprocessing obtaining array
我想使用以下代码获取 result_1 和 result_2 arrays： 但是，当我运行代码时，我得到以下 output： 我怎么解决这个问题？ ...
分组 dataframe 并使用 Python/Dask/multiprocessing 以并行方式对结果矩阵执行操作？
[英]Grouping a dataframe and performing operations on the resulting matrix in a parallelized manner using Python/Dask/multiprocessing?
我正在做一个项目，我需要根据分子的 ID 对数据库中的分子进行分组，并对生成的矩阵执行操作。 我正在使用 Python，我想通过并行处理来提高性能。 我目前正在从 SDF 文件加载分子并将它们存储在 Pandas dataframe 中。每个分子都有一个 ID、一个唯一的 Pose ID 和一个唯 ...
Python并发期货大量投入闲置
[英]Python concurrent futures large number of inputs sit idle
我正在使用 Python 的 concurrent.futures 处理大量文件（数千万）。 发出少量输入工作正常，但是当输入大小增加时，进程就不会启动。 以下代码仅在输入大小较小时执行，例如 20_000。 我试图通过如下小批量提交作业来克服这个问题： 但同样，它要么根本不启动，要么在外部 for ...
SCOOP - 如何让工作人员在继续之前等待根工作人员
[英]SCOOP - How to make workers wait for root worker before continuing
我在工作中使用 SCOOP（和 Python 3.6 - 无法更新）。 我需要所有工作人员执行计算，然后等待根节点执行缓慢的计算（ if __name__ == '__main__':中的代码），然后使用根节点计算产生的 dataframe 执行另一次计算。 我的问题是 SCOOP 立即启动所有工作 ...
multiprocessing.Queue 实例作为参数传递给 multiprocessing.Process 时如何序列化？
[英]How is the multiprocessing.Queue instance serialized when passed as an argument to a multiprocessing.Process?
一个相关的问题出现在Why I can't use multiprocessing.Queue with ProcessPoolExecutor? . 我提供了部分答案和解决方法，但承认该问题引发了另一个问题，即为什么可以将multiprocessing.Queue实例作为参数传递给multip ...
我可以在 3 个进程之间共享一个 multiprocessing.Manager() 实例吗？
[英]can I share a multiprocessing.Manager() instance across 3 processes?
我试图了解是否允许我在 python 中执行以下操作： 在我的程序中创建一个管理器实例 fork 现有进程 N 次在我的初始过程中，将数据发送到管理器（到一些共享变量） 在我的分叉进程中，从管理器读取数据（从共享变量） 根据我的理解，它应该是管理者的主要用例。 但是，我正在为超过 2 个进程尝试此 ...
多线程 memory 无限循环的错误问题
[英]multi thread memory error issue with infinite while loop
我有无限循环等待消息，一旦我收到消息，例如 30 秒的消息累积并分成块并并行处理。 但是，在几次迭代后导致 MemoryError。 任何要更新以避免 memory 问题并顺利工作即使我试过下面的代码， 没有运气：（ ...
如何在这里添加tqdm？
[英]How to add tqdm here?
如何在此处为多处理 for 循环添加tqdm 。 也就是说，我想将urls包装在tqdm()中： GitHub 上建议的解决方案是这样的： 但是我的可迭代对象是一个 URL 列表，而不是像上面那样的范围。 如何将上述解决方案转换为我的 for 循环？ ...
尝试使用 tkinter 使用 gui 浏览进程
[英]trying to Browse processes with gui using tkinter
我正在尝试制作一个程序，我需要将两个过程链接在一起。 如果其中一个停止了，另一个也停止了，并且由于某种原因，我的图形用户界面在尝试浏览进程并检查我为此设置的条件时滞后。这是我的问题的短视频，请在此处输入链接描述。 问题 ...