GUnicorn：重新启动 worker 后队列不工作

[英]GUnicorn: Queue not working after re-starting worker

问题陈述启动 GUnicorn 工作进程后，我希望工作进程仍然能够从另一个进程接收数据。 目前，我正在尝试使用multiprocessing.Queue来实现这一点。 具体来说，我在 fork workers 之前启动了一个数据管理进程，并使用两个队列将其与 workers 连接起来。 一个队列供工 ...

如何从另一个进程快速杀死并重新启动同一端口中的 uvicorn porcess？

[英]How to quickly kill and repoen a uvicorn porcess in same port from another process?

我有一个脚本，它根据配置文件在单独的线程中运行一个 uvicorn 进程（并且还做其他事情）。 如果配置文件被修改，我希望它重新加载，所以我制作了一个新脚本，在单独的进程中启动主脚本，监视文件更改，如果发生更改，则终止前一个进程并启动新进程。 但我发现，在我更改配置文件后，除 uvicorn 外， ...

python 多处理 map function

[英]python multiprocessing map function

我在使用多处理 map function 编写 python 代码时遇到问题。重现该问题的最少代码如下 如果运行这段代码，我会收到错误消息 但是，如果我将 f 函数移到主 function 之外，即 这次成功了。 我想知道它们之间有什么区别以及如何在第一个版本中出现错误。 提前致谢。 ...

ThreadPoolExecutor 生成的期货不会异步运行

[英]Futures generated by ThreadPoolExecutor do not behave asynchronously

我想创建一个在 ThreadPoolExecutor 上运行的期货列表，然后在它们完成评估后立即显示它们中的每一个。 预期结果是：每 3 秒打印一次 0、2、6、12。 但是，我在 12 秒后才得到结果，并且数字是模拟显示的。from concurrent.futures import Thread ...

如何在使用多处理时动态更改函数中变量的值

[英]How to dynamically change the value of variable in functions while using multiprocessing

我如何动态更改 lis 的值，以便每秒 output 一个列表，其中最后一个元素是前一个列表最后一个元素的 2 倍。 我需要 output 是这样的 但现在 output 是 我尝试使用global lis ，但也没有用。 ...

使 multiprocessing.Queue 可从 asyncio 访问

[英]Make multiprocessing.Queue accessible from asyncio

给定一个multiprocessing.Queue ，它由不同的 Python 线程填充，通过ThreadPoolExecutor.submit(...)创建。 如何以安全的方式（上下文 FastAPI）和可靠的方式使用 asyncio / Trio / Anyio 访问该队列？ 我知道 Janus ...

跨进程共享代理实例 object 导致泡菜错误

[英]Sharing instance of proxy object across processes results in pickle errors

赏金将在 5 天后到期。 此问题的答案有资格获得+150声望赏金。 lezebulon正在寻找一个规范的答案： 我试图了解我正在做的事情是否应该根据 python 规范/文档（然后它是一个错误）工作，或者不是我正在尝试在几个进程之间的 python 中实现一个简单的共享 object 系统。 我 ...

Python 即使设置了超时，多处理也会挂起

[英]Python multiprocessing hangs even if there are timeouts set

出于某种原因，我的程序在使用多处理和队列时挂起，即使我设置了超时并检查队列是否为空。 这发生在 Windows 和 Linux 上。 有多个进程接收输入（这里是 a、b 和 c）并且应该发送结果（这里它们只是发回输入 a、b 和 c）。 据我所知，在所有“给出参数”之后，他们一遍又一遍地发回 a 和 ...

从多个 while 循环流式传输数据

[英]Streams data from multiple while loops

我正在使用 psutil 在任何给定时间点分析 open_files() 。 一旦程序创建了一个具有特定扩展名的文件（可能是.xlsx、.csv、.docx、.dat），我想在修改文件之前将该文件保存在另一个目录中，然后对其执行顺序操作。 现在我正在使用嵌套的 while 循环，但是如果程序输出多个 ...

如何使 `concurrent.futures.ProcessPoolExecutor().map` 与 kwonly args 一起工作？

[英]How to make `concurrent.futures.ProcessPoolExecutor().map` work with kwonly args?

如何使concurrent.futures.ProcessPoolExecutor().map使用 kwonly args？ 这可能吗？ 使用位置参数： def worker_function(x): # Return the square of the passed argument: ...

SCOOP - 如何让工作人员在继续之前等待根工作人员

[英]SCOOP - How to make workers wait for root worker before continuing

我在工作中使用 SCOOP（和 Python 3.6 - 无法更新）。 我需要所有工作人员执行计算，然后等待根节点执行缓慢的计算（ if __name__ == '__main__':中的代码），然后使用根节点计算产生的 dataframe 执行另一次计算。 我的问题是 SCOOP 立即启动所有工作 ...

在 Python 中动态创建可序列化类

[英]Dynamically creating serializable classes in Python

我正在尝试更新应该用作multiprocessing.manager的自定义类型的 class 并模仿基本字典。 在 Linux 上一切正常，但在 Windows 上却失败了，我知道问题在于它使用的可能是次优的创建机制，该机制涉及闭包。 通过分叉，Linux 可以序列化pickle无法处理的内容，而 ...

如何为 multiprocessing.BaseManager 实例配置线程名称

[英]How to configure thread names for multiprocessing.BaseManager instances

在我正在调试的一些代码中有一些使用这些 BaseManager 类型。 https://docs.python.org/3/library/multiprocessing.html#multiprocessing.managers.BaseManagerfrom multiprocessing.m ...

ProcessPoolExecutor 的资源有限（例如 tcp 端口）

[英]limited resource for ProcessPoolExecutor (for example tcp port)

动机： 我想为大量值运行一些 function（以下示例中的myfunc ），而这个 function 需要一个空闲的 TCP 端口，并且因为 TCP 端口的数量有限，我只想拥有与工作进程数。 实际上，它运行一个复杂的集成测试，为每个输入值运行许多秒或几分钟，它创建多个使用此端口进行通信的进程 - ...

Python：apply_sync() 和 tqdm() 打印新行

[英]Python: apply_sync() and tqdm() printing new line

我有以下代码，其中有 2 个变量运行 2 个独立的池来处理一堆表，进度应该通过 tqdm 栏反映出来。 我相信我已经做到了，但我现在的问题是有新的进度条行，进度为 0，我不知道它是从哪里来的。 我究竟做错了什么？ 代码 RESULT 结果终端截图 ...

当您在多处理目标 function 中传递它时，是否创建了一个新的 object？

[英]Is a new object created when you pass it in multiprocessing target function?

我是多处理的新手，我正在尝试理解它。 我注意到，每当您将 object 传递给 args 时，似乎都会复制它？ 例子： 假设我有这个 z1.py 文件 和一个 z2.py 文件 我期待在两个打印语句中看到相同的 object id，但我得到的是： 任何人都可以帮助我理解为什么 object 没有相 ...

我的多处理线程池比单线程实现需要更长的时间来完成任务

[英]My multiprocessing threadpool takes longer to complete tasks than a single-threaded implementation

我写了一个算法并试图比较不同版本的性能。 我的基准测试 function 使用线程池，但与单核实现相比，基准测试花费的时间相同或更长。 我用过 pypy 和 python，版本 3.11，结果是一样的。 基准测试方法： 多线程线程池： 测试： 每次我运行它时，无论运行次数或池中的线程数如何，池都不会 ...

如何让 multiprocessing.Pool().starmap() 返回 iterable

[英]How to get multiprocessing.Pool().starmap() to return iterable

我正在尝试从 function 以及 output 的输入构造一个 dataframe。之前我使用的是循环 但是范围很大，所以我尝试使用 multiprocessing.Pool() 来加快速度 但是，使用 pool 我不再可以访问 i 和 j，因为它们只是 function 的输入我试图让 fu ...

你能在 Python 的多处理池中让 Pool 在多个不同的 Map 函数中保持打开状态吗？

[英]Can you leave Pool open across multiple different Map functions within Python's Multiprocessing Pool?

我想知道您是否可以让multiprocessing.Pool在多个不同map函数中保持打开状态？ 如果这是可能的，这种方法有什么缺陷吗？ 我的一般用例是将池分配给 class 变量，例如self.pool ，然后在 class 中的各种不同的map函数中调用此self.pool - 例如， sel ...

Python 并行化，function，以一个可迭代和多个数据作为输入。 也许多重处理星图？

[英]Python parallelize, function, with one iterable and mulitple data as input. Maybe mulitprocessing starmap?

我目前有以下循环，通过使用我的 function sample_features 计算每一列来创建矩阵。 function 输入一个索引，该索引是我的可迭代和多个数据集以及需要对所有 function 调用重复的参数。 尺寸：U_new (N x D) V_new & Item_vect ...