cost 210 ms
GUnicorn:重新启动 worker 后队列不工作

[英]GUnicorn: Queue not working after re-starting worker

问题陈述启动 GUnicorn 工作进程后,我希望工作进程仍然能够从另一个进程接收数据。 目前,我正在尝试使用multiprocessing.Queue来实现这一点。 具体来说,我在 fork workers 之前启动了一个数据管理进程,并使用两个队列将其与 workers 连接起来。 一个队列供工 ...

如何从另一个进程快速杀死并重新启动同一端口中的 uvicorn porcess?

[英]How to quickly kill and repoen a uvicorn porcess in same port from another process?

我有一个脚本,它根据配置文件在单独的线程中运行一个 uvicorn 进程(并且还做其他事情)。 如果配置文件被修改,我希望它重新加载,所以我制作了一个新脚本,在单独的进程中启动主脚本,监视文件更改,如果发生更改,则终止前一个进程并启动新进程。 但我发现,在我更改配置文件后,除 uvicorn 外, ...

python 多处理 map function

[英]python multiprocessing map function

我在使用多处理 map function 编写 python 代码时遇到问题。重现该问题的最少代码如下 如果运行这段代码,我会收到错误消息 但是,如果我将 f 函数移到主 function 之外,即 这次成功了。 我想知道它们之间有什么区别以及如何在第一个版本中出现错误。 提前致谢。 ...

ThreadPoolExecutor 生成的期货不会异步运行

[英]Futures generated by ThreadPoolExecutor do not behave asynchronously

我想创建一个在 ThreadPoolExecutor 上运行的期货列表,然后在它们完成评估后立即显示它们中的每一个。 预期结果是:每 3 秒打印一次 0、2、6、12。 但是,我在 12 秒后才得到结果,并且数字是模拟显示的。from concurrent.futures import Thread ...

跨进程共享代理实例 object 导致泡菜错误

[英]Sharing instance of proxy object across processes results in pickle errors

赏金将在 5 天后到期。 此问题的答案有资格获得+150声望赏金。 lezebulon正在寻找一个规范的答案: 我试图了解我正在做的事情是否应该根据 python 规范/文档(然后它是一个错误)工作,或者不是我正在尝试在几个进程之间的 python 中实现一个简单的共享 object 系统。 我 ...

Python 即使设置了超时,多处理也会挂起

[英]Python multiprocessing hangs even if there are timeouts set

出于某种原因,我的程序在使用多处理和队列时挂起,即使我设置了超时并检查队列是否为空。 这发生在 Windows 和 Linux 上。 有多个进程接收输入(这里是 a、b 和 c)并且应该发送结果(这里它们只是发回输入 a、b 和 c)。 据我所知,在所有“给出参数”之后,他们一遍又一遍地发回 a 和 ...

从多个 while 循环流式传输数据

[英]Streams data from multiple while loops

我正在使用 psutil 在任何给定时间点分析 open_files() 。 一旦程序创建了一个具有特定扩展名的文件(可能是.xlsx、.csv、.docx、.dat),我想在修改文件之前将该文件保存在另一个目录中,然后对其执行顺序操作。 现在我正在使用嵌套的 while 循环,但是如果程序输出多个 ...

SCOOP - 如何让工作人员在继续之前等待根工作人员

[英]SCOOP - How to make workers wait for root worker before continuing

我在工作中使用 SCOOP(和 Python 3.6 - 无法更新)。 我需要所有工作人员执行计算,然后等待根节点执行缓慢的计算( if __name__ == '__main__':中的代码),然后使用根节点计算产生的 dataframe 执行另一次计算。 我的问题是 SCOOP 立即启动所有工作 ...

在 Python 中动态创建可序列化类

[英]Dynamically creating serializable classes in Python

我正在尝试更新应该用作multiprocessing.manager的自定义类型的 class 并模仿基本字典。 在 Linux 上一切正常,但在 Windows 上却失败了,我知道问题在于它使用的可能是次优的创建机制,该机制涉及闭包。 通过分叉,Linux 可以序列化pickle无法处理的内容,而 ...

ProcessPoolExecutor 的资源有限(例如 tcp 端口)

[英]limited resource for ProcessPoolExecutor (for example tcp port)

动机: 我想为大量值运行一些 function(以下示例中的myfunc ),而这个 function 需要一个空闲的 TCP 端口,并且因为 TCP 端口的数量有限,我只想拥有与工作进程数。 实际上,它运行一个复杂的集成测试,为每个输入值运行许多秒或几分钟,它创建多个使用此端口进行通信的进程 - ...

Python:apply_sync() 和 tqdm() 打印新行

[英]Python: apply_sync() and tqdm() printing new line

我有以下代码,其中有 2 个变量运行 2 个独立的池来处理一堆表,进度应该通过 tqdm 栏反映出来。 我相信我已经做到了,但我现在的问题是有新的进度条行,进度为 0,我不知道它是从哪里来的。 我究竟做错了什么? 代码 RESULT 结果终端截图 ...

当您在多处理目标 function 中传递它时,是否创建了一个新的 object?

[英]Is a new object created when you pass it in multiprocessing target function?

我是多处理的新手,我正在尝试理解它。 我注意到,每当您将 object 传递给 args 时,似乎都会复制它? 例子: 假设我有这个 z1.py 文件 和一个 z2.py 文件 我期待在两个打印语句中看到相同的 object id,但我得到的是: 任何人都可以帮助我理解为什么 object 没有相 ...

我的多处理线程池比单线程实现需要更长的时间来完成任务

[英]My multiprocessing threadpool takes longer to complete tasks than a single-threaded implementation

我写了一个算法并试图比较不同版本的性能。 我的基准测试 function 使用线程池,但与单核实现相比,基准测试花费的时间相同或更长。 我用过 pypy 和 python,版本 3.11,结果是一样的。 基准测试方法: 多线程线程池: 测试: 每次我运行它时,无论运行次数或池中的线程数如何,池都不会 ...

如何让 multiprocessing.Pool().starmap() 返回 iterable

[英]How to get multiprocessing.Pool().starmap() to return iterable

我正在尝试从 function 以及 output 的输入构造一个 dataframe。之前我使用的是循环 但是范围很大,所以我尝试使用 multiprocessing.Pool() 来加快速度 但是,使用 pool 我不再可以访问 i 和 j,因为它们只是 function 的输入我试图让 fu ...

你能在 Python 的多处理池中让 Pool 在多个不同的 Map 函数中保持打开状态吗?

[英]Can you leave Pool open across multiple different Map functions within Python's Multiprocessing Pool?

我想知道您是否可以让multiprocessing.Pool在多个不同map函数中保持打开状态? 如果这是可能的,这种方法有什么缺陷吗? 我的一般用例是将池分配给 class 变量,例如self.pool ,然后在 class 中的各种不同的map函数中调用此self.pool - 例如, sel ...

Python 并行化,function,以一个可迭代和多个数据作为输入。 也许多重处理星图?

[英]Python parallelize, function, with one iterable and mulitple data as input. Maybe mulitprocessing starmap?

我目前有以下循环,通过使用我的 function sample_features 计算每一列来创建矩阵。 function 输入一个索引,该索引是我的可迭代和多个数据集以及需要对所有 function 调用重复的参数。 尺寸:U_new (N x D) V_new & Item_vect ...


 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM