对象不能用多处理迭代？

[英]object is not iterable with multiprocessing?

尽管我在终端上收到输出打印，但我不断收到无法调用的列表上的类型错误……如果我们在循环中，什么在调用列表？ 通过多处理或线程迭代一堆文件的正确方法是什么？ ...

具有 Python 多处理的 nvtx 标记

[英]nvtx markers with Python Multiprocessing

我正在尝试在 Python 中将 nvtx 标记与多处理池一起使用，但是当只有一个子进程调用带注释的 function 时，该操作不会出现在分析报告中。 有什么办法可以解决这个问题，或者这是 python 进程的限制？ 下面是一些要复制的示例代码： 这是 Nvidia Nsight 系统时间表。 ...

Python `multiprocessing` 使用基础 Python 生成进程，而不是 virtualenv Python

[英]Python `multiprocessing` spawned process using base Python, not virtualenv Python

在 python 的标准安装中（例如通过 miniconda），我运行这个脚本（也粘贴在下面）并得到以下 output： 这是我所期望的。 当我从一个虚拟环境中的 python 运行相同的脚本时，该虚拟环境的基础是嵌入脚本应用程序中的 python，我得到以下结果： 至关重要的是，子sys.exe ...

以相反的顺序执行 Python pool.map 或 pool.apply_async 方法

[英]Execute Python pool.map or pool.apply_async methods in reversed order

我有一个脚本可以迭代 ~40 年的数据。 我按顺序遍历输入月度文件列表，然后将这些输入文件分配给 output function。 是否可以反转我的多处理映射线程以从最新到最旧运行此数据？ 我熟悉列表中的 reversed() function，但不确定如何应用它，因为我在此处分配池映射。 ...

如何在 macOS 上获取 `multiprocessing.queues.Queue.qsize()`？

[英]How to get `multiprocessing.queues.Queue.qsize()` on macOS?

这是一个老问题，建议的解决方法不起作用。 下面是一个完整的例子，展示了建议的方法是如何失败的。 取消注释 L31 错误。 出于某种原因，新定义的MyQueue忘记了size属性。 ...

如何优雅地关闭 Pipe 连接并打破 Python 多处理中的子进程循环

[英]How to gracefully close Pipe connections and break child process loop in Python multiprocessing

我有一个架构，其中主进程可以生成子进程。 主进程通过 Pipe 向子进程发送计算请求。 这是我当前的子进程代码：while True: try: # not sufficient because conn.recv() is blocking ...

Pandas 多处理应用程序用完 memory

[英]Pandas multiprocessing apply running out of memory

我有一个 dataframe，其中一列作为列表，另一列作为字典。 然而，这并不一致。 它也可以是单个元素或 NULL 我希望将其扩展为： 我试过申请： （price_list 列中的字典元素实际上是字符串，所以我需要先将它们作为字典进行评估。） 但是由于我的 dataframe 非常大，所以上述 ...

多处理 dataframe 的行

[英]multiprocess the rows of a dataframe

我有一个带有 N 行的 dataframe df1。 每一行，通过复杂的计算，最多会得到 K 行。 因此，具有 N 行的源 dataframe df1 将导致具有 NxK 行的 output dataframe dfY。 真正的 df1 可以有 N=1,000 行，计算每行可能需要 1s，并且可以为 ...

ray：是否可以在 kwargs 争论中使用“ray.put”？

[英]ray: is it possible to use 'ray.put' on a kwargs arguement?

我有一个 function 接受了我想用来并行处理请求的 kwargs。 我想知道是否有一种简单的方法可以处理 kwargs 而不必在那里进行迭代并将它们“放入”共享/集中存储中。 是这样的： 以上将在“put”行失败并出现错误： put() got an unexpected keyword a ...

Python 多处理队列大小不断增长

[英]Python multiprocessing queue size keeps growing

我已经使用 concurrent.futures.ProcessPoolExecutor 实现了一个进程池，但我注意到当我打印出 pool._queue_count 时，每次我向池中提交一个新的工作项目时它都会不断增长。 为什么要这样做，这会成为一个问题吗？ 这是我目前正在记录的 output： 请 ...

为什么 python function 即使不应该并行工作？

[英]Why does a python function work in parallel even if it should not?

我正在使用healpy package 运行这段代码。我没有使用多处理，我需要它在单核上运行。 它工作了一段时间，但是，当我现在运行它时，function healpy.projector.GnomonicProj.projmap占用了所有可用的内核。 这是有罪的代码块： 有人知道为什么这个 fu ...

多线程与 OpenCV 在 Python 中的多处理

[英]Multithreading vs. Multiprocessing with OpenCV in Python

我有以下 function： 这个 function 接收图像，放大图像，然后将图像写入文件夹并返回生成的图像数组。 有一个 PNG 图像路径列表，其格式如下： 我尝试使用多线程来加快处理速度，因为每张图像需要 95 秒才能完成（有数百张图像）。 代码如下： 上面的代码对进程进行了多线程处理，然后有 ...

在 python 中尝试使用多处理运行循环时出错

[英]Error when trying run loop with multiprocessing in python

我正在尝试使用并行多处理在循环中多次运行 function。 当我运行这个简单的代码时： 我收到以下错误： 我不确定为什么，因为我几乎直接从其他来源提取了这个示例。 知道发生了什么事吗？ ...

Python 中的多处理优先级队列并不总是获得正确的优先级项目

[英]Multiprocessing priority queue in Python does not always get correct priority item

.get()从我的优先级队列返回的值是 ~70% 的时间 100% 正确排序，但 ~30% 的时间它们只会被 ~70% 正确排序，大部分元素正确但少数元素洗牌不正确。 大多数情况下，当它们返回不正确时，从优先级队列返回的第一个项目不正确，它对应于放置在优先级队列中的第一个（或第一个）项目。 我认为 ...

为什么 numpy arrays 比使用多处理库的列表处理时间更长？

[英]Why do numpy arrays take longer to process than lists with multiprocessing library?

我在一台机器上运行，有两个 AMD 7302 16 核处理器（共 32 核）。 我在 Red Hat 8.4 系统上使用 Python 3.10.6。 我最近开始学习多处理库。 受文档页面上第一个示例的启发，我编写了自己的小代码： 我注意到当我尝试在 numpy 数组上运行p.map()时，它的性 ...

为什么 python 中的 multiprocessing 和 thrrreading 都给出错误 n.netype object has no attribute terminate

[英]why multiprocessing and thrrreading in python both giving error nonetype object has no attribute terminate

如果运行此代码，您将能够重现该错误我只想运行一个程序并在需要时终止它。 我期望终止流程示例： 我有一个名为func1的 function 现在我开始运行它Process/threading.Thread(target=func1) 现在我想终止它，但我不能。 ...

使用 multiprocessing.Pool 从同一文件夹加载多个文件

[英]load multiple files from the same folder with multiprocessing.Pool

我想从同一文件夹的 csvs 加载和连接多个文件。 我有以下代码，但它失败并出现错误TypeError: can only concatenate tuple (not "str") to tuple 。 但是我真的不明白哪里应该有一个元组？ file_list是这样'file1.dat', 'f ...

如何在 python 中的多个进程中运行一个 dll 库？

[英]How to run a dll-library in several processes in python?

我试图在 python 中使用 Pooling 运行 dll-library，但遇到了以下问题。 我创建了一个简单的 dll 库来说明这个问题。 这是 dll 库的源代码，其中仅包含一个 function，它对两个双精度数求和： 我使用 Linux 系统编译它 我在以下 Python 脚本中使用此 ...

Astroscrappy 不适用于多处理 Jupyter

[英]Astroscrappy not working on multiprocessing Jupyter

我这里有一些多处理代码，试图同时运行多个 astroscrappy 进程。 但是，当它实际上必须调用 astroscrappy 时，一切都会停止。 我在 jupyter notebook 中运行它。 它只会打印出 1、2、2.5，但不会打印出调用 astroscrappy 后出现的 3。 任何想法 ...

如何制作一个计划的 celery 任务来启动具有不同参数的多个作业？

[英]How to make a scheduled celery task that starts multiple jobs with different params?

我有一个 celery 任务，例如： 我有一个像这样的时间表： 没有理由一次只处理一个Animals ，它们都是独立的。 是否可以“多进程”或“多任务”这个列表？ ...