python中文件的多进程处理

[英]Multiprocessing handling of files in python

我指的是这个答案，以便使用 multiprocessing 一次处理多个文件，但它停止并且不起作用那是我的尝试： 问题到底出在哪里，我认为可能是因为我有 3000 个 json 文件所以我只复制了 50 个到另一个文件夹并尝试使用它们但也有同样的问题添加：使用 VS 代码调试 另一个 ADD Her ...

使用多处理时 python 附加不起作用

[英]python appending does not work while using multiprocessing

所以问题是将“e”附加到我的列表“ok = []”没有效果，但考虑到这一点很奇怪，当执行 print(e) 时仅在 ok.append(e) 之上一行，值的“e”被打印出来了。 无需了解该程序及其功能，这里的主要问题只是将一些值附加到我的列表中没有效果，即使该值是真实的。 我尝试在if __name ...

如何从具有不同上下文（spawn/fork）的多个进程中登录？

[英]How to log from multiple processes with different context (spawn/fork)?

我有一个生成多个守护进程的 Python 应用程序。 我需要通过spawn start 方法创建这些进程。 由于我想登录到单个文件，因此我遵循了官方文档 multiprocessing logging 。 因此，我创建了一个multiprocessing.Queue和一个logging.handl ...

queue.close() “引发” BrokenPipeError

[英]queue.close() "raises" BrokenPipeError

在 Unix 上使用 python 3.7，以下代码：import multiprocessing queue = multiprocessing.Queue() queue.put(1) # time.sleep(0.01) Adding this prevents the error qu ...

并行写入和读取文件

[英]parallel write and read from file

我想在我的系统中有一个中央日志文件，某个应用程序可以写入和读取该日志文件。 写入用于新数据，读取将生成的数据与写入的数据进行比较。 我希望这个应用程序一次在多个实例中运行，这意味着我需要找到一种方法来从文件中读取差异并写入。 我看过这段代码，但它对一次浏览文件很有用，但我没有看到它在多个实例中工作。 ...

使用多处理训练多个模型

[英]Training multiple models using multiprocessing

我正在尝试使用多处理同时训练具有不同算法的多个模型。 例如，朴素贝叶斯模型和随机森林模型在同一数据集上相互并行训练。 我正在使用 concurrent.futures.ProcessPoolExecutor() 来完成此操作，但我遇到了错误。 这是我的代码： 这是我得到的错误： 值得一提的是，当我将 ...

使用多处理在 While True 循环中使用 PyMongo 上传

[英]Uploading with PyMongo in a While True loop using Multiprocessing

我有一个脚本，可以通过开发板的串口读取数据。 我想让这个脚本在每个循环结束时将数据上传到 MongoDB 集合，但我不希望循环因为上传而阻塞。 当我尝试使用多处理库这样做时，循环只上传一个空白文档。 但是，如果我只是像注释行中那样调用upload_to_database(RB_DataDict) ， ...

我将如何为字典中的每个元素创建一个 multiprocessing.Lock() ？

[英]How would I create a multiprocessing.Lock() for each element in a dictionary?

我正在尝试创建一个基于多处理的程序，该程序具有文件缓存以加快速度。 该缓存在程序开始时为空，但随后在对数据发出请求时被填充。 还有一组额外的文件，它们是加载到缓存中的文件的未处理版本。 我正在使用的多处理代码如下所示：# file_caches is a multiprocessing.Manag ...

Python多处理无法导入模块

[英]Python multi-processing cannot imported module

我正在测试玩具代码以使用 python 的multiprocess并行化进程。 该代码可以在我的家用计算机上运行，但是当我将它迁移到我正在处理的远程服务器时，它会返回一个错误。 我首先在defs.py中定义函数 Python 似乎找到defs.py ，因为当我运行下面的两行时，它返回了预期的结果 ...

多处理中的全局变量 (Python)

[英]Global variables in multiprocessing (Python)

我已经为我的常见问题制作了简单的 (Python) 代码示例。 对于多处理代码，我需要在每个处理器的 def 内部执行 def。 如果只使用一个 def (def f) - 结果是可以的（我可以全局计算变量，因为它使用管理器）。 但是如果使用两级 def (def ff) - 结果失败。 def ...

如何在数据类中使用 multithreading.Value？

[英]How to use multithreading.Value in dataclass?

你们中有人知道是否可以在dataclass中使用multiprocessing.Value字段吗？ 对于以下数据类定义，我得到TypeError: this type has no size exception。 堆栈跟踪： ...

如何从单独的进程中定期调用实例方法

[英]How to periodically call instance method from a separate process

赏金明天到期。 此问题的答案有资格获得+100声望赏金。 bjarkemoensted正在寻找规范的答案。 我正在尝试编写一个 class 来帮助缓冲一些需要一段时间才能读入并且需要定期更新的数据。 python 版本是 3.7。 我希望 class 满足 3 个标准： 手动更新：class ...

通过多处理提高代码结果速度

[英]Improve code result speed by multiprocessing

我正在自学 Python，这是我的第一个代码。 我正在分析来自服务器的日志。 通常我需要分析全天日志。 我创建脚本（这是示例，简单的逻辑）只是为了检查速度。 如果我使用正常编码，分析 2000 万行的持续时间约为 12-13 分钟。 我需要 2 亿行到 5 分钟。 我尝试了什么： 使用多处理（遇到共 ...

如何将带有主体的嵌套循环转换为并行化的可迭代对象以进行多处理

[英]how to convert nested loops with body to parallelized iterables for multiprocessing

我有以下两个嵌套循环。 我想将它们用作传递给 .map 运算符的迭代器来并行化它们的执行。我熟悉以下符号： 但是如下面的代码所示，外循环之后有两行代码，内循环之后有另外两行代码。如何将这两个循环转换为上述符号代码： ...

多处理：单独实例化进程

[英]Multiprocessing: Instantiate Processes individually

我在强化学习环境中遇到了一个令人尴尬的并行问题。 我想让 neural.network 并行生成数据。 为此，每个进程都需要自己的 model。 我曾尝试使用 Pool 来实现这一点，但现在我不确定这是否是正确的方法。from multiprocessing import Pool def run ...

在 python 中并发管理 defaultdict 的内容

[英]Managing contents of defaultdict with concurrency in python

一些问题着眼于多处理时的非嵌套defaultdict行为： 将 defaultdict 与多处理一起使用？ Python 多处理可能出现 defaultdict 行为？ 似乎管理像defaultdict(list)这样嵌套的东西并不是一个完全简单的过程，更不用说像defaultdict(lamb ...

使用 rapidfuzz 并行处理 function

[英]Parallel processing with rapidfuzz function

我有一个包含 100 000 条记录的数据集。 我的问题是多对多类型，我需要计算每行 100k 行中名称列的模糊分数。 我正在使用 for 循环迭代每一行并使用 pandas apply 方法计算模糊分数。 真正的问题是代码需要大约 15 个小时的时间，所以我尝试使用并行处理和多处理来减少这个时间 ...

worker 失败时更新全局变量（Python multiprocessing.pool ThreadPool）

[英]Update global variable when worker fails (Python multiprocessing.pool ThreadPool)

我有一个 Python function，它通过 API 请求数据并涉及一个轮换过期密钥。 请求量需要 function 的一些并行化。我正在使用 multiprocessing.pool 模块 ThreadPool 执行此操作。 示例代码： 我试图修改我的映射过程，以便当第一个工作人员失败时（即 ...

Kivy 中的并发期货

[英]Concurrent Futures in Kivy

我正在尝试向 GUI 添加多处理。 我见过的每个 kivy GUI 设计都会在启动应用程序之前运行“if name is main”。 这与使用“if name is main”来组织进程的多处理冲突（我不完全确定它是如何工作的，我只知道把它放在哪里）。 重点是，我想不出用 kivy 运行多处理的方 ...

python中的多处理任务

[英]Multiprocessing task in python

我试图弄清楚如何使用不寻常的公式执行多处理任务。 基本上，给定两个列表，每个列表包含 10 个矩阵，如果输入是 (A, B)，我必须检查应用操作（我称之为 fn）是否给出相同的结果，反之亦然 (B, A)。 使用顺序方法，解决方案是直截了当的： 下一个任务有点奇怪，因为它需要严格设置十个以上的线程并 ...