堆栈内存溢出
cost 267 ms
使用 scikit-learn 管道评估许多图像时如何使用多处理池？

[英]How to use multiprocessing Pool when evaluating many images using scikit-learn pipeline?

我使用 GridSearchCV 管道在 scikit-learn 中训练了几个不同的图像分类器。在管道中我使用了两个阶段， scaler和classifier 。 训练成功运行，这就是最好的超参数设置： 现在我想使用这个经过训练的管道在大量图像上对其进行测试。 因此，我从磁盘 (150x150p ...

FileNotFoundError 与 Linux 上的共享 memory

[英]FileNotFoundError with shared memory on Linux

赏金将在 2 天后到期。 此问题的答案有资格获得+250声望赏金。 Matthias想让更多人关注这个问题。 我正在尝试为我的 Python 应用程序创建一个共享的 memory，它应该在父进程和从该父进程派生的另一个进程中使用。 在大多数情况下工作正常，但是，有时我会得到以下堆栈跟踪：Trac ...

C# 多线程还是多进程？

[英]C# multi threaded or multi process?

我有一个关于一个（服务器）到多个（客户端）关系之间的多线程连接的小问题。 我的问题是： 我的脚本是多线程的吗？ 还是多进程？ 我收到一些反馈说它是多进程的？ 每个客户会独立收到他们的 stream 吗？ 我只是想知道这是否是正确的方法。 在这里你可以看到我开始监听客户端连接并为每个客户端连接创建一 ...

多线程或多进程通过做chunk来处理大数据

[英]Multi thread or multi process to process large data by doing chunk

我有 20K 条记录或 50K 条记录的大数据——这将是一个连续的过程。 我正在尝试对我获得的数据进行分块，例如：我将 20K 条记录分成更小的 5K 记录卡盘块。 所以我得到了 4 块数据。 我需要将所有 4 个块数据传递到一个 function 调用中，它应该并行处理，因为我可能会得到另外一批记 ...

Gensim ensemblda multiprocessing：索引 -1 超出尺寸为 0 的轴 0 的范围

[英]Gensim ensemblelda multiprocessing: index -1 is out of bounds for axis 0 with size 0

我正在使用gensim 库进行主题建模，更准确地说是Ensemble LDA方法。 我的代码相当标准（我遵循文档），主要部分是： （完整代码在https://github.com/erwanm/gensim-temporary/blob/main/gensim-topics.py ） 但是根据我的 ...

PicklingError：无法腌制<class 'ctypes.c_char_array_x'> : ctypes 上的属性查找 c_char_Array_X 失败</class>

[英]PicklingError: Can't pickle <class 'ctypes.c_char_Array_X'>: attribute lookup c_char_Array_X on ctypes failed

在多处理中使用 ctypes 结构存在问题我可以将简单的 ctypes 变量与多处理一起使用，但是当我使用传递给 funcs 的结构时，酸洗会出现问题这是一些演示此问题的代码 我该如何解决？ ...

如何向循环添加多处理？

[英]how to add multiprocessing to loops?

我有一个大型客户数据集（超过 1000 万），我正在运行我的循环计算。 我正在尝试添加多处理，但当我使用多处理时似乎需要更长的时间，方法是将 data1 拆分为在 sagemaker studio 中运行的块。 我不确定我做错了什么但是使用多处理时计算时间更长，请帮忙。 输入数据示例： 计算： ...

使用 Multiprocessing 处理巨线的正确方法

[英]Correct way to process giant lines with Multiprocessing

我对“如何使用多处理处理大量文件”感到进退两难。 在计划中，我将为每一行发送一个requests 。 该文件包含一个巨大的子域列表，包含 1-10 百万行，虽然文件大小不到 1 GB，但我担心我的实施会耗尽我的 Memory。 我正在使用Queue()将任务分配给每个进程。 这是我所做的： Mul ...

多处理池中的全局列表变量在 python 中返回为空？

[英]global list variable in multiprocessing pool is returning as empty in python?

我将一个空列表声明为全局变量。 我给它赋值。 但是当我尝试执行多处理池时，全局变量是空列表而不是分配的值。 我得到 output 作为： 最后四个空列表来自多处理池。 我期待这样的 output： 为了在更新全局变量时编辑每个进程中的字典列表。 ...

在一个非常大的目录中搜索名称中包含文本的文件

[英]Search a very large directory for a file containing text in it's name

我有一个包含大约 300,000 个文件的网络共享，并且它在不断变化（添加和删除文件）。 我想在目录中搜索特定文本以在此目录中查找某些文件。 我已经尽可能地减少了我的方法，但它仍然需要 6 分钟多才能完成。 我大概可以同时手动执行此操作，具体取决于我要搜索的字符串数量。 我想对其进行多线程或多处理， ...

如何在不同进程中共享字典 memory？

[英]How to share dictionary memory in different process?

是否可以在 Python 多进程 ( pathos.multiprocess ) 中共享字典变量？ 我使用以下代码，但它没有按预期工作。 我希望skus是{0: 0, 1: 1, ...} Output : 所以，我使用Manager().dict作为我的变量，但现在我得到了另一个错误。 问题出 ...

多线程 pdf 工作负载使程序变慢

[英]Multithreading pdf workload slows the program down

我尝试构建一个程序来扫描 PDF 个文件以查找某些元素，然后输出一个新的 PDF 文件，其中包含包含这些元素的所有页面。 本来就是单线程的，运行起来有点慢。 在 6 核 5600X 上花费了大约 36 秒。 所以我尝试使用concurrent.futures对其进行多处理：def process_p ...

设置比较优化

[英]Set comparison optimization

描述我有两个大的集合列表A = [ {...}, ..., {...} ] B = [ {...}, ..., {...} ] 我正在执行一个成本非常高的列表理解，对于 A 中每个集合中的每个元素，检查是否与 B 集合中的任何元素匹配，如果匹配则返回 B 各自的集合。[find_sets(i) f ...

将 stream 数据从多进程传递到 asyncio

[英]Pass stream data from multiprocess to asyncio

我正在尝试使用 cryptofeed 模块接收 API OHLC 数据，通过将 cryptofeed stream 放在单独的多处理线程中，然后从单独的 asyncio 实例访问全局变量，将数据存储在全局变量中。 我在使用多进程存储全局数据时遇到问题，close() 的异步 function 返回 ...

同时发送多个请求并等待收集结果

[英]Sending multiple requests simultaneously and waiting to collect results

我正在从事一个项目，该项目涉及同时发送多个请求并等待收集结果的大量任务。 一个通用的方案可以用下面的代码来描述： 根据我的研究，有几种可能的解决方案： 使 rpc 调用异步，当调用完成时它将返回一个未来的 object 并且以下计算将等待直到获得未来 object 的内容。 而不是循环，执行 map ...

如何每 1 秒并行运行 python function

[英]How to run python function every 1 sec in parallel

我正在考虑使用多进程 package 并行运行 function 但我需要在每次运行时（每 1 秒）传递不同的参数值。 例如） 这将导致 foo() function 以相同的参数值反复运行。 在这种情况下我该如何解决？ ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM