标签[concurrent.futures] - 堆栈内存溢出

如何使用带有 Excel 文件的 ThreadPoolExecutor 作为输入并从网站抓取日期 - How to use ThreadPoolExecutor with an Excel file as input and scrape date from a website

我正在尝试将从预定义的 excel 文件中获取的 zip 代码输入网站以获取填充的结果并将它们写回新列中的同一文件。具体来说，每个zip代码应该产生一个户号，这就是我要记录并输入到excel文件最后一栏的内容。在我目前的尝试中，脚本运行良好。我现在想做的是在脚本中应用concurrent.fu ...

如果一个线程退出，concurrent.futures.ThreadPoolExecutor() 将如何工作 - How concurrent.futures.ThreadPoolExecutor() would work if one thread has exit

我试图了解concurrent.futures.ThreadPoolExecutor()的工作原理。我有一段代码吹代码。如果它在其中一个线程中退出，它会在不久for将来退出循环而不是进一步前进。执行 output：是由于其中一个线程退出而我们无法继续处理其他内容吗？ ...

如何使用 Python 的 concurrent.futures 跨多个进程对任务进行排队，每个进程都有自己的线程池？ - How can I use Python's concurrent.futures to queue tasks across multiple processes each with their own thread pool?

我正在开发一个库 function，它使用concurrent.futures跨多个线程传播网络 I/O。由于 Python GIL，我的某些工作负载（大文件）速度变慢，因此我想切换到多个进程。但是，对于某些其他工作负载（许多小文件），多个进程也不太理想。我想拆分差异并拥有多个进程，每个进程 ...

如何使 `concurrent.futures.ProcessPoolExecutor().map` 与 kwonly args 一起工作？ - How to make `concurrent.futures.ProcessPoolExecutor().map` work with kwonly args?

如何使concurrent.futures.ProcessPoolExecutor().map使用 kwonly args？这可能吗？使用位置参数： def worker_function(x): # Return the square of the passed argument: ...

Python并发期货大量投入闲置 - Python concurrent futures large number of inputs sit idle

我正在使用 Python 的 concurrent.futures 处理大量文件（数千万）。发出少量输入工作正常，但是当输入大小增加时，进程就不会启动。以下代码仅在输入大小较小时执行，例如 20_000。我试图通过如下小批量提交作业来克服这个问题：但同样，它要么根本不启动，要么在外部 for ...

ProcessPoolExecutor 的资源有限（例如 tcp 端口） - limited resource for ProcessPoolExecutor (for example tcp port)

动机：我想为大量值运行一些 function（以下示例中的myfunc ），而这个 function 需要一个空闲的 TCP 端口，并且因为 TCP 端口的数量有限，我只想拥有与工作进程数。实际上，它运行一个复杂的集成测试，为每个输入值运行许多秒或几分钟，它创建多个使用此端口进行通信的进程 - ...

为什么我不能将 multiprocessing.Queue 与 ProcessPoolExecutor 一起使用？ - Why I can't use multiprocessing.Queue with ProcessPoolExecutor?

当我运行以下代码时：我收到此错误：如果我不能用于多处理，那么 multiprocessing.Queue 的目的是什么？我怎样才能让它工作？在我的实际代码中，我需要每个工作人员经常更新有关任务状态的队列，以便另一个线程将从该队列获取数据以提供进度条。 ...

同时运行阻塞 function（fe 请求）但与 Python 异步 - Running blocking function (f.e. requests) concurrently but asynchronous with Python

有一个 function 会阻塞事件循环（例如 function 发出 API 请求）。我需要连续发出 stream 的请求，这些请求将并行运行但不是同步运行。因此，每个下一个请求都将在上一个请求完成之前开始。所以我用loop.run_in_executer()解决方案找到了这个已解决的问题， ...

使用 ThreadPoolExecutor 时如何将额外的 arguments 传递给 function？ - How to pass additional arguments to a function when using ThreadPoolExecutor?

我想通过使用ThreadPoolExecutor和cv2.imread来读取几个 png 图像。问题是我不知道在哪里放置cv2.IMREAD_UNCHANGED标签/参数来保留 alpha 通道（透明度）。以下代码有效，但 alpha 通道丢失。我应该在哪里放置cv2.IMREAD_UNCH ...

为什么使用 concurrent.futures 的并行代码比常规代码慢？ - Why parallelized code with concurrent.futures is slower then regular code?

我尝试使用 concurrent.futures 进行并行化，期望并行化的代码会更快。我做了一个默认代码来测试并行化。代码做什么并不重要。我主要对默认代码和并行代码的速度感兴趣。它所做的只是计算来自 sigs 和 data_mat 的列表之间的相关性，并将值存储在 corr_coefs 中 ...

PicklingError：无法腌制<class 'ctypes.c_char_array_x'> : ctypes 上的属性查找 c_char_Array_X 失败</class> - PicklingError: Can't pickle <class 'ctypes.c_char_Array_X'>: attribute lookup c_char_Array_X on ctypes failed

在多处理中使用 ctypes 结构存在问题我可以将简单的 ctypes 变量与多处理一起使用，但是当我使用传递给 funcs 的结构时，酸洗会出现问题这是一些演示此问题的代码我该如何解决？ ...

进程池执行器内部的线程池执行器运行时错误：线程中没有当前事件循环 - threadpool executor inside processpoolexecutor RuntimeError: There is no current event loop in thread

我有一个 processpoolexecutor，我向其中提交多个磁盘读/写调用。我想在每个进程中创建一个线程池以提高性能。下面是我尝试覆盖和修改 concurrent.futures process.py 的 _process_worker 方法以与 ProcessPoolExecutor 一 ...

在 `concurrent.futures` 示例中出现 `BrokenProcessPool` 错误 - Getting `BrokenProcessPool` error in a `concurrent.futures` example

此PyMOTW3链接中提到了我正在运行的示例。我在这里重现代码：根据消息来源，我应该得到以下 output：相反，我收到一条带有以下结尾行的长消息 - 我正在使用 Windows 机器并运行 Python 9。所有其他示例都运行良好。这里出了什么问题？ ...

使用 multiprocessing 处理图像 - Using multiprocessing to process images

我创建了一个 for 循环，它会循环遍历图像目录并调整每个图像的大小，然后将其保存到另一个目录。该代码有效，但我正在尝试并行化该过程以使其更快。这是调整大小 function 这是循环遍历目录中图像的 for 循环（调整目录中所有图像的大小大约需要 700 秒）。为了使过程并行化，我尝试使用 ...

POST 多个请求 concurrent.futures Status = Pending, Error = Timeout - POST Multiple Requests concurrent.futures Status = Pending, Error = Timeout

问题：我有大量产品数据需要通过 REST API 发布到我的网站。数据：我试过的：一世。使用 for 循环。这行得通，但要到下个千年才能完成，因为我有数百万个产品页面要创建。二. concurent.futures模块。当我尝试这个时，我得到一个超时错误，它似乎连接到 API ( ...

在 python 线程池执行程序 map 中抛出异常是否安全？ - is it safe to trow exception in python ThreadPool executor map?

我创建了这个示例代码来尝试解释我的问题是什么：from concurrent.futures import ThreadPoolExecutor def my_method(x): if x == 2: print("error") raise Excepti ...

Python ThreadPoolExecutor (concurrent.futures) 内存泄漏 - Python ThreadPoolExecutor (concurrent.futures) memory leak

你好我正在尝试加载一个大列表== list.txt并将其发送到 Function== Do_something() with concurrent.futures.ThreadPoolExecutor问题是无论我做什么，内存都会变重，起初我认为原因是我list.txt打开为一个变量（列表），因此我将 ...

Python 多处理队列大小不断增长 - Python multiprocessing queue size keeps growing

我已经使用 concurrent.futures.ProcessPoolExecutor 实现了一个进程池，但我注意到当我打印出 pool._queue_count 时，每次我向池中提交一个新的工作项目时它都会不断增长。为什么要这样做，这会成为一个问题吗？这是我目前正在记录的 output：请 ...

使用地图的 ProcessPoolExecutor 在大负载时挂起 - ProcessPoolExecutor using map hang on large load

遇到在map上运行ProcessPoolExecutor挂起，只有在负载比较大的情况下。我们看到的行为是，经过大约 1 分钟的努力工作后，作业似乎挂了：CPU 使用率急剧下降，然后变得空闲；随着时间的推移，堆栈跟踪似乎也显示了相同的调用部分。堆栈跟踪（我们每 5 分钟记录一次，但它们看起来非常 ...

Python ThreadPoolExecutor 关闭行为随调用位置而变化 - Python ThreadPoolExecutor shutdown behaviour varies with where it's called from

我已经运行了两种代码变体，对我来说，它们应该完全相同地运行 - 所以我很惊讶地看到每个不同的 output ... 第一：这将输出以下内容 - 显示剩余的期货正在运行完成。虽然一开始这让我感到惊讶，但我相信它与文档一致（在没有将cancel_futures设置为True的情况下），根据https ...