如何將設置代碼和處理代碼傳遞給另一個進程？
[英]How can I pass setup-code and processing-code to another process?
我有一個通用的多處理工作器 class，它從隊列中獲取要處理的項目。 worker class 的用戶需要傳遞處理每個項目的 function。 但是，某些處理功能需要設置代碼。 當前實現使用生成器 function，用戶必須正確實現它才能正確執行設置代碼一次，處理隊列中的項目，並處理工作人員正 ...
pytest 在單獨的進程中請求 fastapi
[英]pytest requests to fastapi in a separate process
我正在嘗試對使用 FastAPI 編寫的 API 進行工作測試。 我在一個單獨的進程中啟動該服務，使用對服務的請求運行測試，並檢查結果是否符合預期。 我已將關鍵部分提取到 PD 中的最小工作示例中。 使用主文件運行 MWE 工作正常。 但是，測試失敗了。 為什么測試會失敗？ 我們應該如何測試 AP ...
GUnicorn：重新啟動 worker 后隊列不工作
[英]GUnicorn: Queue not working after re-starting worker
問題陳述啟動 GUnicorn 工作進程后，我希望工作進程仍然能夠從另一個進程接收數據。 目前，我正在嘗試使用multiprocessing.Queue來實現這一點。 具體來說，我在 fork workers 之前啟動了一個數據管理進程，並使用兩個隊列將其與 workers 連接起來。 一個隊列供工 ...
如何在第一個腳本運行時將 argparse 變量從一個腳本發送到另一個腳本？
[英]How do I send argparse variables from one script to another while the first script is running?
我目前正在開展一個 Capstone 項目，我的團隊將在該項目中使用 Python 構建網絡流量分析器。但在我們完成所有工作之前，我必須為命令行界面構建基線。 我的目標是創建一個接受 arguments 進行初始化的接口，但稍后可以在腳本仍在運行時從命令行獲取不同的 arguments。 所以我遇 ...
在進程 python 中運行 function 時捕獲實時 `stdout` 和 `stderr`
[英]Capture real time `stdout` and `stderr` when run a function in a process python
我有一個 python function 並希望將它作為一個單獨的進程運行，並帶有multiprocessing package。 然后使用以下腳本將其作為單獨的進程運行： 現在，我需要捕獲上述過程的實時stdout和stderr 。 有沒有什么辦法像： 但是我需要傳遞 function 而不是使 ...
multiprocessing 是否正常工作？
[英]Does multiprocessing work like this normally?
源代碼 我沒有讓它按預期工作。 它必須在 1s 內完成該過程，但需要 2s 排隊一個 function 一個接一個。 我在 Python 3.11.1 [64 位] 上運行它 ...
如何在使用多處理時動態更改函數中變量的值
[英]How to dynamically change the value of variable in functions while using multiprocessing
我如何動態更改 lis 的值，以便每秒 output 一個列表，其中最后一個元素是前一個列表最后一個元素的 2 倍。 我需要 output 是這樣的 但現在 output 是 我嘗試使用global lis ，但也沒有用。 ...
如何“輪詢”python 多進程池 apply_async
[英]how to "poll" python multiprocess pool apply_async
我有一個這樣的任務 function：def task (s) : # doing some thing return res 原程序是：res = [] for i in data : res.append(task(i)) # using pickle to ...
涉及 np.linalg.eig 的單個 Python 腳本莫名其妙地占用了 128 個 CPU？
[英]A single Python script involving np.linalg.eig is inexplicably taking 128 CPUs?
注意：問題似乎與np.linalg.eig和eigsh以及scipy.sparse.linalg.eigsh 。 對於不涉及這些功能的腳本，AWS 盒子上的一切都按預期工作。 我發現有問題的最基本的腳本是：import numpy as np for i in range(0, num_iter) ...
如何使用 Python 的 concurrent.futures 跨多個進程對任務進行排隊，每個進程都有自己的線程池？
[英]How can I use Python's concurrent.futures to queue tasks across multiple processes each with their own thread pool?
我正在開發一個庫 function，它使用concurrent.futures跨多個線程傳播網絡 I/O。 由於 Python GIL，我的某些工作負載（大文件）速度變慢，因此我想切換到多個進程。 但是，對於某些其他工作負載（許多小文件），多個進程也不太理想。 我想拆分差異並擁有多個進程，每個進程 ...
谷歌 API 多處理
[英]Google API Multi-Processing
我正在嘗試從我的 Gmail 帳戶（主題、發件人、日期、郵件正文）下的電子郵件中獲取特定信息，並且能夠使用 Google API 和相關庫成功地做到這一點，但是，我注意到您擁有的電子郵件越多解析所需的時間越長，以至於解析 34 封電子郵件需要將近 15 秒，如果您試圖將其擴展到解析 1000 封電子 ...
多處理獲取數組
[英]Multiprocessing obtaining array
我想使用以下代碼獲取 result_1 和 result_2 arrays： 但是，當我運行代碼時，我得到以下 output： 我怎么解決這個問題？ ...
分組 dataframe 並使用 Python/Dask/multiprocessing 以並行方式對結果矩陣執行操作？
[英]Grouping a dataframe and performing operations on the resulting matrix in a parallelized manner using Python/Dask/multiprocessing?
我正在做一個項目，我需要根據分子的 ID 對數據庫中的分子進行分組，並對生成的矩陣執行操作。 我正在使用 Python，我想通過並行處理來提高性能。 我目前正在從 SDF 文件加載分子並將它們存儲在 Pandas dataframe 中。每個分子都有一個 ID、一個唯一的 Pose ID 和一個唯 ...
Python並發期貨大量投入閑置
[英]Python concurrent futures large number of inputs sit idle
我正在使用 Python 的 concurrent.futures 處理大量文件（數千萬）。 發出少量輸入工作正常，但是當輸入大小增加時，進程就不會啟動。 以下代碼僅在輸入大小較小時執行，例如 20_000。 我試圖通過如下小批量提交作業來克服這個問題： 但同樣，它要么根本不啟動，要么在外部 for ...
SCOOP - 如何讓工作人員在繼續之前等待根工作人員
[英]SCOOP - How to make workers wait for root worker before continuing
我在工作中使用 SCOOP（和 Python 3.6 - 無法更新）。 我需要所有工作人員執行計算，然后等待根節點執行緩慢的計算（ if __name__ == '__main__':中的代碼），然后使用根節點計算產生的 dataframe 執行另一次計算。 我的問題是 SCOOP 立即啟動所有工作 ...
multiprocessing.Queue 實例作為參數傳遞給 multiprocessing.Process 時如何序列化？
[英]How is the multiprocessing.Queue instance serialized when passed as an argument to a multiprocessing.Process?
一個相關的問題出現在Why I can't use multiprocessing.Queue with ProcessPoolExecutor? . 我提供了部分答案和解決方法，但承認該問題引發了另一個問題，即為什么可以將multiprocessing.Queue實例作為參數傳遞給multip ...
我可以在 3 個進程之間共享一個 multiprocessing.Manager() 實例嗎？
[英]can I share a multiprocessing.Manager() instance across 3 processes?
我試圖了解是否允許我在 python 中執行以下操作： 在我的程序中創建一個管理器實例 fork 現有進程 N 次在我的初始過程中，將數據發送到管理器（到一些共享變量） 在我的分叉進程中，從管理器讀取數據（從共享變量） 根據我的理解，它應該是管理者的主要用例。 但是，我正在為超過 2 個進程嘗試此 ...
多線程 memory 無限循環的錯誤問題
[英]multi thread memory error issue with infinite while loop
我有無限循環等待消息，一旦我收到消息，例如 30 秒的消息累積並分成塊並並行處理。 但是，在幾次迭代后導致 MemoryError。 任何要更新以避免 memory 問題並順利工作即使我試過下面的代碼， 沒有運氣：（ ...
如何在這里添加tqdm？
[英]How to add tqdm here?
如何在此處為多處理 for 循環添加tqdm 。 也就是說，我想將urls包裝在tqdm()中： GitHub 上建議的解決方案是這樣的： 但是我的可迭代對象是一個 URL 列表，而不是像上面那樣的范圍。 如何將上述解決方案轉換為我的 for 循環？ ...
嘗試使用 tkinter 使用 gui 瀏覽進程
[英]trying to Browse processes with gui using tkinter
我正在嘗試制作一個程序，我需要將兩個過程鏈接在一起。 如果其中一個停止了，另一個也停止了，並且由於某種原因，我的圖形用戶界面在嘗試瀏覽進程並檢查我為此設置的條件時滯后。這是我的問題的短視頻，請在此處輸入鏈接描述。 問題 ...