GUnicorn：重新啟動 worker 后隊列不工作

[英]GUnicorn: Queue not working after re-starting worker

問題陳述啟動 GUnicorn 工作進程后，我希望工作進程仍然能夠從另一個進程接收數據。 目前，我正在嘗試使用multiprocessing.Queue來實現這一點。 具體來說，我在 fork workers 之前啟動了一個數據管理進程，並使用兩個隊列將其與 workers 連接起來。 一個隊列供工 ...

如何從另一個進程快速殺死並重新啟動同一端口中的 uvicorn porcess？

[英]How to quickly kill and repoen a uvicorn porcess in same port from another process?

我有一個腳本，它根據配置文件在單獨的線程中運行一個 uvicorn 進程（並且還做其他事情）。 如果配置文件被修改，我希望它重新加載，所以我制作了一個新腳本，在單獨的進程中啟動主腳本，監視文件更改，如果發生更改，則終止前一個進程並啟動新進程。 但我發現，在我更改配置文件后，除 uvicorn 外， ...

python 多處理 map function

[英]python multiprocessing map function

我在使用多處理 map function 編寫 python 代碼時遇到問題。重現該問題的最少代碼如下 如果運行這段代碼，我會收到錯誤消息 但是，如果我將 f 函數移到主 function 之外，即 這次成功了。 我想知道它們之間有什么區別以及如何在第一個版本中出現錯誤。 提前致謝。 ...

ThreadPoolExecutor 生成的期貨不會異步運行

[英]Futures generated by ThreadPoolExecutor do not behave asynchronously

我想創建一個在 ThreadPoolExecutor 上運行的期貨列表，然后在它們完成評估后立即顯示它們中的每一個。 預期結果是：每 3 秒打印一次 0、2、6、12。 但是，我在 12 秒后才得到結果，並且數字是模擬顯示的。from concurrent.futures import Thread ...

如何在使用多處理時動態更改函數中變量的值

[英]How to dynamically change the value of variable in functions while using multiprocessing

我如何動態更改 lis 的值，以便每秒 output 一個列表，其中最后一個元素是前一個列表最后一個元素的 2 倍。 我需要 output 是這樣的 但現在 output 是 我嘗試使用global lis ，但也沒有用。 ...

使 multiprocessing.Queue 可從 asyncio 訪問

[英]Make multiprocessing.Queue accessible from asyncio

給定一個multiprocessing.Queue ，它由不同的 Python 線程填充，通過ThreadPoolExecutor.submit(...)創建。 如何以安全的方式（上下文 FastAPI）和可靠的方式使用 asyncio / Trio / Anyio 訪問該隊列？ 我知道 Janus ...

跨進程共享代理實例 object 導致泡菜錯誤

[英]Sharing instance of proxy object across processes results in pickle errors

賞金將在 5 天后到期。 此問題的答案有資格獲得+150聲望賞金。 lezebulon正在尋找一個規范的答案： 我試圖了解我正在做的事情是否應該根據 python 規范/文檔（然后它是一個錯誤）工作，或者不是我正在嘗試在幾個進程之間的 python 中實現一個簡單的共享 object 系統。 我 ...

Python 即使設置了超時，多處理也會掛起

[英]Python multiprocessing hangs even if there are timeouts set

出於某種原因，我的程序在使用多處理和隊列時掛起，即使我設置了超時並檢查隊列是否為空。 這發生在 Windows 和 Linux 上。 有多個進程接收輸入（這里是 a、b 和 c）並且應該發送結果（這里它們只是發回輸入 a、b 和 c）。 據我所知，在所有“給出參數”之后，他們一遍又一遍地發回 a 和 ...

從多個 while 循環流式傳輸數據

[英]Streams data from multiple while loops

我正在使用 psutil 在任何給定時間點分析 open_files() 。 一旦程序創建了一個具有特定擴展名的文件（可能是.xlsx、.csv、.docx、.dat），我想在修改文件之前將該文件保存在另一個目錄中，然后對其執行順序操作。 現在我正在使用嵌套的 while 循環，但是如果程序輸出多個 ...

如何使 `concurrent.futures.ProcessPoolExecutor().map` 與 kwonly args 一起工作？

[英]How to make `concurrent.futures.ProcessPoolExecutor().map` work with kwonly args?

如何使concurrent.futures.ProcessPoolExecutor().map使用 kwonly args？ 這可能嗎？ 使用位置參數： def worker_function(x): # Return the square of the passed argument: ...

SCOOP - 如何讓工作人員在繼續之前等待根工作人員

[英]SCOOP - How to make workers wait for root worker before continuing

我在工作中使用 SCOOP（和 Python 3.6 - 無法更新）。 我需要所有工作人員執行計算，然后等待根節點執行緩慢的計算（ if __name__ == '__main__':中的代碼），然后使用根節點計算產生的 dataframe 執行另一次計算。 我的問題是 SCOOP 立即啟動所有工作 ...

在 Python 中動態創建可序列化類

[英]Dynamically creating serializable classes in Python

我正在嘗試更新應該用作multiprocessing.manager的自定義類型的 class 並模仿基本字典。 在 Linux 上一切正常，但在 Windows 上卻失敗了，我知道問題在於它使用的可能是次優的創建機制，該機制涉及閉包。 通過分叉，Linux 可以序列化pickle無法處理的內容，而 ...

如何為 multiprocessing.BaseManager 實例配置線程名稱

[英]How to configure thread names for multiprocessing.BaseManager instances

在我正在調試的一些代碼中有一些使用這些 BaseManager 類型。 https://docs.python.org/3/library/multiprocessing.html#multiprocessing.managers.BaseManagerfrom multiprocessing.m ...

ProcessPoolExecutor 的資源有限（例如 tcp 端口）

[英]limited resource for ProcessPoolExecutor (for example tcp port)

動機： 我想為大量值運行一些 function（以下示例中的myfunc ），而這個 function 需要一個空閑的 TCP 端口，並且因為 TCP 端口的數量有限，我只想擁有與工作進程數。 實際上，它運行一個復雜的集成測試，為每個輸入值運行許多秒或幾分鍾，它創建多個使用此端口進行通信的進程 - ...

Python：apply_sync() 和 tqdm() 打印新行

[英]Python: apply_sync() and tqdm() printing new line

我有以下代碼，其中有 2 個變量運行 2 個獨立的池來處理一堆表，進度應該通過 tqdm 欄反映出來。 我相信我已經做到了，但我現在的問題是有新的進度條行，進度為 0，我不知道它是從哪里來的。 我究竟做錯了什么？ 代碼 RESULT 結果終端截圖 ...

當您在多處理目標 function 中傳遞它時，是否創建了一個新的 object？

[英]Is a new object created when you pass it in multiprocessing target function?

我是多處理的新手，我正在嘗試理解它。 我注意到，每當您將 object 傳遞給 args 時，似乎都會復制它？ 例子： 假設我有這個 z1.py 文件 和一個 z2.py 文件 我期待在兩個打印語句中看到相同的 object id，但我得到的是： 任何人都可以幫助我理解為什么 object 沒有相 ...

我的多處理線程池比單線程實現需要更長的時間來完成任務

[英]My multiprocessing threadpool takes longer to complete tasks than a single-threaded implementation

我寫了一個算法並試圖比較不同版本的性能。 我的基准測試 function 使用線程池，但與單核實現相比，基准測試花費的時間相同或更長。 我用過 pypy 和 python，版本 3.11，結果是一樣的。 基准測試方法： 多線程線程池： 測試： 每次我運行它時，無論運行次數或池中的線程數如何，池都不會 ...

如何讓 multiprocessing.Pool().starmap() 返回 iterable

[英]How to get multiprocessing.Pool().starmap() to return iterable

我正在嘗試從 function 以及 output 的輸入構造一個 dataframe。之前我使用的是循環 但是范圍很大，所以我嘗試使用 multiprocessing.Pool() 來加快速度 但是，使用 pool 我不再可以訪問 i 和 j，因為它們只是 function 的輸入我試圖讓 fu ...

你能在 Python 的多處理池中讓 Pool 在多個不同的 Map 函數中保持打開狀態嗎？

[英]Can you leave Pool open across multiple different Map functions within Python's Multiprocessing Pool?

我想知道您是否可以讓multiprocessing.Pool在多個不同map函數中保持打開狀態？ 如果這是可能的，這種方法有什么缺陷嗎？ 我的一般用例是將池分配給 class 變量，例如self.pool ，然后在 class 中的各種不同的map函數中調用此self.pool - 例如， sel ...

Python 並行化，function，以一個可迭代和多個數據作為輸入。 也許多重處理星圖？

[英]Python parallelize, function, with one iterable and mulitple data as input. Maybe mulitprocessing starmap?

我目前有以下循環，通過使用我的 function sample_features 計算每一列來創建矩陣。 function 輸入一個索引，該索引是我的可迭代和多個數據集以及需要對所有 function 調用重復的參數。 尺寸：U_new (N x D) V_new & Item_vect ...