如果以不同的方式調用相同的 python 命令需要不同的時間

Question

我有一些數據（字節）表示來自后台運行的可執行文件的 pyzmq 套接字的 png 圖像。 我使用以下命令將它們轉換為 numpy 數組

decoded = np.asarray(im.open(io.BytesIO(data)))

當我從命令行執行此操作時，這行代碼的運行時間不到一毫秒（也通過 python 的分析器進行了驗證）。 到目前為止，一切都很好。

現在我需要從我名為Heron的應用程序運行同一行代碼。 這解釋起來有點棘手，但實際上 Heron 是一個圖形框架，它生成多個進程，每個進程通過 0MQ sockets 連接到其他進程以進行數據傳輸。 用戶將每個進程的代碼放在一起（遵循 Heron 的 API），Heron 將為它創建一個圖形節點，並負責啟動和關閉一個子進程以運行該代碼，以及在該子進程和所有進程之間接收和發送消息其他蒼鷺已經產卵。 出於所有意圖和目的，我上面提到的代碼行只是在 Heron 啟動的自己的進程中運行（而不是從命令行調用）。 據我所知，其他一切都是相同的。

當我從 Heron 子進程內部運行此行時，運行大約需要 90 毫秒（再次由 python 分析器驗證）。 相同的命令（如 PIL 的 PngImagePlugin.py:198(call)）現在將花費 16 毫秒，而不是之前情況下的 1 毫秒）。

我還嘗試從運行同一行的命令行創建一個子進程，但毫無用處，它的運行速度與直接從命令行運行一樣快（不到 1 毫秒）。 因此，問題似乎與子進程中運行的代碼沒有直接關系，而是它在 Heron 專門創建的子進程中運行的方式。

Heron 的主要進程（產生所有其他進程）是一個dearpygui進程（因此它顯示一個 gui）。

我知道這個問題非常模糊，特別是因為我是寫 Heron 的人（所以我現在應該更好地了解它的行為），但對於我的生活，我不明白為什么在基於 gui 的進程啟動的子進程中運行的代碼（蒼鷺）的行為會有所不同。

Heron 啟動子流程如下：

kwargs = {'start_new_session': True} if os.name == 'posix' else\ {'creationflags':subprocess.CREATE_NEW_PROCESS_GROUP} pid = subprocess.Popen(new_arguments_list, **kwargs).pid

以上所有都發生在 Windows 10 和 3.9 python 下。我還沒有嘗試過 Linux。

我發布這篇文章是希望你們中的一些人可能在不同情況下遇到過 python 代碼中執行速度不同的相同問題，並且可能會給我一些關於在哪里尋找解決方案的指示。

期望和我做了什么：

我期望同一行代碼的執行速度相同。

我嘗試在它自己的子進程中運行代碼，但這並沒有產生差異，所以它一定是 Heron 正在做的事情更獨特的。

我還禁用了垃圾收集器，但沒有任何區別。

Answer 1

在 @Jérôme 的最初評論之后，我試圖將運行有問題的代碼行的進程固定到單個 cpu 核心（我的機器中有 8 個）。

我用下面的代碼做到了這一點：

affinity = [int(affinity)]
proc = psutil.Process()  # get self pid
aff_before = proc.cpu_affinity()
proc.cpu_affinity(affinity)
aff_after = proc.cpu_affinity()
print('Setting CPU affinity of Com process with PID: {} (and its Worker process) from {} to {}'.format(proc.pid, aff_before, aff_after))

這立即解決了問題，現在執行代碼行所花費的時間與從命令行調用它們時所花費的時間相同。

Heron 生成大量進程，2 * 其計算圖所具有的節點數，通常這可以是 3 到 10 個節點之間的任何值，因此在任何時間點都有 6 到 20 個進程。

我不知道為什么這會導致某些代碼行減慢兩個數量級。 現在會很有趣（但又是一個問題）。 無論如何，問題都解決了（現在我已經向 Heron 添加了將進程固定到核心的能力:)）。