python中的多處理

Question

我的問題可能很模糊。 我正在尋找某種合理的方法來執行任務。 我已經開發了一個網頁，用戶可以在其中上傳一個文件，作為我用python開發的代碼的輸入文件。

通過網頁提交輸入文件后，該文件將保存在一個臨時文件夾中，守護程序將從該文件夾中將其復制到另一個位置。 我想要的是定期查找文件夾中的文件（可以寫一個守護程序）。如果它找到多個文件，它將作為單獨的作業運行代碼，並在目錄中找到輸入文件，最多在5個進程下運行如果文件夾中有文件（按時間順序），則在同一時間完成一個過程時，它將開始下一個過程。

我知道python中的多處理功能，但是不知道如何實現我想要的東西，或者我應該選擇XGrid這樣的東西來管理我的工作。 該代碼通常需要幾個小時到幾天才能完成一項工作。 但是工作是相互獨立的。

Answer 1

我使用SQL表執行此類操作，因為如果我不限制它們，用戶可能會一起啟動數十個任務。

當出現新文件時，守護程序將其名稱寫入表中（包括各種其他信息，例如大小，日期，時間，用戶等）。

然后，另一個守護程序正在讀取表，獲取第一個未執行的任務，執行該任務，並將其標記為已執行。 當發現什么都不做時，它會等待一分鍾左右。

該表也是已執行作業的日志，也可能帶有結果。 您可以從中獲得平均值。