同時運行的最大Python腳本數

Question

我寫了一個腳本來對HTTP存檔數據進行一些研究。 該腳本需要對HTTP存檔所抓取的站點發出HTTP請求，以便將站點分類（例如Drupal，WordPress等）。 該腳本運行得很好。 但是，我正在處理的網站列表的長度為300,000個。

我希望能夠盡快完成網站的分類。 我已經嘗試過同時運行腳本的多個實例，並且通過適當的鎖定來防止出現競爭狀況，該腳本可以很好地運行。

如何最大程度地完成所有這些操作？ 例如，我正在尋找一個具有8個CPU和16 GB RAM的VPS。 如何最大程度地利用這些資源，以確保使用所有可能的處理能力？ 我可能會考慮開發更強大的產品，但我想確保自己了解如何充分利用它，以免浪費金錢。

謝謝！

Answer 1

多處理模塊是使您能夠利用8個CPU的最大功能的最佳選擇： https : //docs.python.org/3.3/library/multiprocessing.html