同时运行的最大Python脚本数

Question

我写了一个脚本来对HTTP存档数据进行一些研究。 该脚本需要对HTTP存档所抓取的站点发出HTTP请求，以便将站点分类（例如Drupal，WordPress等）。 该脚本运行得很好。 但是，我正在处理的网站列表的长度为300,000个。

我希望能够尽快完成网站的分类。 我已经尝试过同时运行脚本的多个实例，并且通过适当的锁定来防止出现竞争状况，该脚本可以很好地运行。

如何最大程度地完成所有这些操作？ 例如，我正在寻找一个具有8个CPU和16 GB RAM的VPS。 如何最大程度地利用这些资源，以确保使用所有可能的处理能力？ 我可能会考虑开发更强大的产品，但我想确保自己了解如何充分利用它，以免浪费金钱。

谢谢！

Answer 1

多处理模块是使您能够利用8个CPU的最大功能的最佳选择： https : //docs.python.org/3.3/library/multiprocessing.html