Python - 多处理读取数组并更新计数

Question

我有一些在 locust 中运行的测试，作为其中的一部分，我创建了一个唯一 ID 并将其添加到数组中。 然后，我想在最后查看这些 ID，并检查它们是否通过 web 调用进入数据库。 它工作得非常好，但是单独运行每个都非常慢......所以我相信我需要使用多处理（或者可能是其他一些方法？）来加快检查速度，但到目前为止我还没有设法让它工作。

这是我编写的代码示例（被香肠混淆了，因为......为什么不:)）

在此示例中，数组中只有 3 个项目，但是如果您可以想象它有数百个，那么进行这种多处理的最佳方法是什么？

import requests

all_sausages = ["cumberland", "lego", "bratwurst"]
global yes 
global no 
yes = 0
no = 0
for sausage in all_sausages:
    response = requests.get("http://www.isitasausage.com/" + sausage)
    if response.text.__contains__("Yes, this is a sausage"):
        yes += 1 
    else:
        no =+ 1 

print("Number of sausages in the array = " + str(yes))
print("Number of items in the array that are not sausages = " + str(no))

Answer 1

像这样，举个小例子。

我正在使用ThreadPool而不是进程池，因为

• 处理 HTTP 主要受 IO 限制，而不是 CPU 限制，因此 GIL 无关紧要
• 你可以像这样共享一个requests.Session()
• 您无需支付与多处理相关的序列化税。

import requests
from collections import Counter
from multiprocessing.dummy import ThreadPool


sess = requests.Session()


def determine_sausageness(sausage: str) -> tuple[str, bool]:
    # Return the sausageness of a given sausage; returns a tuple of (sausage, result).
    response = requests.get("http://www.isitasausage.com/" + sausage)
    response.raise_for_status()
    return (sausage, "Yes, this is a sausage" in response.text)


def main():
    all_sausages = ["cumberland", "lego", "bratwurst"]

    with ThreadPool() as pool:
        results = dict(pool.imap_unordered(determine_sausageness, all_sausages))
    responses = Counter(results.values())
    print(responses)


if __name__ == "__main__":
    main()

Answer 2

非常感谢您的回复，它们非常有用。 另外，对于我的问题中的错字，我很抱歉，我很快就把它敲了起来，错过了:)

我最终采用的解决方案是按照建议使用 ThreadPool，这对我来说是一种享受。 我最初进行了 4 分钟的测试，在 4 分钟的测试完成后，一次处理 1500 个请求需要将近 15 分钟，但是使用以下代码，它从 15 分钟减少到 48 秒，相当改进！ （注意我还编辑了数组以包含 URL，但这不是必需的）

import concurrent.futures
import requests

[all_sausages] = ["http://www.isitasausage.com/cumberland",
"http://www.isitasausage.com/generic_toy_blocks",
"http://www.isitasausage.com/bratwurst",
"http://www.isitasausage.com/hotdog",
"http://www.isitasausage.com/dachshund",
"http://www.isitasausage.com/chorizo"]

def determine_sausageness(sausage):
    global yes
    global no
    response = requests.get(sausage)
    if response.text.__contains__("Yes, this is a sausage"):
        yes += 1
    else:
        no += 1

with concurrent.futures.ThreadPoolExecutor() as executor:
    executor.map(determine_sausageness, all_sausages)

print("Number of sausages in the array = " + str(yes))
print("Number of items in the array that are not sausages = " + str(no))