Python 查询分页 api url 列表的最快方法

Question

我有一个 api_urls 列表

api_urls = [api_url_1, api_url_2, api_url_3]

对于这些网址中的每一个，我必须遍历分页以获取所有数据

def get_data(api_url):
    next_page = 1
    results = []
    while next_page is not None:
        response = query(api_url)
        results.extend(response["data"])
        next_page = response["next_page"]

    return results

从我的所有 api_urls 获取数据的最快方法是什么？ 我可以在这里做多线程吗？

Answer 1

您可以使用线程池在 4 个不同的线程中并行运行 get_data function。

from multiprocessing.pool import ThreadPool

with ThreadPool(4) as pool:

    results = pool.map(get_data, api_urls)

此代码使用 4 个线程并行执行 get_data 函数，直到处理完所有 api_url

您还可以使用此代码在使用普通多处理池的 4 个并行进程上运行 get_data function

from multiprocessing import Pool

with Pool(4) as pool:

    results = pool.map(test, api_urls)