使用 Celery，在单个 celery 任务中执行 URL 列表。 可能吗？

Question

视图.py

urls=["https//:.....com,https//:.....com,etc.."]
for i in urls:
   r=process.delay(i)

当我调用 celery 任务时，它执行单独的任务。 如何在单个 celery 任务中执行列表集？

任务.py

@app.task
def process(url):
    r = requests.get(url, allow_redirects=True)
    return r

Answer 1

您可以将一组 URL 甚至整个列表传递给 celery 任务。 但这并没有多大意义，因为我们实际上并没有利用并行的传出请求，因为每个 URL 将一个接一个地被串行访问。

视图.py

urls=["https//:.....com", "https//:.....com", ...]
r = process.delay(urls)

任务.py

@app.task
def process(urls):
    results = []
    for url in urls:
        r = requests.get(url, allow_redirects=True)
        results.append(r)
    return results