路由 celery 任务

Question

尝试创建两个单独的专用工人时，我无法向 celery 发送任务。 我已经浏览了文档和这个问题，但它并没有改善我的情况。

我的配置如下：

CELERY_RESULT_BACKEND = 'django-db'
CELERY_BROKER_URL = f'redis://{env("REDIS_HOST")}:{env("REDIS_PORT")}/{env("REDIS_CELERY_DB")}'
CELERY_DEFAULT_QUEUE = 'default'
CELERY_DEFAULT_EXCHANGE_TYPE = 'topic'
CELERY_DEFAULT_ROUTING_KEY = 'default'
CELERY_QUEUES = (
    Queue('default', Exchange('default'), routing_key='default'),
    Queue('media', Exchange('media'), routing_key='media'),
)
CELERY_ROUTES = {
    'books.tasks.resize_book_photo': {
        'queue': 'media',
        'routing_key': 'media',
    },
}

任务在tasks.py文件中按以下方式定义：

import logging
import time

from celery import shared_task


from books.models import Author, Book
from books.commands import resize_book_photo as resize_book_photo_command


logger = logging.getLogger(__name__)


@shared_task
def list_test_books_per_author():
    time.sleep(5)
    queryset = Author.objects.all()
    for author in queryset:
        for book in author.testing_books:
            logger.info(book.title)


@shared_task
def resize_book_photo(book_id: int):
    resize_book_photo_command(Book.objects.get(id=book_id))

并且使用apply_async调用apply_async ：

list_test_books_per_author.apply_async()
resize_book_photo.apply_async((book.id,))

当我运行芹菜花时，我看到队列中没有任务出现。

工人开始使用：

celery -A blacksheep worker -l info --autoscale=10,1 -Q media --host=media@%h
celery -A blacksheep worker -l info --autoscale=10,1 -Q default --host=default@%h

我可以做的是使用redis-cli和127.0.0.1:6379> LRANGE celery 1 100命令确认它们最终在celery键下（这是 celery 的默认键）。 似乎没有工人消费。

编辑仔细查看文档的这一部分后，我注意到我的命名是错误的。 将设置更改为：

CELERY_RESULT_BACKEND = 'django-db'
CELERY_BROKER_URL = f'redis://{env("REDIS_HOST")}:{env("REDIS_PORT")}/{env("REDIS_CELERY_DB")}'
CELERY_TASK_DEFAULT_QUEUE = 'default'
# CELERY_DEFAULT_EXCHANGE_TYPE = 'topic'
CELERY_TASK_DEFAULT_ROUTING_KEY = 'default'
CELERY_QUEUES = (
    Queue('default', Exchange('default'), routing_key='default'),
    Queue('media', Exchange('media'), routing_key='media'),
)
CELERY_ROUTES = {
    'books.tasks.resize_book_photo': {
        'queue': 'media',
        'routing_key': 'media',
    },
}

情况改进：任务从default队列中消耗，但我想进入media队列的任务也进入default .

EDIT2我试图通过将调用更改为resize_book_photo.apply_async((book.id,), queue='media')来明确告诉某些任务转到其他队列。 任务已正确分派到适当的队列并被消耗。 但是，我更喜欢自动处理这个问题，这样我就不必在调用apply_async时定义队列

Answer 1

尝试CELERY_TASK_ROUTES而不是CELERY_ROUTES 。 这最近与 django 集成对我有用。

解释隐藏在此评论中： How to route tasks to different queues with Celery and Django