任务无法从 Flask 到达 Celery，但仅在从 Flask 应用程序路由调用时

Question

我正在使用 Celery 设置一个从简单的 Flask API 调用的任务队列。 但是，我遇到了一些奇怪的行为，即从 Flask 应用程序的路由中调用 Celery 时，Celery 无法正常工作。

我已将代码简化为以下代码，但仍然出现相同的错误。

from celery import Celery

import env_config as cfg

from flask import Flask


app = Flask(__name__)
app.config.update(
    CELERY_BROKER_URL='pyamqp://guest@localhost//',
    CELERY_RESULT_BACKEND='rpc://'
)


def make_celery(app):
    celery = Celery(
        app.name,
        backend=app.config['CELERY_RESULT_BACKEND'],
        broker=app.config['CELERY_BROKER_URL']
    )

    class ContextTask(celery.Task):
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return self.run(*args, **kwargs)

    celery.Task = ContextTask
    return celery


celery = make_celery(app)


@celery.task
def predict_job(job_id):
    # do nothing
    pass


@app.route('/predict_job', methods=['GET'])
def predict_job_route():
    predict_job.delay(1)
    return 'processing'


@app.route('/')
def index():
    return "Flask app is working."


if __name__ == '__main__':
    app.run(debug=False, host=cfg.ML_HOST, port=cfg.ML_PORT)

Celery 或 Flask 日志的响应为零。 我可以正常访问“/”路由并在 Flask 日志中看到 GET 请求。 IE

127.0.0.1 - - [12/Jun/2019 13:34:45] "[37mGET / HTTP/1.1[0m" 200 -

现在有趣的事情来了。 如果我修改代码如下：

if __name__ == '__main__':
    predict_job.delay(1)
    app.run(debug=False, host=cfg.ML_HOST, port=cfg.ML_PORT)

然后，第二个 predict_job.delay() 不仅完全按预期运行，而且现在通过路由访问时原始 predict_job.delay() 工作正常。

参考这里是成功的芹菜日志记录：

[2019-06-12 13:41:30,464: INFO/MainProcess] Task app.predict_job[25a37d95-2060-4d8a-abff-c4d18804c03d] succeeded in 0.0s: None

Answer 1

尝试在make_celery调用后添加一行：

celery = make_celery(app)
celery.conf.update(app.config)

（检查Flask的配置示例- 如您所见，您也可以在make_celery函数中执行此make_celery ）

此外，请确保 运行 celery worker 。