芹菜從task_success處理程序中關閉工作人員無法正常工作

Question

我試圖讓一個工人一次只運行一個任務，然后關閉。 我已經使關機部分正常工作（這里有一些背景： celery通過在task_postrun信號中提高SystemExit來嘗試關機工作者，但總是掛起，並且主進程永遠不會退出 ），但是當它關​​機時，我得到了一個錯誤：

[2013-02-13 12:19:05,689: CRITICAL/MainProcess] Couldn't ack 1, reason:AttributeError("'NoneType' object has no attribute 'method_writer'",)
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/site-packages/kombu/transport/base.py", line 104, in ack_log_error
    self.ack()
  File "/usr/local/lib/python2.7/site-packages/kombu/transport/base.py", line 99, in ack
    self.channel.basic_ack(self.delivery_tag)
  File "/usr/local/lib/python2.7/site-packages/amqplib/client_0_8/channel.py", line 1742, in basic_ack
    self._send_method((60, 80), args)
  File "/usr/local/lib/python2.7/site-packages/amqplib/client_0_8/abstract_channel.py", line 75, in _send_method
    self.connection.method_writer.write_method(self.channel_id,
AttributeError: 'NoneType' object has no attribute 'method_writer'

為什么會這樣呢？ 它不僅不應答，而且還清除了隊列中剩下的所有其他任務（大問題）。

我該如何解決？

UPDATE

以下是更新了所有內容的堆棧跟蹤信息（pip install -U kombu amqp amqplib celery）：

[2013-02-13 11:58:05,357: CRITICAL/MainProcess] Internal error: AttributeError("'NoneType' object has no attribute 'method_writer'",)
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/__init__.py", line 372, in process_task
    req.execute_using_pool(self.pool)
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/job.py", line 219, in execute_using_pool
    timeout=task.time_limit)
  File "/usr/local/lib/python2.7/dist-packages/celery/concurrency/base.py", line 137, in apply_async
    **options)
  File "/usr/local/lib/python2.7/dist-packages/celery/concurrency/base.py", line 27, in apply_target
    callback(target(*args, **kwargs))
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/job.py", line 333, in on_success
    self.acknowledge()
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/job.py", line 439, in acknowledge
    self.on_ack(logger, self.connection_errors)
  File "/usr/local/lib/python2.7/dist-packages/kombu/transport/base.py", line 98, in ack_log_error
    self.ack()
  File "/usr/local/lib/python2.7/dist-packages/kombu/transport/base.py", line 93, in ack
    self.channel.basic_ack(self.delivery_tag)
  File "/usr/local/lib/python2.7/dist-packages/amqp/channel.py", line 1562, in basic_ack
    self._send_method((60, 80), args)
  File "/usr/local/lib/python2.7/dist-packages/amqp/abstract_channel.py", line 57, in _send_method
    self.connection.method_writer.write_method(
AttributeError: 'NoneType' object has no attribute 'method_writer'

Answer 1

不建議在task_postrun中退出，因為task_postrun是在“任務主體”錯誤處理之外執行的。

任務調用sys.exit時發生的確切定義不明確，實際上取決於所使用的池。

通過多處理，子進程將簡單地被新進程代替。 在其他池中，工作程序將關閉，但這很可能會更改，從而與多處理行為保持一致。

在任務主體外部調用exit被視為內部錯誤（崩潰）。

“任務主體”是在task.__call__()執行的任何東西。

我認為也許對此更好的解決方案是使用自定義執行策略：

from celery.worker import strategy
from functools import wraps

@staticmethod
def shutdown_after_strategy(task, app, consumer):

    default_handler = strategy.default(task, app, consumer)

    def _shutdown_to_exit_after(fun):
        @wraps(fun)
        def _inner(*args, **kwargs):
            try:
                return fun(*args, **kwargs)
            finally:
                raise SystemExit()
       return _inner
    return _decorate_to_exit_after(default_handler)

@celery.task(Strategy=shutdown_after_strategy)
def shutdown_after():
    print('will shutdown after this')

這不是很漂亮，但是執行策略可以優化任務的執行並且不易於擴展（工作人員通過緩存Task.Strategy來“預編譯”每種任務類型的執行路徑）

在Celery 3.1中，您可以使用“引導步驟”擴展工作人員和使用者，因此可能會有一個不錯的解決方案。