Django 中的作业调度

Question

我需要在我们的 Django 应用程序中实现一个计划任务。 DBader 的日程安排似乎是该工作的一个很好的候选人，但是当它作为 Django 项目的一部分运行时，它似乎并没有产生预期的效果。

具体来说，这作为一个独立程序运行良好：

import schedule
import time

import logging
log = logging.getLogger(__name__)

def handleAnnotationsWithoutRequests(settings):
    '''
    From settings passed in, grab job-ids list
    For each job-id in that list, perform annotation group/set logic [for details, refer to handleAnnotationsWithRequests(requests, username) 
                                                                     sans requests, those are obtained from db based on job-id ]
    '''
    print('Received settings: {}'.format(str(settings)))

def job():
    print("I'm working...")

#schedule.every(3).seconds.do(job)
#schedule.every(2).seconds.do(handleAnnotationsWithoutRequests, settings={'a': 'b'})
invoc_time = "10:33"
schedule.every().day.at(invoc_time).do(handleAnnotationsWithoutRequests, settings={'a': 'b'})

while True:
    schedule.run_pending()
    time.sleep(1)

但是在 Django 上下文中运行的这个（等效的）代码不会导致调用。

def handleAnnotationsWithoutRequests(settings):
    '''
    From settings passed in, grab job-ids list
    For each job-id in that list, perform annotation group/set logic [for details, refer to handleAnnotationsWithRequests(requests, username) 
                                                                     sans requests, those are obtained from db based on job-id ]
    '''
    log.info('Received settings: {}'.format(str(settings)))

def doSchedule(settings):
    '''
    with scheduler library
    Based on time specified in settings, invoke .handleAnnotationsWithoutRequests(settings)
    '''
    #settings will need to be reconstituted from the DB first
    #settings = {}
    invocationTime = settings['running_at']
    import re
    invocationTime = re.sub(r'([AaPp][Mm])', "", invocationTime)
    log.info("Invocation time to be used: {}".format(invocationTime))
    schedule.every().day.at(invocationTime).do(handleAnnotationsWithoutRequests, settings=settings)

    while True:
        schedule.run_pending()
        time.sleep(1)

所以来自handleAnnotationsWithoutRequests()的日志不会出现在控制台上。

这个调度库与 Django 兼容吗？ 有没有可以参考的使用示例？

我怀疑这里有一些线程问题。 也许有更好的替代品可以使用？ 欢迎提出建议。

先感谢您。

Answer 1

对于 Web 服务器，您可能不想要在进程中运行的东西：

用于定期作业的进程内调度程序 [...]

https://github.com/Tivix/django-cron已证明是一个可行的解决方案。

还有重量级冠军 Celery 和 Celerybeat。

Answer 2

我经常用Django 命令来做这件事

我使用的模式是在我的应用程序中设置一个新的 Django 命令，然后在一个永无止境的while()循环中使它成为一个长时间运行的进程。

我循环使用自定义定义的 sleep(1) 计时器连续迭代。

简短版本在这里，其中包含一些伪代码。您可以在我的Django 参考实现中看到此模式的工作版本。

class Command(BaseCommand):
    help = 'My Long running job'

    def handle(self, *args, **options):

        self.stdout.write(self.style.SUCCESS(f'Starting long-running job.'))

        while True:

            if conditions met for job:
                self.job()

            sleep(5)

    def job(self):
        self.stdout.write(self.style.SUCCESS(f'Running the job...'))