使用 python 登录 Multiprocessing 和 QueueHandler 的查询

Question

我想在 Python 中了解有关多处理的更多信息。我的应用程序的一个要求是将所有日志发送到单个文件。 我正在阅读 本教程和Logging cookbook 示例。

这里主要是function来初始化日志队列：

def main():
    
    log_queue = multiprocessing.Queue() 
    logger = logging.getLogger('my_app')
    logger.addHandler(logging.handlers.QueueHandler(log_queue))
    logger.setLevel(logging.DEBUG)

 
    listener = multiprocessing.Process(target=logger_process, args=(log_queue,), daemon=True)
    listener.start()

    # First log
    logger.info(f'Number of cpus {multiprocessing.cpu_count()}')

    time.sleep(2)
    print(f'Queue size is {log_queue.qsize()}')
    ....

if __name__ == '__main__':
    main()

这是从队列中获取的记录器进程：

def logger_process(queue):
    
    logger = logging.getLogger('my_app')
    f = logging.Formatter('%(asctime)s %(processName)-10s %(name)s %(levelname)-8s %(message)s')
    h = logging.FileHandler(filename='ptest.log', mode='a')
    h.setFormatter(f)
    logger.addHandler(h)
    logger.setLevel(logging.DEBUG) # log all messages debug and up

    print('started logger process')
   
    while True:
        print(f'logger before: Queue size is {queue.qsize()}')
        msg = queue.get()
        print(f'logger after: Queue size is {queue.qsize()}')
        if msg is None:  # We send this as a sentinel to tell the listener to quit.
            pass #break # Shutdown
            traceback.print_stack()
        else:
            print(f'Log message is {msg}')
            logger.handle(msg)  # No level or filter logic applied - just do it!
            msg = None

以下是观察到的打印件，显示重复的相同日志行和队列大小重复 0 -> 1-> 0 -> 1...

Queue size is 0
started logger process
logger before: Queue size is 1
logger after: Queue size is 0
Log message is <LogRecord: my_app, 20, ./multiproc.py, 235, "Number of cpus 16">
logger before: Queue size is 1
logger after: Queue size is 0
Log message is <LogRecord: my_app, 20, ./multiproc.py, 235, "Number of cpus 16">
logger before: Queue size is 1
logger after: Queue size is 0
Log message is <LogRecord: my_app, 20, ./multiproc.py, 235, "Number of cpus 16">

编辑：（为逐步侦查道歉。我希望它可能对像我这样的其他一些 python 新手有所帮助）。

我怀疑它的启动方法是fork()创建父进程的副本（我在 Ubuntu 上运行代码）并因此复制了一些上下文，但是将它更改为spawn()没有帮助。

然后我尝试注释掉记录器进程中的行以（希望）缩小问题范围。 我发现在注释掉 logger.handle() 时，程序停止循环。

对 SO 的更多搜索（ 1、2 ， 这个 SO 答案检查记录器）让我重新考虑记录器初始化。 以下是调查结果：

def logger_process(queue):
    # Configure logging infra
    #logger = logging.getLogger('my_app') # <------ causing a loop
    logger = logging.getLogger()          # <------ works normally
    print(vars(logger))
    listloggers()

Output 当 logger_process 使用 getLogger() 即 root 时：

{'filters': [], 'name': 'root', 'level': 30, 'parent': None, 'propagate': True, 'handlers': [], 'disabled': False, '_cache': {}}
<RootLogger root (DEBUG)>
     <FileHandler /home/ptest.log (NOTSET)>
+ [my_app              ] <Logger my_app (DEBUG)>
     <QueueHandler (NOTSET)>

Output 当 logger_process 使用 getLogger('myapp') 时：

{'filters': [], 'name': 'my_app', 'level': 10, 'parent': <RootLogger root (WARNING)>, 'propagate': True, 'handlers': [<QueueHandler (NOTSET)>], 'disabled': False, '_cache': {}, 'manager': <logging.Manager object at 0x7f89aa763ee0>}
<RootLogger root (WARNING)>
+ [my_app              ] <Logger my_app (DEBUG)>
     <QueueHandler (NOTSET)>
     <FileHandler /home/ptest.log (NOTSET)>

最后的问题：

1. 虽然我可以看到传播在这里以某种方式引起循环，但有人可以解释这里到底发生了什么吗？
2. 如果我要创建更多子进程，它们各自的getLogger调用应该是什么？ 关于创建记录器的最佳实践是什么——要命名还是不要命名？
3. 日志记录手册示例显示worker_configurer将队列处理程序添加到根记录器。 这是因为多处理队列支持多个生产者/消费者，并且队列的每个“末端”都需要在日志记录处理程序中注册吗？
4. 在上面的同一示例中， worker_process() logging.getLogger(choice(LOGGERS)) 。 这是否意味着每次发送日志时都会初始化一个新的记录器？ 此外，有 10 个工人，但有 2 个LOGGERS ：这是否意味着同一个记录器将处于不同的进程中？ 这在记录器/传播层次结构中是如何实现的？

Answer 1

在启动listener器进程之前，master 配置一个 QueueHandler：

logger.addHandler(logging.handlers.QueueHandler(log_queue))

此处理程序将所有日志记录发送到log_queue 。 假设您正在使用fork启动方法（大多数 Unix 版本的默认方法），侦听器进程会继承此设置。

然后你的监听进程从队列中读取记录：

msg = queue.get()

并告诉它的记录器副本来处理记录：

logger.handle(msg)

然后工作人员的 QueueHandler 副本将记录转储回队列中。

如果您检查日志记录手册中的示例，您会发现这些示例在启动工作程序之前从不在主进程中执行任何日志记录配置。 这确保工作人员不会继承他们不应该拥有的处理程序。