Python 日志未出现在 Google 数据流中

Question

当数据流作业运行时，我无法看到在我的 python 代码中创建的日志记录消息。 我已按照文档进行操作，但没有出现任何日志！

https://cloud.google.com/dataflow/docs/guides/logging

我已经导入了“日志记录”，甚至按照以下内容创建了一个自定义记录器：

    logger = logging.getLogger('TEST_LOGGER')
    logger.setLevel(logging.INFO)

下面是一个提取的函数，我在其中输入了一些日志和打印语句，只是为了尝试在 Dataflow UI 中查看任何类型的输出：

    def check_file_size(file):
        file = 'gs://Redacted'
        file_size = gcsio.GcsIO.size(file) 
        print('FILE SIZE:' + file_size)
        logger.info('FILE SIZE:' + file_size)
        logger.info(f'file_size..... - {file_size}')

        if(file_size <= 4):
                print('FILE SIZE:' + file_size)
                logger.info('FILE SIZE:' + file_size)
                        
                raise Exception("ERROR IN FILE")
        else:
                print('FILE SIZE:' + file_size)
                logger.info('FILE SIZE:' + file_size)
                return file_size

以上消息都没有显示在 UI 中，实际上没有显示自定义日志消息...

我希望日志既显示在“工作日志”下，也显示在该功能的各个步骤日志上。 关于为什么这些日志没有出现，我真的想不通了——如果有任何指导，我们将不胜感激。

Answer 1

如果您以下列方式导入logging ，它应该可以工作：

import logging

def check_file_size(file):
        file = 'gs://Redacted'
        file_size = gcsio.GcsIO.size(file) 
        print('FILE SIZE:' + file_size)
        logging.info('FILE SIZE:' + file_size)
        logging.info(f'file_size..... - {file_size}')

        if(file_size <= 4):
                print('FILE SIZE:' + file_size)
                logging.info('FILE SIZE:' + file_size)
                        
                raise Exception("ERROR IN FILE")
        else:
                print('FILE SIZE:' + file_size)
                logging.info('FILE SIZE:' + file_size)
                return file_size

在这种情况下，日志应出现在Dataflow UI 步骤以及Cloud Logging中。