繁体   English   中英

将临时日志写入文件

[英]writing scrapy logs into a file

我有一个LOG_LEVEL = 'DEBUG'的爬虫,如何将出现的日志消息(在爬虫运行时)写到一个简单的文本文件中,而不是直接从终端读取它们。

注意:我还尝试将登录终端复制并粘贴到文本文件中,但是由于蜘蛛抓取了许多页面,因此终端无法显示全部

我的问题是基本上如何直接将终端上的scrapy显示内容直接写到文件中,以便以后查看

import logging
from scrapy.utils.log import configure_logging

configure_logging(install_root_handler=False)
logging.basicConfig(
    filename='log.txt',
    format='%(levelname)s: %(message)s',
    level=logging.INFO
)

请参阅此https://docs.scrapy.org/en/latest/topics/logging.html

--logfile my_logfile.txt添加到您的scrapy命令中,例如从教程中

scrapy runspider quotes_spider.py -o quotes.json --logfile my_log.log

请阅读文档

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM