[英]writing scrapy logs into a file
我有一个LOG_LEVEL = 'DEBUG'
的爬虫,如何将出现的日志消息(在爬虫运行时)写到一个简单的文本文件中,而不是直接从终端读取它们。
注意:我还尝试将登录终端复制并粘贴到文本文件中,但是由于蜘蛛抓取了许多页面,因此终端无法显示全部
我的问题是基本上如何直接将终端上的scrapy显示内容直接写到文件中,以便以后查看
import logging
from scrapy.utils.log import configure_logging
configure_logging(install_root_handler=False)
logging.basicConfig(
filename='log.txt',
format='%(levelname)s: %(message)s',
level=logging.INFO
)
将--logfile my_logfile.txt
添加到您的scrapy
命令中,例如从教程中
scrapy runspider quotes_spider.py -o quotes.json --logfile my_log.log
请阅读文档 。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.