我设置了一个scrapy项目,并由scrapy crawl xxx运行。
我没有在cmd中看到任何输出,但是日志msgs确实写入了日志文件。

我正在使用如下日志:

from scrapy import log

def Pipe(...):
    ....
    log.msg("Actor_id: %s wrote to database" % (actor.id,),
                level=log.DEBUG, spider=spider)

我该如何运作?

===============>>#1 票数:0

构建机器人时,我正在使用parse命令行并一起进行调试。 更多信息请点击这里

self.log("content goes here")

  ask by Mithril translate from so

未解决问题?本站智能推荐:

6回复

抑制Scrapy项目在管道后打印在日志中

我有一个scrapy项目,最终进入我的管道的项目相对较大,并存储了大量的元数据和内容。 我的蜘蛛和管道中的一切都正常。 但是,日志会在离开管道时打印出整个scrapy项目(我相信): 如果我可以避免,我宁愿不把所有这些数据都写入日志文件。 有关如何抑制此输出的任何建议?
1回复

如何在scrapy response.follow中制作循环?

我在刮Dmoz网站。 我正在抓每个页面,但我不想每次都写response.follow() 。 相反,我想做一个循环。 如何使它只是编写page_name和function_name而不是一次又一次地编写整行代码。
2回复

如何在Scrapy类中制作循环?

我正在抓取一个网站。 但是我有一个问题。 我做了一个类和一个变量,并给了它一个从中抓取数据的链接。 但是在网站中,一页中有很多类别。 意味着有国家名称以字母A, B upto Z列出。 我做了一个循环,仅输入一个国家的第一个字母,从A, B upto Z ,这样我就不能一次又一次重复链
2回复

在没有打印日志的情况下运行scrapy runpider

我正在执行一个刮executing的蜘蛛使用: 如何无提示地执行它,即没有所有蜘蛛打印日志?
1回复

运行Spider时如何在日志中写入数据?

运行scrapy spider时,我看到日志消息中包含“ DEBUG:”,其中包含1. DEBUG:已抓取(200)(GET http://www.example.com )(引用:无)。2. DEBUG:已从(200 http://www.example.com ) 我想知道1.对那些“
1回复

在scrapy中制作循环的正确方法是什么?

我也创建了其他页面,但我向你展示了一个。 我已经专门为循环创建了另一个函数,但它没有给我结果。 它给了我错误。 在哪里放上find_items功能? 还是有其他问题吗? 这是错误: 这是代码:
1回复

在scrapy中记录到特定的错误日志文件

我通过这样做运行scrapy日志: 然后我像这样运行蜘蛛: 这会将所有log.INFO数据以及log.ERROR存储到spider.log 。 如果发生错误,我还想将这些详细信息存储在名为spider_errors.log的单独日志文件中。 它可以更容易地搜索发生的错误,
4回复

如何关闭Scrapy中的日志记录(Python)

我使用Scrapy创建了一个蜘蛛,但我无法弄清楚如何关闭默认日志记录。 从文档中可以看出,我应该可以通过这样做来关闭它 但这没有效果。 从查看logging.basicConfig()的代码我猜这是因为“根记录器配置了处理程序”,但也许我错了。 无论如何,任何人都可以解释我需要做些
1回复

如何在Scrapy中合并多处理

我正在尝试抓取: https : //www.jny.com/collections/bottoms 为了一次抓取和刮取多个页面,我正在使用多处理 它给出以下错误: 该问题的其他答案指出,应在模块开始时说明池。 但是,在这种情况下这是不可能的,因为startRequest
2回复

如何在Scrapy中重试IndexError

有时会出现IndexError,因为我仅成功刮取了一半的页面,导致解析逻辑获取IndexError。 收到IndexError后如何重试? 理想情况下,它是一种中间件,因此它可以一次处理多个蜘蛛。