Scrapy / Python：如何从Spider内部获取JOBDIR设置？
[英]Scrapy/Python: How to get JOBDIR setting from inside of spider?
问题描述
我像这样scrap
scrapy crawl somespider -s JOBDIR=crawls/somespider-1 -a input_data=data
（用于维护作业状态）
如果发生意外情况（例如，连接丢失）
引发CloseSpider异常，并且以后计划将Spider作为cron作业运行
我通常将__init__内部的**kwargs传递给新的爬虫爬网
但是在** kwargs中JOBDIR JOBDIR
有什么办法可以从Spider内部访问此值？
1 个解决方案
解决方案1
0 2016-05-01 13:31:00
从蜘蛛内部： self.crawler.settings.get("JOBDIR")
如何从scrapy Spider中的django表中删除所有数据
[英]How to delete all data from a table in django inside a scrapy spider
如何将参数传递给抓痒的蜘蛛并从python内部初始化
[英]how to pass an argument into a scrapy spider and init it from within python
Scrapy：如何从其他python脚本运行两次或更多的蜘蛛？
[英]Scrapy: How to run spider from other python script twice or more？
Python Scrapy | 如何将响应从蜘蛛传递给主 function
[英]Python Scrapy | How to pass the response to the main function from the spider
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.