Рlease 告诉我,如果出现错误,是否可以使用 os.execl() 重新启动蜘蛛? 如果是这样,请举例说明如何执行此操作。 我的 go 代码的粗略示例

def parse(self, response):
    try
     ...
    except:
      os.execl("/usr/bin/scrapy", "crawl", "ruscale")
      os.kill(self.pid, signal.SIGKILL)

使用此代码我收到一个错误

  Traceback (most recent call last):
  File "/usr/bin/scrapy", line 10, in <module>
    sys.exit(execute())
  File "/usr/lib/python3.6/site-packages/scrapy/cmdline.py", line 114, in execute
    settings = get_project_settings()
  File "/usr/lib/python3.6/site-packages/scrapy/utils/project.py", line 68, in get_project_settings
    settings.setmodule(settings_module_path, priority='project')
  File "/usr/lib/python3.6/site-packages/scrapy/settings/__init__.py", line 294, in setmodule
    module = import_module(module)
  File "/usr/lib64/python3.6/importlib/__init__.py", line 126, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 994, in _gcd_import
  File "<frozen importlib._bootstrap>", line 971, in _find_and_load
  File "<frozen importlib._bootstrap>", line 941, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "<frozen importlib._bootstrap>", line 994, in _gcd_import
  File "<frozen importlib._bootstrap>", line 971, in _find_and_load
  File "<frozen importlib._bootstrap>", line 953, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'model_lavka'

  ask by sborka modeli translate from so

本文未有回复,本站智能推荐:

2回复

如何更新scrapy中的Spider响应

我是SCRAPY的新手,我尝试从此网站( http://quotes.toscrape.com/random )提取100个报价,为此,我编写了以下蜘蛛 这行的问题 print(“ condition:” + str(tempQuotes ['quote'] == quotesArra
1回复

Scrapy在CrawlerProcess()之前运行Spider

我生成了一个新项目,并有一个包含我的Spider的Python文件。 布局为: 我使用以下命令运行此蜘蛛: 问题是我得到: twisted.internet.error.ReactorNotRestartable 这是因为蜘蛛实际上运行了两次。 一旦开始(我将收到所有POS
1回复

根据Spider属性更新scrapy设置

有没有一种方法可以在运行时动态设置蜘蛛网的设置? 我想向我的Spider添加一个isDebug变量,并根据它的值来调整日志级别,管道和其他各种设置... 尝试按照手册中所述操作设置时,如下所示: 我总是会收到TypeError: Trying to modify an immutabl
2回复

Scrapy管道spider_opened和spider_closed没有被调用

我在scrapy管道上遇到了一些麻烦。 我的信息正在从网站上删除,并正确调用process_item方法。 但是没有调用spider_opened和spider_closed方法。 __init__和process_item日志记录消息都显示在日志中,但spider_open和spide
2回复

classInstagramSpider(scrapy.Spider):AttributeError:'module'对象没有属性'Spider'

我该如何解决这个错误? 更多信息可以在这里找到: 来自scraper_user.items import UserItem ImportError:没有名为scraper_user.items的模块
1回复

(Python/Scrapy/Splash)Spider突然开始打印空白结果

系统:Windows 10,Python 2.7.15,Scrapy 1.5.1 目标:从html标记中检索目标网站上每个链接项的文本,包括通过“ + SEE MORE ARCHIVES”按钮显示的链接项(一次显示6个)。 目标网站: https : //magic.wizards.co
1回复

无法从Spider获取网址计数(Scrapy)

我试图在SitemapSpider获取要刮擦的网址数量。 我尝试覆盖start_requests方法,但它显示0。我有一个sitemap_url ,其中包含数千个URL。 我想获得这些网址的数量。 这是我尝试过的方法,但我想来自sitemap的Urls不在start_urls中。 你
1回复

Scrapy-通过Spider传递已删除的URL

我是Scrapy和Python的新手,所有的文档都让我感到有些困惑和重载新信息! 我的项目是首先找到并抓取某个类别的博客的URL。 这个过程我很舒服。 然而,为了实现我的最终结果,我想通过统计网站传递这些网址 - 比如,hypestat.com。 正如您在此查询( http://pin