如何回到Scrapy中的上一个蜘蛛

Question

我正在尝试做一件事。 我有一个用Scrapy编写的蜘蛛。 它具有两个解析函数，如下所示

def parse(self, response):

   ...
   for var in dict
      ...

      scrapy.Request(link + var, callback=self.parse_info)


 def parse_info(self, response)

    ...
    do something

我想做的是在parse_info获取数据，完成后返回parse方法以继续迭代。 有没有办法做到这一点？

Answer 1

您将在parse调用中使用“ Yield”，并在parse_info调用中使用“ return”

def parse(self, response):

...
for var in dict
  ...

  yield Request(item['page_url'], callback=self.parse_info)


def parse_info(self, response)

  ...
  do something
  return something