在scrapy中制作循环的正确方法是什么？

Question

我也创建了其他页面，但我向你展示了一个。 我已经专门为循环创建了另一个函数，但它没有给我结果。 它给了我错误。 在哪里放上find_items功能？ 还是有其他问题吗？

这是错误：

yield from find_items(response, names1, finder1)
NameError: name 'find_items' is not defined

这是代码：

    # save and call request to another page
    dct = [(self.about_page, self.parse_about)]
    for page, callback in dct:
        yield response.follow(page, callback, meta={'items': items})

def find_items(response, names1, finder1):
    items = response.meta['items']
    for name, find in zip(names1.values(), names1.values()):
        items[name] = response.css(find).extract()
        yield items


def parse_about(self, response):
    # do your stuff on second page
    # items = response.meta['items']
    names1 = {'name1': 'Headings',
          'name2': 'Paragraphs',
          'name3': '3 Projects',
          'name4': 'About Dmoz',
          'name5': 'Languages',
          'name6': 'You can make a differnce', 
          'name7': 'Further Information'
          }

    finder1 = {'find1': 'h2::text , #mainContent h1::text',
           'find2': 'p::text',
               'find3': 'li~ li+ li b a::text , li:nth-child(1) b a::text',
               'find4': '.nav ul a::text , li:nth-child(2) b a::text',
               'find5': '.nav~ .nav a::text',
           'find6': 'dd::text , #about-contribute::text',
           'find7': 'li::text , #about-more-info a::text'
          }

    yield from find_items(response, names1, finder1)

Answer 1

在这种情况下， find_items应该在你的课堂之外 。

如果要在类中使用它，请检查缩进并将self添加到参数：

def find_items(self, response, names1, finder1):
    items = response.meta['items']
    for name, find in zip(names1.values(), names1.values()):
        items[name] = response.css(find).extract()
        yield items

并且在parse_about也不要忘记添加self. ：

yield from self.find_items(response, names1, finder1)

除此之外，请检查您的Python版本。 使用yield from仅在3.X版本出现。 对于2.x版本，您应该使用：

for item in self.find_items(response, names1, finder1):
    yield item