如何在scrapy response.follow中制作循环？

Question

我在刮Dmoz网站。 我正在抓每个页面，但我不想每次都写response.follow() 。 相反，我想做一个循环。 如何使它只是编写page_name和function_name而不是一次又一次地编写整行代码。

    yield response.follow(self.about_page, self.parse_about, meta={'items': items})
    yield response.follow(self.editor, self.parse_editor, meta={'items': items})
    yield response.follow(self.suggestion, self.suggest_site, meta={'items':items})
    yield response.follow(self.help_page, self.parse_help, meta={'items':items})

Answer 1

你的意思是格式化你的代码？ 尝试：

dct = [
    (self.about_page, self.parse_about),
    (self.editor, self.parse_editor),
    (self.suggestion, self.suggest_site),
    (self.help_page, self.parse_help),
]
for page, callback in dct:
    yield response.follow(page, callback, meta={'items': items})