如何使用scrapy-redis管道？

Question

我现在正在使用scrapy-redis，我对此感到满意，并且通过使用相同的Redis服务器成功爬网到另一台计算机上。 但是我不明白如何正确使用scrapy-redis管道。 以我的理解，我认为除了蜘蛛程序，我还需要另一个脚本来处理redis管道列表中的项目，然后我可以做一些事情，例如将它们存储到数据库中。 我是否理解正确，是否需要编写另一个脚本，该脚本某种程度上取决于蜘蛛程序？

Answer 1

管道是不同的脚本，是的。 在设置文件中，您可以启用管道。 管道可用于将爬网的结果存储在所需的任何数据库中。