Scrapy-如何在S3和本地文件系统中同时保存json文件

Question

我已经设置好了将json保存在S3存储桶中的设置。 但是，如果可能的话，我也想保存在本地计算机上。

我尝试了以下配置，但Scrapy仅保存在本地计算机中。

FEED_URI = 's3://bucket/scraped/file.jl'
FEED_URI = 'file:///tmp/file.jl'

我不太了解Scrapy文档在此处解释的设置

Answer 1

Scrapy的Feed导出扩展程序不支持将商品同时发送到两个地方。

设置中的FEED_URI只是一个Python变量，因此仅将其保存在本地计算机中的原因是因为它第二次被覆盖。

您可以通过使用FEED_URI将项目发送到S3并编写一个将项目保存在本地的管道来解决此问题。