繁体   English   中英

每次抓取后如何阻止scrapy覆盖CSV导出文件

[英]How to stop scrapy from overriding CSV export file after every crawl

目前,我使用scrapy来爬行网页的多个页面,并将数据导出到CSV文件。 每天,蜘蛛程序都会爬过页面并保存数据。 但是,它将覆盖前几天的数据。 我想知道如何对管道进行编程,以使其仅从文件末尾开始在同一文件中写入CSV。 这样,我可以将以前所有已抓取的数据保存在一个地方。

通常只需更改打开文件例程中的参数以附加

更改

f = open('filename.txt','w')

f = open('filename.txt','a')

当然,如果我们能看到您的原始代码,它将有助于我们更加具体。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM