Scrapy如何多次寫入CSV文件
[英]How Scrapy write CSV files in several times
問題描述
我在python 2.7.9中使用scrapy，我的Spider可以正常抓取數據。
但是我發現數據太大，因此我想在一個蜘蛛中抓取數據幾次，然后寫入不同的CSV文件。
例如：總共，我有“十一萬”網頁，我想讓蜘蛛分別爬行“三萬”，“三萬”，“三萬”，“兩萬”。
我能怎么做？ 我只能在“蜘蛛”中做到嗎？ 還是在“管道”中？
請有人幫我。
我的代碼鏈接： https : //drive.google.com/open?id=0B6SUWnrBmDwSWmY1em1vbktyOWc&authuser=0
1 個解決方案
解決方案1
0 已采納 2015-03-13 01:52:30
一個簡單的方法是發送from和to作為蜘蛛參數
scrapy crawl myspider -a from=30001 -a to=60000
使用 Scrapy 運行多個 Scrapes 並寫入單獨的 csv 文件
[英]Run multiple Scrapes using Scrapy AND write to seperate csv files
如何通過更改“def start_requests(self)”中的一部分 url 在 Scrapy 中多次運行蜘蛛
[英]how to run a spider in Scrapy several times with changing a part of url in "def start_requests(self)"
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.