![](/img/trans.png)
[英]How to loop through multiple URLs to scrape from a CSV file in Scrapy?
[英]Scrapy code reading from multiple urls and then writing results in final csv
我需要使用Regex从多个URL的脚本标签中提取数据。 我设法实现了完成一半工作的代码。 我有一个csv文件( 'links.csv '
),其中包含我需要抓取的所有网址。 我设法读取了csv并将所有URL存储在名为'start_urls'
的变量中。 我的问题是我需要一种方法可以一次从'start_urls'
读取URL,然后执行我的代码的下一部分。 当我在终端中执行代码时,我收到两个错误:
1.ERROR:获取启动请求时出错2. TypeError:请求url必须为str或unicode,获取列表
如何修复我的代码? 我是Scrapy的初学者,但是我真的需要这个脚本才能工作……谢谢!
以下是我存储在初始csv('links.csv')中的url的一些示例:
"https://www.samsung.com/uk/smartphones/galaxy-note8/"
"https://www.samsung.com/uk/smartphones/galaxy-s8/"
"https://www.samsung.com/uk/smartphones/galaxy-s9/"
这是我的代码:
import scrapy
import csv
import re
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
with open('links.csv','r') as csvf:
for url in csvf:
yield scrapy.Request(url.strip())
def parse(self, response):
source = response.xpath("//script[contains(., 'COUNTRY_SHOP_STATUS')]/text()").extract()[0]
def get_values(parameter, script):
return re.findall('%s = "(.*)"' % parameter, script)[0]
with open('baza.csv', 'w') as csvfile:
fieldnames = ['Category', 'Type', 'SK']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader()
for pvi_subtype_name,pathIndicator.depth_5,model_name in zip(source):
writer.writerow({'Category': get_values("pvi_subtype_name", source), 'Type': get_values("pathIndicator.depth_5", source), 'SK': get_values("model_name", source)})
将以下方法附加到蜘蛛:
def start_requests(self):
with open('links.csv','r') as csvf:
for url in csvf:
yield scrapy.Request(url.strip())
并从代码中删除以前的with...
块。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.