[英]How can i neatly format my spider CSV export?
我正在嘗試將抓取的結果導出到CSV文件,但導出已關閉。
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'company'
start_urls = ['https://www.companiesintheuk.co.uk/Company/Find?q=a']
def parse(self, response):
# this gets the entire block
for i in response.css('div.search_result_title'):
#print ' '.join([j.strip() for j in i.css('::text').extract() if j.strip()])
yield {'Company name': ' '.join([j.strip() for j in i.css('::text').extract() if j.strip()])}
for i in response.css('div.searchAddress'):
#print ' '.join([j.strip() for j in i.css('::text').extract() if j.strip()])
yield {'Adress': ' '.join([j.strip() for j in i.css('::text\n').extract() if j.strip()])}
導出顯示一個公司名稱,后跟20(所有其他地址)。 然后是下一個公司名稱,后跟相同的地址。
我看不出有什么問題,希望任何人都能明白原因。
您需要什么格式? 您有帶有信息的塊,可以將所有數據制作成字典,然后生成。
def parse(self, response):
for i in response.css('div.searchResult'):
yield {
'company_name': i.css('div.search_result_title a::text').get(),
'address': i.css('div.searchAddress::text').get(),
}
你到底想要什么?
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.