Scrapy 不将值保存到项目

Question

从今天起，我的蜘蛛不会将任何信息保存到我的项目“DuifpicturesItem”中。 我为不同的客户创建了几乎相同的蜘蛛，但这个蜘蛛不会保存任何东西，不知道为什么。 我的 items.py 只有两个字段：图片和链接

在我的控制台中，我可以看到，我收集了正确的数据，但它不会保存它

我的代码

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from ..items import DuifpicturesItem
from scrapy.http import Request, FormRequest
import csv

class DuifLogin(CrawlSpider):
    name = "duiflogin"
    allowed_domains = ['duif.nl']
    login_page = 'https://www.duif.nl/login'
    custom_settings = {'FEED_EXPORT_FIELDS' : ['SKU', 'Title', 'Price', 'Link', 'Title_small', 'NL_PL_PC', 'Description' ] }
    with open("duifonlylinks.csv","r") as f:
        reader = csv.DictReader(f)
        start_urls = [items['Link'] for items in reader]
        
    rules = (
        Rule(
            LinkExtractor(),
            callback='parse_page',
            follow=True
            ),
    )         
    
    def start_requests(self):
        yield Request(
            url=self.login_page,
            callback=self.parse,
            dont_filter=True
        )    

    def parse(self, response):
        return FormRequest.from_response(response,formdata={
            'username' : '****',
            'password' : '****',
            'submit' : ''
        },  callback=self.after_loging)

    def after_loging(self, response):
        accview = response.xpath('//div[@class="c-accountbox clearfix js-match-height"]/h3')
        if accview:
            print('success')
        else:
            print(':(') 

        for url in self.start_urls:
            yield response.follow(url=url, callback=self.parse_page)

    def parse_page(self, response):
        productpage = response.xpath('//div[@class="product-details col-md-12"]')
        
        if not productpage:
            print('No product', response.url)

        for a in productpage:
            
            items = DuifpicturesItem()
            items['Link'] = response.url
            items['Images'] = response.xpath('//div[@class="inner"]/img/@src').getall()
            yield items

我的控制台
在这里你可以看到，它像我想要的那样抓取链接和图像，但 .csv/.json 文件仍然是空的

PS登录数据不正确，但对于这个过程，我不必登录，所以我猜，它不会影响爬行过程。

Answer 1

不确定“保存”是什么意思。 由于您没有提到管道，我假设您没有用于处理您的项目的管道，因此您的项目仅保留在内存中。

如果要将抓取的项目保存到文件中，则需要使用提要导出。 最简单的方法是：

scrapy crawl myspider -o items.json

它支持其他格式，请查看文档。

如果您打算保存到数据库中或对数据执行其他操作，请检查ItemPipelines 。